Comprendre
Le fichier se compose de groupes de règles : une ligne User-agent désigne un robot (ou tous avec *), puis des lignes Disallow et Allow listent les chemins interdits ou permis. Il peut aussi indiquer l’adresse du sitemap.
Avec l’IA, le fichier a pris un nouveau rôle. OpenAI distingue par exemple GPTBot, qui collecte des contenus pour l’entraînement, et OAI-SearchBot, qui alimente la recherche de ChatGPT. Google propose Google-Extended pour refuser l’entraînement de Gemini sans toucher à la recherche Google. On peut donc dire oui à l’un et non à l’autre.
C’est une consigne, pas une serrure. Les robots sérieux la respectent, les autres non, et une page sensible doit être protégée autrement, par mot de passe.
Un exemple concret
Exemple illustratif : refuser l’entraînement, rester citable
Un éditeur spécialisé ne veut pas que ses guides servent à entraîner des modèles, mais tient à être cité dans les réponses de ChatGPT. Son robots.txt refuse GPTBot et autorise OAI-SearchBot.
Il vérifie ensuite ses journaux serveur pour s’assurer que chaque robot se comporte comme prévu, et note la décision pour la revoir : la liste des robots IA évolue, et chaque éditeur documente les siens.
L’erreur fréquente
Bloquer tous les robots IA sans le savoir
Une règle trop large, un modèle de fichier copié ou une option d’hébergeur activée par défaut peut fermer la porte à tous les robots IA, y compris ceux qui permettent d’être cité. Relisez votre robots.txt robot par robot, et décidez de chaque accès en connaissance de cause.