robots.txt
Le standard pour dire aux crawlers ce qu’ils peuvent visiter.
llms.txt et crawlers IA
Qui lit votre site pour les assistants.
llms.txt est un fichier texte, proposé en 2024, qui offre aux modèles de langage un index lisible des pages les plus utiles d’un site ; les crawlers IA sont les programmes avec lesquels les fournisseurs d’assistants lisent le web. Découvrez comment les régler avec robots.txt.
En bref
llms.txt et crawlers IA en quelques lignes.
Les crawlers IA visitent les pages pour entraîner des modèles, alimenter la recherche des assistants ou répondre à la demande d’un utilisateur. robots.txt dit à chacun ce qu’il peut lire ; llms.txt propose une carte ordonnée des contenus.
llms.txt
Une proposition pour indiquer aux modèles les pages à lire en premier.
Les journaux du serveur
Le seul moyen de savoir qui est vraiment passé.
Qui visite le site
Les crawlers IA courants et à quoi ils servent.
Chaque fournisseur déclare ses agents par un nom, le user agent. Certains recueillent des pages pour l’entraînement, d’autres pour la recherche dans l’assistant, d’autres encore seulement quand un utilisateur demande d’ouvrir une page.
Six agents de crawlers IA documentés publiquement par leurs fournisseurs, avec le fournisseur et la finalité déclarée, à utiliser dans les règles de robots.txt.
| Agent | Fournisseur | Finalité déclarée |
|---|---|---|
| GPTBot | OpenAI | Recueillir des pages pouvant servir à entraîner les modèles. |
| OAI-SearchBot | OpenAI | Indexer des pages pour la recherche dans ChatGPT. |
| ChatGPT-User | OpenAI | Ouvrir une page quand un utilisateur le demande en conversation. |
| Google-Extended | Régler l’usage des contenus pour les modèles Gemini, pas pour la recherche. | |
| ClaudeBot | Anthropic | Recueillir des pages pouvant servir à entraîner les modèles. |
| PerplexityBot | Perplexity | Indexer des pages pour les réponses de Perplexity. |
Les règles
Qu’écrire dans robots.txt.
robots.txt se lit de haut en bas, un bloc par agent. On peut ouvrir la recherche des assistants et fermer l’entraînement, ou ne protéger que certains dossiers. Le fichier est une demande : les crawlers déclarés la respectent, ce n’est pas une barrière technique.
Le protocole d’exclusion des robots est décrit dans la RFC 9309 de l’IETF (septembre 2022). Les agents et leur signification sont documentés par les fournisseurs sur leurs pages destinées aux webmasters.
Un fichier robots.txt d’exemple pour un site fictif qui laisse lire la recherche des assistants, ferme l’entraînement et protège l’espace réservé.
exemple.fr/robots.txt · site fictif
- Recherche des assistants
- User-agent : OAI-SearchBot · Allow : /
- Entraînement
- User-agent : GPTBot · Disallow : /
- Usage pour les modèles Gemini
- User-agent : Google-Extended · Disallow : /
- Tous les autres
- User-agent : * · Disallow : /espace-reserve/
Le fichier llms.txt
Ce que fait llms.txt, et ce qu’il ne fait pas.
llms.txt a été proposé en septembre 2024 sur llmstxt.org comme fichier Markdown à la racine du site, avec un sommaire et les liens vers les pages principales. C’est une convention volontaire : utile à soigner, sans assurance qu’un assistant la lise.
Les deux fichiers texte à la racine d’un site comparés selon leur but, leur statut, leurs destinataires et le résultat attendu pour la présence dans les réponses IA.
| robots.txt | llms.txt | |
|---|---|---|
| But | Dire ce qui peut être visité et ce qui ne le peut pas. | Indiquer les pages les plus utiles, avec un sommaire. |
| État | Un standard de l’IETF respecté par les crawlers déclarés. | Une proposition volontaire, adoptée de façon inégale. |
| Destinataires | Tous les crawlers, un par bloc. | Les modèles de langage et les outils qui les utilisent. |
| Ce qu’il faut attendre | Le respect des règles par ceux qui se déclarent. | Un ordre en plus, sans effet mesurable assuré. |
Décider et vérifier
Du choix à la preuve dans les journaux.
La décision sur ce qu’on ouvre aux crawlers IA se prend page par page et se vérifie dans les journaux du serveur : seulement là on voit qui est passé, quand et sur quelles adresses.
Les étapes par lesquelles une entreprise décide quelles parties du site ouvrir aux crawlers IA, écrit les règles et vérifie dans les journaux qu’elles sont respectées.
Listez les pages
Celles que vous voulez que les assistants puissent lire et citer.
Décidez par agent
Recherche, entraînement, visites lancées par une personne : trois choix différents.
Écrivez les règles
Un bloc par agent dans robots.txt, avec les dossiers protégés.
Contrôlez les journaux
Quels agents passent, sur quelles pages et à quelle fréquence.
Revoyez chaque trimestre
De nouveaux agents apparaissent : la liste doit être mise à jour.
Questions fréquentes
Questions fréquentes sur llms.txt et les crawlers IA.
Si llms.txt est utile, si bloquer les crawlers IA réduit la présence dans les réponses, comment savoir qui visite le site et si robots.txt protège.
Qu’est-ce que le fichier llms.txt et qui l’a proposé ?
Un fichier Markdown à la racine du site, proposé en 2024, qui offre aux modèles de langage un sommaire et les liens vers les pages les plus utiles. C’est une convention volontaire, pas un standard.
Faut-il vraiment un fichier llms.txt ?
Il coûte peu et met de l’ordre, mais personne ne peut assurer qu’un assistant le lise. Des pages claires et accessibles comptent davantage.
Si je bloque les crawlers IA, je disparais des réponses ?
Cela dépend de l’agent bloqué. Fermer la recherche d’un assistant peut retirer vos pages de ses citations ; fermer l’entraînement concerne un autre usage.
robots.txt protège-t-il les contenus ?
Non. C’est une demande que respectent les crawlers déclarés. Les contenus réservés exigent un accès protégé et une authentification.
Pour aller plus loin
Après « llms.txt et crawlers IA », l’étape suivante.
Les guides expliquent les notions avec des exemples sur des marques fictives. D’ici, vous continuez avec les autres guides, la méthode et les fonctionnalités qui les appliquent à votre marque.
Guides sur la réputation, la confiance et l’IA
Guides sur le GEO, l’AEO, la visibilité IA, l’e-réputation, les avis et la veille : quoi vérifier, un exemple et les étapes pour agir.
LireDe la question à l’action
TrustInsider en six étapes : marque, questions, devis, preuves, intervention page par page et vérification sur les mêmes questions.
LireUne méthode transparente, sans boîte noire
Comment naît chaque mesure TrustInsider : échantillonnage des réponses IA, sources et droits, calcul des indices et limites déclarées.
LireTrouvez la bonne réponse
Aide sur l’accès, les crédits, les collectes, les intégrations et les données : guides, FAQ, assistant du site et demandes de support depuis l’espace.
Lire