Contrôle du robots.txt
Contrôle des crawlers IA : collez le robots.txt de votre site et découvrez, crawler par crawler, qui peut lire un chemin, qui est bloqué et quelles lectures demandées par une personne ne suivent pas robots.txt.
Contrôle gratuit
Collez le contenu de votre robots.txt : la lecture se fait dans votre navigateur et le texte ne quitte pas la page.
Ce qu’elle contrôle
L’outil applique les règles de votre robots.txt à chaque crawler IA que TrustInsider reconnaît. Pour chacun, vous trouvez le fournisseur, l’objectif déclaré et si le chemin que vous choisissez est autorisé ou bloqué.
Les objectifs pour lesquels les fournisseurs déclarent leurs crawlers, avec ce que fait le crawler dans chaque cas et un agent du registre qui le porte, pour lire la colonne de l’objectif dans le tableau du résultat.
| Finalité déclarée | Ce que fait le crawler | Un agent avec cet objectif |
|---|---|---|
| Entraînement des modèles | Recueille des pages qui peuvent entrer dans les données d’entraînement d’un modèle. | GPTBot d’OpenAI |
| Index pour les réponses avec recherche | Construit l’index dans lequel un assistant choisit ses sources quand il cherche. | OAI-SearchBot d’OpenAI |
| Lecture demandée par une personne | Ouvre une page quand un utilisateur demande à l’assistant de la lire. | ChatGPT-User d’OpenAI |
| Moteur de recherche | Indexe le site pour les résultats de recherche et les fonctions qui les utilisent. | Googlebot de Google |
Lecture des règles
Un crawler suit le groupe User-agent qui le nomme ; seulement si aucun groupe ne le nomme, il suit celui avec l’astérisque. Parmi les règles du groupe, celle avec le chemin le plus long s’applique, et à égalité Allow l’emporte.
Un robots.txt d’exemple pour une marque fictive : un groupe général qui autorise tout, un groupe dédié à un crawler d’entraînement qui bloque un dossier, et le sitemap déclaré à la fin.
User-agent: *
Allow: /User-agent: GPTBot
Disallow: /prodotti/Sitemap: https://ilmarde-audio.example/sitemap.xmlLimites explicites
robots.txt demande aux crawlers ce qu’ils ne doivent pas lire ; le respecter est un choix de qui gère le crawler. Certains fournisseurs déclarent que les lectures demandées par une personne ne le suivent pas : l’outil les marque comme non applicables.
L’outil n’ouvre pas votre site et ne télécharge pas le fichier : si le robots.txt publié a changé, collez la version en ligne.
Un crawler autorisé par les règles peut ne jamais être passé ; un crawler bloqué peut avoir demandé les pages quand même.
Règles et visites
Avec l’analyse des agents IA de la plateforme, vous comparez les règles avec les requêtes enregistrées : quels agents lisent les pages, quand, et si qui utilise le nom d’un agent arrive des adresses que son fournisseur publie.
Ce que dit le contrôle gratuit sur les règles et ce qu’ajoute l’analyse des requêtes enregistrées par le site, sur trois questions : autorisation, passage réel et identité de l’agent.
| Contrôle du robots.txt | Analyse des agents IA | |
|---|---|---|
| Autorisation | Indique si les règles autorisent un crawler sur un chemin. | Met les règles à côté des pages que chaque agent a demandées. |
| Étape | Ne sait pas si le crawler est jamais arrivé sur le site. | Compte les requêtes de chaque agent IA sur la période choisie. |
| Identité | Prend pour acquis le nom écrit dans les règles. | Compare l’adresse de provenance avec les plages publiées par le fournisseur. |
Questions fréquentes
Les réponses précisent ce que signifie un crawler autorisé ou bloqué, pourquoi certaines lectures apparaissent non applicables et comment contrôler une seule section du site avec le champ du chemin.
Pas nécessairement. Beaucoup de fournisseurs utilisent des crawlers différents pour l’entraînement et pour l’index des réponses avec recherche : en bloquer un ne dit rien des autres. C’est pourquoi le tableau indique l’objectif de chaque crawler.
Ce sont des lectures lancées par une personne, quand elle demande à l’assistant d’ouvrir une page. Les fournisseurs que nous signalons comme non applicables déclarent que ces lectures ne suivent pas robots.txt.
Écrivez dans le champ du chemin l’adresse de la section, à partir de la barre oblique, par exemple /blog/. L’outil applique les règles à ce chemin pour chaque crawler.
Parcours associés
Après avoir vu quels crawlers IA votre robots.txt laisse entrer, essayez les autres outils gratuits, découvrez comment la plateforme suit la marque dans le temps, lisez la méthode des mesures et trouvez l’assistance.
Outils gratuits pour la visibilité IA : vérifiez comment Gemini décrit la marque, les crawlers IA dans le robots.txt, votre llms.txt et la part de voix.
LireComment utiliser TrustInsider : choisissez marque et questions, lisez les réponses collectées, mettez à jour les contenus, comparez les résultats.
LireComment naît chaque mesure TrustInsider : échantillonnage des réponses IA, sources et droits, calcul des indices et limites déclarées.
LireAide sur l’accès, les crédits, les collectes, les intégrations et les données : guides, FAQ, assistant du site et demandes de support depuis l’espace.
Lire