Comprobación del robots.txt
Comprobación de rastreadores de IA: pega el robots.txt de tu sitio y descubre, rastreador por rastreador, quién puede leer una ruta, quién está bloqueado y qué lecturas pedidas por una persona no siguen robots.txt.
Comprobación gratuita
Pega el contenido de tu robots.txt: la lectura se hace en tu navegador y el texto no sale de la página.
Qué controla
La herramienta aplica las reglas de tu robots.txt a cada rastreador de IA que reconoce TrustInsider. Para cada uno encuentras el proveedor, la finalidad declarada y si la ruta que eliges está permitida o bloqueada.
Las finalidades con que los proveedores declaran sus rastreadores, con lo que hace el rastreador en cada caso y un agente del registro que la lleva, para que leas la columna de la finalidad en la tabla del resultado.
| Finalidad declarada | Qué hace el rastreador | Un agente con esta finalidad |
|---|---|---|
| Entrenamiento de los modelos | Recoge páginas que pueden entrar en los datos de entrenamiento de un modelo. | GPTBot de OpenAI |
| Índice para las respuestas con búsqueda | Construye el índice del que un asistente elige las fuentes cuando busca. | OAI-SearchBot de OpenAI |
| Lectura pedida por una persona | Abre una página cuando un usuario pide al asistente que la lea. | ChatGPT-User de OpenAI |
| Motor de búsqueda | Indexa el sitio para los resultados de búsqueda y las funciones que los usan. | Googlebot de Google |
Lectura de reglas
Un rastreador sigue el grupo User-agent que lo nombra; solo si ningún grupo lo nombra sigue el del asterisco. Entre las reglas del grupo vale la de la ruta más larga, y en caso de empate gana Allow.
Un robots.txt de ejemplo de una marca ficticia: un grupo general que lo permite todo, un grupo dedicado a un rastreador de entrenamiento que bloquea una carpeta y el sitemap declarado al final.
User-agent: *
Allow: /User-agent: GPTBot
Disallow: /prodotti/Sitemap: https://ilmarde-audio.example/sitemap.xmlLímites declarados
robots.txt pide a los rastreadores qué no leer; respetarlo es una elección de quien gestiona el rastreador. Algunos proveedores declaran que las lecturas pedidas por una persona no lo siguen: la herramienta las marca como no aplicables.
La herramienta no abre tu sitio ni descarga el archivo: si el robots.txt publicado ha cambiado, pega la versión en línea.
Un rastreador permitido por las reglas puede no haber pasado nunca; uno bloqueado puede haber pedido las páginas de todos modos.
Reglas y visitas
Con el análisis de los agentes de IA de la plataforma comparas las reglas con las peticiones registradas: qué agentes leen las páginas, cuándo y si quien usa el nombre de un agente llega desde las direcciones que publica su proveedor.
Qué dice la comprobación gratuita de las reglas y qué añade el análisis de las peticiones registradas por el sitio, en tres cuestiones: permiso, paso real e identidad del agente.
| Comprobación del robots.txt | Análisis de los agentes de IA | |
|---|---|---|
| Permiso | Indica si las reglas permiten un rastreador en una ruta. | Pone las reglas junto a las páginas que ha pedido cada agente. |
| Paso | No sabe si el rastreador llegó alguna vez al sitio. | Cuenta las peticiones de cada agente de IA en el periodo elegido. |
| Identidad | Da por bueno el nombre escrito en las reglas. | Compara la dirección de procedencia con los rangos publicados por el proveedor. |
Preguntas frecuentes
Las respuestas aclaran qué significa un rastreador permitido o bloqueado, por qué algunas lecturas aparecen como no aplicables y cómo comprobar una sola sección del sitio con el campo de la ruta.
No necesariamente. Muchos proveedores usan rastreadores distintos para el entrenamiento y para el índice de las respuestas con búsqueda: bloquear uno no dice nada de los demás. Por eso la tabla recoge la finalidad de cada rastreador.
Son lecturas que parten de una persona, cuando pide al asistente que abra una página. Los proveedores que señalamos como no aplicables declaran que estas lecturas no siguen robots.txt.
Escribe en el campo de la ruta la dirección de la sección, a partir de la barra, por ejemplo /blog/. La herramienta aplica las reglas a esa ruta para cada rastreador.
Rutas relacionadas
Visto qué rastreadores de IA deja entrar tu robots.txt, prueba las demás herramientas gratuitas, descubre cómo sigue la plataforma la marca en el tiempo, lee el método de las medidas y encuentra el soporte.
Herramientas gratuitas de visibilidad en IA: cómo describe Gemini la marca, los rastreadores en robots.txt, llms.txt y cuota de voz.
LeerDescubre cómo usar TrustInsider: elige la marca y las preguntas, lee las respuestas recopiladas, actualiza los contenidos y compara los resultados.
LeerCómo nace cada medición de TrustInsider: muestreo de las respuestas de IA, fuentes y derechos, cálculo de los índices y límites declarados.
LeerAyuda sobre acceso, créditos, recogidas, integraciones y datos: guías, FAQ, asistente del sitio y solicitudes de soporte desde el espacio.
Leer