robots.txt
El estándar para decir a los rastreadores qué pueden visitar.
llms.txt y rastreadores de IA
Quién lee tu sitio para los asistentes.
llms.txt es un archivo de texto, propuesto en 2024, que ofrece a los modelos de lenguaje un índice de las páginas más útiles de un sitio; los rastreadores de IA son los programas con que los proveedores leen la web. Descubre cómo regularlos con robots.txt.
En breve
llms.txt y rastreadores de IA en pocas líneas.
Los rastreadores de IA visitan las páginas para entrenar modelos, alimentar la búsqueda de los asistentes o responder a la petición de un usuario. robots.txt dice a cada uno qué puede leer; llms.txt propone un mapa ordenado de los contenidos.
llms.txt
Una propuesta para indicar a los modelos las páginas que leer primero.
Los registros del servidor
La única forma de saber quién ha pasado de verdad.
Quién visita el sitio
Los rastreadores de IA más comunes y para qué sirven.
Cada proveedor declara sus agentes con un nombre, el user agent. Algunos recogen páginas para el entrenamiento, otros para la búsqueda dentro del asistente y otros solo cuando un usuario pide abrir una página.
Seis agentes de rastreadores de IA documentados públicamente por sus proveedores, con el proveedor y la finalidad declarada, para usar en las reglas de robots.txt.
| Agente | Proveedor | Finalidad declarada |
|---|---|---|
| GPTBot | OpenAI | Recoger páginas que pueden servir para entrenar los modelos. |
| OAI-SearchBot | OpenAI | Indexar páginas para la búsqueda dentro de ChatGPT. |
| ChatGPT-User | OpenAI | Abrir una página cuando un usuario lo pide en la conversación. |
| Google-Extended | Regular el uso de los contenidos para los modelos Gemini, no para la búsqueda. | |
| ClaudeBot | Anthropic | Recoger páginas que pueden servir para entrenar los modelos. |
| PerplexityBot | Perplexity | Indexar páginas para las respuestas de Perplexity. |
Las reglas
Qué escribir en robots.txt.
robots.txt se lee de arriba abajo, un bloque por agente. Se puede abrir la búsqueda de los asistentes y cerrar el entrenamiento, o proteger solo algunas carpetas. El archivo es una petición: los rastreadores declarados la respetan, no es una barrera técnica.
El protocolo de exclusión de robots está descrito en la RFC 9309 del IETF (septiembre de 2022). Los agentes y su significado los documentan los proveedores en sus páginas para webmasters.
Un archivo robots.txt de ejemplo para un sitio ficticio que deja leer a la búsqueda de los asistentes, cierra el entrenamiento y protege el área privada.
ejemplo.es/robots.txt · sitio ficticio
- Búsqueda de los asistentes
- User-agent: OAI-SearchBot · Allow: /
- Entrenamiento
- User-agent: GPTBot · Disallow: /
- Uso para los modelos Gemini
- User-agent: Google-Extended · Disallow: /
- Todos los demás
- User-agent: * · Disallow: /area-privada/
El archivo llms.txt
Qué hace llms.txt, y qué no.
llms.txt se propuso en septiembre de 2024 en llmstxt.org como archivo Markdown en la raíz del sitio, con un resumen y los enlaces a las páginas principales. Es una convención voluntaria: útil de cuidar, pero sin seguridad de que un asistente la lea.
Los dos archivos de texto en la raíz de un sitio comparados según finalidad, estado, destinatarios y resultado esperable para la presencia en las respuestas de IA.
| robots.txt | llms.txt | |
|---|---|---|
| Finalidad | Decir qué se puede visitar y qué no. | Indicar las páginas más útiles, con un resumen. |
| Estado | Un estándar del IETF que respetan los rastreadores declarados. | Una propuesta voluntaria, adoptada de forma desigual. |
| Destinatarios | Todos los rastreadores, uno por bloque. | Los modelos de lenguaje y las herramientas que los usan. |
| Qué esperar | El respeto de las reglas por parte de quien se declara. | Un orden más, sin un efecto medible asegurado. |
Decidir y verificar
De la elección a la prueba en los registros.
La decisión sobre qué abrir a los rastreadores de IA se toma página a página y se comprueba en los registros del servidor: solo allí se ve quién ha pasado, cuándo y por qué direcciones.
Los pasos con los que una empresa decide qué partes del sitio abrir a los rastreadores de IA, escribe las reglas y comprueba en los registros que se respetan.
Enumera las páginas
Las que quieres que los asistentes puedan leer y citar.
Decide por agente
Búsqueda, entrenamiento, visitas iniciadas por una persona: tres elecciones distintas.
Escribe las reglas
Un bloque por agente en robots.txt, con las carpetas protegidas.
Revisa los registros
Qué agentes pasan, por qué páginas y con qué frecuencia.
Revisa cada trimestre
Aparecen agentes nuevos: hay que actualizar la lista.
Preguntas frecuentes
Preguntas frecuentes sobre llms.txt y los rastreadores de IA.
Si llms.txt sirve, si bloquear los rastreadores de IA reduce la presencia en las respuestas, cómo saber quién visita el sitio y si robots.txt protege.
¿Qué es el archivo llms.txt y quién lo propuso?
Un archivo Markdown en la raíz del sitio, propuesto en 2024, que ofrece a los modelos de lenguaje un resumen y los enlaces a las páginas más útiles. Es una convención voluntaria, no un estándar.
¿Hace falta de verdad un archivo llms.txt?
Cuesta poco y pone orden, pero nadie puede asegurar que un asistente lo lea. Cuentan más las páginas claras y accesibles.
¿Si bloqueo los rastreadores de IA desaparezco de las respuestas?
Depende de qué agente bloquees. Cerrar la búsqueda de un asistente puede quitar tus páginas de sus citas; cerrar el entrenamiento afecta a un uso distinto.
¿robots.txt protege los contenidos?
No. Es una petición que respetan los rastreadores declarados. Los contenidos privados necesitan acceso protegido y autenticación.
Rutas relacionadas
Después de «llms.txt y rastreadores de IA», el siguiente paso.
Las guías explican los conceptos con ejemplos de marcas ficticias. Desde aquí sigues con las demás guías, con el método y con las funciones que los aplican a tu marca.
Guías de reputación, confianza e IA
Guías sobre GEO, AEO, visibilidad en IA, reputación online, reseñas y monitorización: qué revisar, un ejemplo y los pasos para actuar.
LeerDe la pregunta a la intervención
TrustInsider en seis pasos: marca, preguntas, presupuesto, pruebas, intervención página por página y verificación con las mismas preguntas.
LeerUn método transparente, no una caja negra
Cómo nace cada medición de TrustInsider: muestreo de las respuestas de IA, fuentes y derechos, cálculo de los índices y límites declarados.
LeerEncuentra la respuesta adecuada
Ayuda sobre acceso, créditos, recogidas, integraciones y datos: guías, FAQ, asistente del sitio y solicitudes de soporte desde el espacio.
Leer