robots.txt
Lo standard per dire ai crawler che cosa possono visitare.
llms.txt e crawler AI
Chi legge il tuo sito per gli assistenti.
llms.txt è un file di testo, proposto nel 2024, che offre ai modelli linguistici un indice leggibile delle pagine più utili di un sito; i crawler AI sono i programmi con cui i fornitori di assistenti leggono il web. Scopri come regolarli con robots.txt.
In breve
llms.txt e crawler AI in poche righe.
I crawler AI visitano le pagine per addestrare modelli, alimentare la ricerca degli assistenti o rispondere a una richiesta di un utente. robots.txt dice a ciascuno che cosa può leggere; llms.txt propone una mappa ordinata dei contenuti.
llms.txt
Una proposta per indicare ai modelli le pagine da leggere per prime.
I log del server
L’unico modo per sapere chi è passato davvero.
Chi visita il sito
I crawler AI più comuni e a che cosa servono.
Ogni fornitore dichiara i propri agenti con un nome, lo user agent. Alcuni raccolgono pagine per l’addestramento, altri per la ricerca dentro l’assistente, altri ancora solo quando un utente chiede di aprire una pagina.
Sei agenti di crawler AI documentati pubblicamente dai rispettivi fornitori, con il fornitore e lo scopo dichiarato, da usare nelle regole di robots.txt.
| Agente | Fornitore | Scopo dichiarato |
|---|---|---|
| GPTBot | OpenAI | Raccogliere pagine che possono servire ad addestrare i modelli. |
| OAI-SearchBot | OpenAI | Indicizzare pagine per la ricerca dentro ChatGPT. |
| ChatGPT-User | OpenAI | Aprire una pagina quando un utente lo chiede in conversazione. |
| Google-Extended | Regolare l’uso dei contenuti per i modelli Gemini, non per la ricerca. | |
| ClaudeBot | Anthropic | Raccogliere pagine che possono servire ad addestrare i modelli. |
| PerplexityBot | Perplexity | Indicizzare pagine per le risposte di Perplexity. |
Le regole
Che cosa scrivere in robots.txt.
robots.txt si legge dall’alto, un blocco per agente. Si può aprire la ricerca degli assistenti e chiudere l’addestramento, oppure proteggere solo alcune cartelle. Il file è una richiesta: i crawler dichiarati la rispettano, non è una barriera tecnica.
Il protocollo di esclusione dei robot è descritto nella RFC 9309 dell’IETF (settembre 2022). Gli agenti e il loro significato sono documentati dai fornitori nelle rispettive pagine per i webmaster.
Un file robots.txt di esempio per un sito fittizio che lascia leggere la ricerca degli assistenti, chiude l’addestramento e protegge l’area riservata.
esempio.it/robots.txt · sito fittizio
- Ricerca degli assistenti
- User-agent: OAI-SearchBot · Allow: /
- Addestramento
- User-agent: GPTBot · Disallow: /
- Uso per i modelli Gemini
- User-agent: Google-Extended · Disallow: /
- Tutti gli altri
- User-agent: * · Disallow: /area-riservata/
Il file llms.txt
Che cosa fa llms.txt, e che cosa no.
llms.txt è stato proposto nel settembre 2024 su llmstxt.org come file Markdown alla radice del sito, con un sommario e i link alle pagine principali. È una convenzione volontaria: utile da curare, ma senza garanzie che un assistente la legga.
I due file di testo alla radice di un sito confrontati su scopo, stato, destinatari e risultato che ci si può aspettare per la presenza nelle risposte AI.
| robots.txt | llms.txt | |
|---|---|---|
| Scopo | Dire che cosa si può visitare e che cosa no. | Indicare le pagine più utili, con un sommario. |
| Stato | Uno standard IETF rispettato dai crawler dichiarati. | Una proposta volontaria, adottata in modo disomogeneo. |
| Destinatari | Tutti i crawler, uno per blocco. | I modelli linguistici e gli strumenti che li usano. |
| Che cosa aspettarsi | Il rispetto delle regole da parte di chi le dichiara. | Un ordine in più, senza un effetto misurabile garantito. |
Decidere e verificare
Dalla scelta alla prova nei log.
La decisione su che cosa aprire ai crawler AI si prende pagina per pagina e si verifica nei log del server: solo lì si vede chi è passato, quando e su quali indirizzi.
I passi con cui un’azienda decide quali parti del sito aprire ai crawler AI, scrive le regole e verifica nei log che siano rispettate.
Elenca le pagine
Quelle che vuoi che gli assistenti possano leggere e citare.
Decidi per agente
Ricerca, addestramento, visite avviate da una persona: tre scelte diverse.
Scrivi le regole
Un blocco per agente in robots.txt, con le cartelle protette.
Controlla i log
Quali agenti passano, su quali pagine e con quale frequenza.
Rivedi ogni trimestre
Nuovi agenti compaiono: l’elenco va aggiornato.
Domande frequenti
Domande frequenti su llms.txt e crawler AI.
Se llms.txt serve, se bloccare i crawler AI riduce la presenza nelle risposte, come sapere chi visita il sito e se robots.txt è una protezione.
Che cos’è il file llms.txt e chi l’ha proposto?
Un file Markdown alla radice del sito, proposto nel 2024, che offre ai modelli linguistici un sommario e i link alle pagine più utili. È una convenzione volontaria, non uno standard.
Serve davvero un file llms.txt?
Costa poco e mette ordine, ma nessuno può garantire che un assistente lo legga. Contano di più pagine chiare e raggiungibili.
Se blocco i crawler AI sparisco dalle risposte?
Dipende da quale agente blocchi. Chiudere la ricerca di un assistente può togliere le tue pagine dalle sue citazioni; chiudere l’addestramento riguarda un uso diverso.
robots.txt protegge i contenuti?
No. È una richiesta che i crawler dichiarati rispettano. Per i contenuti riservati servono accesso protetto e autenticazione.
Percorsi collegati
Dopo «llms.txt e crawler AI», il prossimo passo.
Le guide spiegano i concetti con esempi su brand fittizi. Da qui prosegui con le altre guide, con il metodo e con le funzioni che li applicano al tuo brand.
Guide a reputazione, fiducia e AI
Guide su GEO, AEO, visibilità AI, reputazione online, recensioni e monitoraggio: che cosa controllare, un esempio e i passi per agire.
LeggiDalla domanda all’intervento
Come funziona TrustInsider in sei passi: brand, domande, preventivo, prove, intervento pagina per pagina e verifica sulle stesse domande.
LeggiUn metodo trasparente, non una scatola nera
Come nasce ogni misura TrustInsider: campionamento delle risposte AI, fonti e diritti, calcolo degli indici e limiti dichiarati.
LeggiTrova la risposta giusta
Assistenza su accesso, crediti, raccolte, integrazioni e dati: guide, FAQ, assistente del sito e richieste di supporto dal workspace.
Leggi