Controllo del robots.txt
Controllo crawler AI: incolla il robots.txt del tuo sito e scopri, crawler per crawler, chi può leggere un percorso, chi è bloccato e quali letture chieste da una persona non seguono robots.txt.
Controllo gratuito
Incolla il contenuto del tuo robots.txt: la lettura avviene nel tuo browser e il testo non lascia la pagina.
Che cosa controlla
Lo strumento applica le regole del tuo robots.txt a ogni crawler AI che TrustInsider riconosce. Per ciascuno trovi il fornitore, lo scopo dichiarato e se il percorso che scegli è ammesso o bloccato.
Gli scopi con cui i fornitori dichiarano i loro crawler, con che cosa fa il crawler in ciascun caso e un agente del registro che lo porta, così leggi la colonna dello scopo nella tabella dell’esito.
| Scopo dichiarato | Che cosa fa il crawler | Un agente con questo scopo |
|---|---|---|
| Addestramento dei modelli | Raccoglie pagine che possono entrare nei dati di addestramento di un modello. | GPTBot di OpenAI |
| Indice per le risposte con ricerca | Costruisce l’indice da cui un assistente sceglie le fonti quando cerca. | OAI-SearchBot di OpenAI |
| Lettura chiesta da una persona | Apre una pagina quando un utente chiede all’assistente di leggerla. | ChatGPT-User di OpenAI |
| Motore di ricerca | Indicizza il sito per i risultati di ricerca e le funzioni che li usano. | Googlebot di Google |
Lettura delle regole
Un crawler segue il gruppo User-agent che lo nomina; solo se nessun gruppo lo nomina segue quello con l’asterisco. Fra le regole del gruppo vale quella con il percorso più lungo, e a parità vince Allow.
Un robots.txt di esempio su un brand fittizio: un gruppo generale che ammette tutto, un gruppo dedicato a un crawler di addestramento che blocca una cartella, e la sitemap dichiarata in fondo.
User-agent: *
Allow: /User-agent: GPTBot
Disallow: /prodotti/Sitemap: https://ilmarde-audio.example/sitemap.xmlLimiti dichiarati
robots.txt chiede ai crawler che cosa non leggere; rispettarlo è una scelta di chi gestisce il crawler. Alcuni fornitori dichiarano che le letture chieste da una persona non lo seguono: lo strumento le segna come non applicabili.
Lo strumento non apre il tuo sito e non scarica il file: se il robots.txt pubblicato è cambiato, incolla la versione in linea.
Un crawler ammesso dalle regole può non essere mai passato; un crawler bloccato può aver chiesto lo stesso le pagine.
Regole e visite
Con l’analisi degli agenti AI della piattaforma confronti le regole con le richieste registrate: quali agenti leggono le pagine, quando, e se chi usa il nome di un agente arriva dagli indirizzi che il suo fornitore pubblica.
Che cosa dice il controllo gratuito delle regole e che cosa aggiunge l’analisi delle richieste registrate dal sito, su tre questioni: permesso, passaggio reale e identità dell’agente.
| Controllo del robots.txt | Analisi degli agenti AI | |
|---|---|---|
| Permesso | Dice se le regole ammettono un crawler su un percorso. | Mette le regole accanto alle pagine che ogni agente ha chiesto. |
| Passaggio | Non sa se il crawler è mai arrivato sul sito. | Conta le richieste di ciascun agente AI nel periodo scelto. |
| Identità | Prende per buono il nome scritto nelle regole. | Confronta l’indirizzo di provenienza con gli intervalli pubblicati dal fornitore. |
Domande frequenti
Le risposte chiariscono che cosa significa un crawler ammesso o bloccato, perché alcune letture risultano non applicabili e come controllare una sola sezione del sito con il campo del percorso.
Non necessariamente. Molti fornitori usano crawler diversi per l’addestramento e per l’indice delle risposte con ricerca: bloccarne uno non dice nulla sugli altri. Per questo la tabella riporta lo scopo di ogni crawler.
Sono letture che partono da una persona, quando chiede all’assistente di aprire una pagina. I fornitori che le segnaliamo come non applicabili dichiarano che queste letture non seguono robots.txt.
Scrivi nel campo del percorso l’indirizzo della sezione, a partire dalla barra, per esempio /blog/. Lo strumento applica le regole a quel percorso per ogni crawler.
Percorsi collegati
Visto quali crawler AI il tuo robots.txt lascia entrare, prova gli altri strumenti gratuiti, scopri come la piattaforma segue il brand nel tempo, leggi il metodo delle misure e trova l’assistenza.
Strumenti gratuiti per la visibilità AI: controlla come Gemini descrive il brand, i crawler AI nel robots.txt, il tuo llms.txt e la share of voice.
LeggiScopri come usare TrustInsider: scegli il brand e le domande, leggi le risposte raccolte, aggiorna i contenuti e confronta i risultati.
LeggiCome nasce ogni misura TrustInsider: campionamento delle risposte AI, fonti e diritti, calcolo degli indici e limiti dichiarati.
LeggiAssistenza su accesso, crediti, raccolte, integrazioni e dati: guide, FAQ, assistente del sito e richieste di supporto dal workspace.
Leggi