Prüfung der robots.txt
KI-Crawler-Check: Füge die robots.txt deiner Website ein und finde Crawler für Crawler heraus, wer einen Pfad lesen darf, wer blockiert ist und welche von einer Person angefragten Zugriffe robots.txt nicht folgen.
Kostenlose Prüfung
Füge den Inhalt deiner robots.txt ein: Er wird in deinem Browser gelesen, und der Text verlässt die Seite nicht.
Was sie steuert
Das Tool wendet die Regeln deiner robots.txt auf jeden KI-Crawler an, den TrustInsider erkennt. Für jeden findest du den Anbieter, den angegebenen Zweck und ob der gewählte Pfad erlaubt oder blockiert ist.
Die Zwecke, für die Anbieter ihre Crawler angeben, mit dem, was der Crawler jeweils tut, und einem Agenten aus dem Verzeichnis, der ihn trägt, damit du die Zweckspalte in der Ergebnistabelle lesen kannst.
| Erklärter Zweck | Was der Crawler tut | Ein Agent mit diesem Zweck |
|---|---|---|
| Training der Modelle | Sammelt Seiten, die in die Trainingsdaten eines Modells eingehen können. | GPTBot von OpenAI |
| Index für Antworten mit Suche | Baut den Index auf, aus dem ein Assistent beim Suchen die Quellen wählt. | OAI-SearchBot von OpenAI |
| Von einer Person angefragter Zugriff | Öffnet eine Seite, wenn jemand den Assistenten bittet, sie zu lesen. | ChatGPT-User von OpenAI |
| Suchmaschine | Indexiert die Website für die Suchergebnisse und die Funktionen, die sie nutzen. | Googlebot von Google |
Regeln lesen
Ein Crawler folgt der User-agent-Gruppe, die ihn nennt; nur wenn ihn keine Gruppe nennt, folgt er der mit dem Sternchen. Unter den Regeln der Gruppe gilt die mit dem längsten Pfad, und bei Gleichstand gewinnt Allow.
Eine Beispiel-robots.txt zu einer fiktiven Marke: eine allgemeine Gruppe, die alles zulässt, eine Gruppe für einen Trainings-Crawler, die einen Ordner blockiert, und die am Ende angegebene Sitemap.
User-agent: *
Allow: /User-agent: GPTBot
Disallow: /prodotti/Sitemap: https://ilmarde-audio.example/sitemap.xmlAusgewiesene Grenzen
robots.txt bittet Crawler, bestimmte Inhalte nicht zu lesen; ob das respektiert wird, entscheidet, wer den Crawler betreibt. Einige Anbieter geben an, dass von einer Person angefragte Zugriffe ihm nicht folgen: Das Tool markiert sie als nicht anwendbar.
Das Tool öffnet deine Website nicht und lädt die Datei nicht herunter: Hat sich die veröffentlichte robots.txt geändert, füge die Online-Version ein.
Ein von den Regeln zugelassener Crawler war vielleicht nie da; ein blockierter Crawler kann die Seiten trotzdem angefragt haben.
Regeln und Besuche
Mit der KI-Agenten-Analyse der Plattform vergleichst du die Regeln mit den erfassten Anfragen: welche Agenten die Seiten lesen, wann, und ob, wer den Namen eines Agenten nutzt, von den Adressen kommt, die sein Anbieter veröffentlicht.
Was der kostenlose Check über die Regeln sagt und was die Analyse der von der Website erfassten Anfragen hinzufügt, in drei Fragen: Erlaubnis, tatsächlicher Besuch und Identität des Agenten.
| Prüfung der robots.txt | KI-Agenten-Analyse | |
|---|---|---|
| Erlaubnis | Zeigt, ob die Regeln einen Crawler auf einem Pfad zulassen. | Stellt die Regeln neben die Seiten, die jeder Agent angefragt hat. |
| Schritt | Weiß nicht, ob der Crawler je auf die Website gekommen ist. | Zählt die Anfragen jedes KI-Agenten im gewählten Zeitraum. |
| Identität | Nimmt den in den Regeln geschriebenen Namen für bare Münze. | Vergleicht die Herkunftsadresse mit den vom Anbieter veröffentlichten Bereichen. |
Häufige Fragen
Die Antworten klären, was ein zugelassener oder blockierter Crawler bedeutet, warum manche Zugriffe als nicht anwendbar erscheinen und wie du mit dem Pfadfeld nur einen Bereich der Website prüfst.
Nicht unbedingt. Viele Anbieter nutzen verschiedene Crawler für das Training und für den Index der Antworten mit Suche: Einen zu blockieren sagt nichts über die anderen. Deshalb zeigt die Tabelle den Zweck jedes Crawlers.
Es sind Zugriffe, die von einer Person ausgehen, wenn sie den Assistenten bittet, eine Seite zu öffnen. Die Anbieter, die wir als nicht anwendbar kennzeichnen, geben an, dass diese Zugriffe robots.txt nicht folgen.
Schreibe die Adresse des Bereichs ab dem Schrägstrich in das Pfadfeld, zum Beispiel /blog/. Das Tool wendet die Regeln für jeden Crawler auf diesen Pfad an.
Weiterführende Themen
Hast du gesehen, welche KI-Crawler deine robots.txt hereinlässt, probiere die anderen kostenlosen Tools aus, erfahre, wie die Plattform die Marke über die Zeit verfolgt, lies die Methodik der Messungen und finde den Support.
Kostenlose Tools für KI-Sichtbarkeit: Prüfe, wie Gemini die Marke beschreibt, die KI-Crawler in der robots.txt, deine llms.txt und den Share of Voice.
LesenSo nutzt du TrustInsider: Wähle Marke und Fragen, lies die erhobenen Antworten, aktualisiere die Inhalte und vergleiche die Ergebnisse.
LesenWie jede TrustInsider-Messung entsteht: Stichprobe der KI-Antworten, Quellen und Rechte, Indexberechnung und angegebene Grenzen.
LesenHilfe zu Zugang, Credits, Erhebungen, Integrationen und Daten: Anleitungen, FAQ, Website-Assistent und Support aus dem Workspace.
Lesen