trustinsider
Deutsch
Ihre Marke analysieren

llms.txt und KI-Crawler

Wer Ihre Website für die Assistenten liest.

llms.txt ist eine 2024 vorgeschlagene Textdatei, die Sprachmodellen ein lesbares Verzeichnis der nützlichsten Seiten einer Website bietet; KI-Crawler sind die Programme, mit denen Anbieter von Assistenten das Web lesen. Erfahren Sie, wie Sie sie mit robots.txt steuern.

Kurz gesagt

llms.txt und KI-Crawler in wenigen Zeilen.

KI-Crawler besuchen Seiten, um Modelle zu trainieren, die Suche von Assistenten zu speisen oder eine Nutzeranfrage zu beantworten. robots.txt sagt jedem, was er lesen darf; llms.txt schlägt eine geordnete Inhaltskarte vor.

robots.txt

Der Standard, um Crawlern zu sagen, was sie besuchen dürfen.

llms.txt

Ein Vorschlag, um Modellen die zuerst zu lesenden Seiten zu nennen.

Die Server-Logs

Der einzige Weg zu wissen, wer wirklich da war.

Wer die Website besucht

Die häufigsten KI-Crawler und wozu sie dienen.

Jeder Anbieter benennt seine Agenten mit einem Namen, dem User Agent. Manche sammeln Seiten für das Training, andere für die Suche im Assistenten, wieder andere nur, wenn ein Nutzer eine Seite öffnen lässt.

Die von Anbietern genannten KI-Crawler-Agenten und ihr Zweck

Sechs von ihren Anbietern öffentlich dokumentierte KI-Crawler-Agenten mit Anbieter und erklärtem Zweck, für die Regeln in robots.txt.

AgentAnbieterErklärter Zweck
GPTBotOpenAISeiten sammeln, die zum Training der Modelle dienen können.
OAI-SearchBotOpenAISeiten für die Suche in ChatGPT indexieren.
ChatGPT-UserOpenAIEine Seite öffnen, wenn ein Nutzer im Gespräch darum bittet.
Google-ExtendedGoogleDie Nutzung der Inhalte für Gemini-Modelle steuern, nicht für die Suche.
ClaudeBotAnthropicSeiten sammeln, die zum Training der Modelle dienen können.
PerplexityBotPerplexitySeiten für die Antworten von Perplexity indexieren.

Die Regeln

Was in robots.txt gehört.

robots.txt wird von oben gelesen, ein Block pro Agent. Man kann die Suche der Assistenten öffnen und das Training sperren oder nur einzelne Ordner schützen. Die Datei ist eine Bitte: Deklarierte Crawler halten sich daran, eine technische Sperre ist sie nicht.

Das Robots Exclusion Protocol ist in der RFC 9309 der IETF (September 2022) beschrieben. Die Agenten und ihre Bedeutung dokumentieren die Anbieter auf ihren Seiten für Webmaster.

Eine Beispiel-robots.txt mit unterschiedlichen Regeln für KI-Crawler

Eine Beispiel-robots.txt für eine fiktive Website, die die Suche der Assistenten zulässt, das Training sperrt und den geschützten Bereich abschirmt.

SeiteBeispieldokument

beispiel.de/robots.txt · fiktive Website

Suche der Assistenten
User-agent: OAI-SearchBot · Allow: /
Training
User-agent: GPTBot · Disallow: /
Nutzung für Gemini-Modelle
User-agent: Google-Extended · Disallow: /
Alle anderen
User-agent: * · Disallow: /geschuetzter-bereich/
Ein Beispiel, keine Empfehlung: Die Wahl hängt davon ab, was Assistenten zitieren dürfen sollen.

Die Datei llms.txt

Was llms.txt leistet und was nicht.

llms.txt wurde im September 2024 auf llmstxt.org als Markdown-Datei im Stammverzeichnis vorgeschlagen, mit Zusammenfassung und Links zu den wichtigsten Seiten. Es ist eine freiwillige Konvention: pflegenswert, aber ohne Zusicherung, dass ein Assistent sie liest.

robots.txt und llms.txt im Vergleich

Die beiden Textdateien im Stammverzeichnis im Vergleich: Zweck, Status, Adressaten und das zu erwartende Ergebnis für die Präsenz in KI-Antworten.

robots.txtllms.txt
ZweckFestlegen, was besucht werden darf und was nicht.Die nützlichsten Seiten nennen, mit Zusammenfassung.
StatusEin IETF-Standard, den deklarierte Crawler beachten.Ein freiwilliger Vorschlag, ungleichmäßig übernommen.
AdressatenAlle Crawler, einer pro Block.Sprachmodelle und die Werkzeuge, die sie nutzen.
Was man erwarten kannDie Einhaltung der Regeln durch die, die sich deklarieren.Mehr Ordnung, ohne zugesicherte messbare Wirkung.

Entscheiden und prüfen

Von der Entscheidung zum Nachweis in den Logs.

Was man KI-Crawlern öffnet, entscheidet man Seite für Seite und prüft es in den Server-Logs: Nur dort sieht man, wer wann auf welchen Adressen war.

Agent Analytics entdecken
Ein Webentwickler und eine Kollegin prüfen in einem hellen Studio gemeinsam die Serveraktivität auf einem Monitor. Mit KI erzeugte Szene.
KI-generiertes Bild · Illustrative Szene
Der Weg, KI-Crawler auf einer Website zu steuern und zu prüfen

Die Schritte, mit denen ein Unternehmen entscheidet, welche Teile der Website es KI-Crawlern öffnet, die Regeln schreibt und in den Logs prüft, ob sie eingehalten werden.

  1. Seiten auflisten

    Die, die Assistenten lesen und zitieren können sollen.

  2. Pro Agent entscheiden

    Suche, Training, von einer Person ausgelöste Besuche: drei verschiedene Entscheidungen.

  3. Regeln schreiben

    Ein Block pro Agent in robots.txt, mit den geschützten Ordnern.

  4. Logs prüfen

    Welche Agenten kommen, auf welche Seiten und wie oft.

  5. Jedes Quartal überprüfen

    Neue Agenten tauchen auf: Die Liste muss aktualisiert werden.

Häufige Fragen

Häufige Fragen zu llms.txt und KI-Crawlern.

Ob llms.txt nützt, ob das Sperren von KI-Crawlern die Präsenz in Antworten verringert, wie man erfährt, wer die Website besucht, und ob robots.txt schützt.

Was ist die Datei llms.txt und wer hat sie vorgeschlagen?

Eine Markdown-Datei im Stammverzeichnis, 2024 vorgeschlagen, die Sprachmodellen eine Zusammenfassung und Links zu den nützlichsten Seiten bietet. Eine freiwillige Konvention, kein Standard.

Braucht man wirklich eine llms.txt?

Sie kostet wenig und schafft Ordnung, aber niemand kann zusichern, dass ein Assistent sie liest. Klare, erreichbare Seiten zählen mehr.

Verschwinde ich aus Antworten, wenn ich KI-Crawler sperre?

Das hängt davon ab, welchen Agenten Sie sperren. Wer die Suche eines Assistenten sperrt, kann seine Seiten aus dessen Quellenangaben entfernen; das Training zu sperren betrifft eine andere Nutzung.

Schützt robots.txt Inhalte?

Nein. Es ist eine Bitte, die deklarierte Crawler befolgen. Vertrauliche Inhalte brauchen geschützten Zugang und Authentifizierung.

Weiterführende Themen

Die Leitfäden erklären die Begriffe mit Beispielen fiktiver Marken. Von hier geht es weiter zu den anderen Leitfäden, zur Methodik und zu den Funktionen, die sie auf Ihre Marke anwenden.

Die Methode auf Ihre Marke anwenden
llms.txt und KI-Crawler: Praxisleitfaden | TrustInsider