Agent Analytics

Wer Ihre Seiten liest, bevor er sie zitiert.

Aus den Logs Ihrer Website: die Zugriffe von KI-Crawlern und von Agenten, die Ihre Seiten im Auftrag einer Person öffnen: pro Bot, pro Seite und pro Tag, mit Identität geprüft anhand der von den Anbietern veröffentlichten Adressbereiche.

Die Ansicht der Crawler und KI-Agenten: tägliche Bot-Zugriffe, Absicht je Plattform und gelesene Seiten.
Demodaten · Northstar Audio

Wie sich die Suche verändert

Vor einem Zitat steht ein Lesezugriff.

Ein Assistent kann eine Seite nur zitieren, wenn sie jemand gelesen hat: ein Crawler, der den Index aufbaut, oder ein Agent, der sie öffnet, während eine Person fragt. Analysetools, die auf einem Skript in der Seite beruhen, sehen diese Zugriffe meist nicht.

Eine lächelnde Entwicklerin sieht in einem hellen Studio voller Pflanzen auf dem Laptop, wer ihre Website gelesen hat. KI-generierte Szene.
KI-generiertes Bild · Illustrative Szene

Training

Crawler, die Seiten sammeln, um ein Modell zu trainieren, etwa GPTBot oder ClaudeBot.

Indexierung

Crawler, die den Index aufbauen, aus dem der Assistent zitiert, etwa OAI-SearchBot oder PerplexityBot.

Auf Anfrage einer Person

Agenten, die die Seite öffnen, während jemand mit dem Assistenten spricht, etwa ChatGPT-User oder Perplexity-User.

Verifiziert oder erklärt

Ein Name im User-Agent ist eine Behauptung.

Jeder kann „GPTBot“ schreiben. Ein Zugriff gilt nur als verifiziert, wenn die Herkunftsadresse in den vom Anbieter veröffentlichten Bereichen liegt. Wer keine veröffentlicht, bleibt „erklärt“: nie verifiziert, nie erfunden.

Erkannte Agenten und wie sie verifiziert werden
AnbieterAgentenIdentitätsprüfung
OpenAIGPTBot · OAI-SearchBot · ChatGPT-UserVom Anbieter veröffentlichte Adressbereiche
PerplexityPerplexityBot · Perplexity-UserVom Anbieter veröffentlichte Adressbereiche
AnthropicClaudeBot · Claude-SearchBot · Claude-UserKeine veröffentlichten Bereiche: erklärter Zugriff
Google und MicrosoftGooglebot · BingbotVeröffentlichte Bereiche; Suchmaschinen ohne trennbare KI-Absicht

Vier Messwerte

Erreichbar, gelesen, zitiert, besucht.

Jede Seite hat vier Messwerte, jeweils mit eigener Quelle. Sie bleiben getrennt, weil sie unterschiedliche Fragen beantworten: Eine Seite kann erreichbar und nicht gelesen sein, gelesen und nicht zitiert, zitiert und nicht besucht.

Erreichbar

Die Seite antwortet und ist nicht ausgeschlossen: Das sagt das Website-Audit.

Gelesen

Agenten haben sie geöffnet, nach Absicht: Das sagen die Logs.

Zitiert

KI-Antworten nennen sie als Quelle: Das sagen die Erhebungen.

Besucht

Menschen, die von einem Assistenten kommen: Das sagt Google Analytics 4.

Was Sie sehen

Pro Bot, pro Seite, pro Tag.

Zugriffe werden über die Zeit verfolgt und mit dem Audit, den Antworten, die die Seiten zitieren, und den Besuchen aus Assistenten abgeglichen. Sie sehen auch die an Agenten zurückgegebenen Fehler, etwa fehlende Seiten und Zeitüberschreitungen, und wer robots.txt respektiert.

Die von KI-Agenten am häufigsten gelesenen Seiten der Demo-Website, mit Anzahl der Zugriffe und den Agenten, die sie geöffnet haben.
Demodaten · Northstar Audio

Die Logs und der Datenschutz

Kein Skript in den Seiten. Keine Besucherdaten.

Die Logs autorisieren Sie. Prüfung und Aggregation erfolgen, bevor etwas gespeichert wird: Übrig bleiben nur Zählungen pro Tag, Seite und Bot.

Quelle verbinden

Cloudflare Logpush an unsere Adresse oder ein NDJSON-Stream von einem anderen CDN.

Prüfen

Die Herkunftsadresse wird mit den vom Anbieter des Bots veröffentlichten Bereichen abgeglichen.

Aggregieren

Adressen und User-Agents bleiben nur für die Aggregation im Speicher: Gespeichert werden nur Zählungen.

Wenig aufbewahren

Aggregate laufen nach 30 Tagen ab und werden gelöscht.

Häufige Fragen

Fragen zu Agent Analytics.

Was KI-Crawler sind, warum Google Analytics ihre Abrufe nicht zeigt, wie wir prüfen, dass ein Abruf wirklich von dem stammt, der er zu sein vorgibt, und was Sie installieren müssen.

Was sind KI-Crawler?

Programme, die Webseiten im Auftrag eines KI-Dienstes lesen: um ein Modell zu trainieren, um den Index aufzubauen, aus dem der Assistent zitiert, oder um eine Seite zu öffnen, während eine Person fragt.

Warum zeigt mir Google Analytics diese Zugriffe nicht?

Weil Crawler das Analyseskript der Seite meist nicht ausführen. Ihre Anfragen erscheinen in den Logs des Servers oder des CDN, und dort lesen wir sie.

Woher wissen Sie, dass ein Zugriff wirklich von OpenAI oder Perplexity kommt?

Wir gleichen die Herkunftsadresse mit den vom Anbieter veröffentlichten Bereichen ab. Passt sie nicht, bleibt der Zugriff „nicht verifiziert“ und zählt nicht zu den gelesenen Seiten.

Muss ich etwas auf der Website installieren?

Nein. Kein Skript in den Seiten: Sie verbinden das CDN nur lesend oder senden einen Log-Stream.

Weiterführende Themen

Jede Funktion beantwortet eine bestimmte Frage. Von hier gelangen Sie zu verwandten Funktionen, zur Methodik ihrer Messung und zur Hilfe für den Einsatz im Arbeitsalltag.

Agent Analytics: KI-Crawler auf Ihrer Website | TrustInsider