Methode des Observatoriums

Jedes Ranking, Schritt für Schritt.

Jedes Ranking entsteht aus veröffentlichten Fragen, die bei mehreren KI-Assistenten wiederholt, nach festen Regeln gelesen und mit ihrer Unsicherheitsspanne gezählt werden. Hier finden Sie die Schritte, die Schwellen, die Quellen und die Grenzen.

Der Zyklus

Acht Schritte, immer dieselben.

Derselbe Ablauf gilt für jede Reihe und jedes Land. Nur die Quelle der Themen ändert sich. Die Wochenrankings erscheinen jeden Montag für die gerade abgeschlossene Woche.

Vom Signal zur abgeschlossenen Ausgabe
  1. Das Signal

    Eine externe Quelle zeigt, was gerade zählt. Es ist immer eine offizielle oder lizenzierte API bzw. ein solcher Datensatz, nie eine kopierte Seite.

  2. Die Auswahl der Themen

    Die Redaktion behält die Themen, bei denen eine Empfehlung sinnvoll ist, und verwirft Tagesmeldungen, Privatpersonen und sensible Themen. Auswahl und Ausschlüsse bleiben dokumentiert.

  3. Die Fragen

    Für jedes Thema drei feste Formulierungen (Auswahl, Vergleich, Budget), in der Landessprache verfasst und wörtlich veröffentlicht.

  4. Die Erhebung

    Jede Frage geht an jeden Assistenten, von einem Zugang im Land, in neuen Sitzungen. Drei bis zehn Wiederholungen, bis das Intervall eng genug ist.

  5. Das Auslesen

    Ein Modell schlägt die Namen vor, die in der Antwort vorkommen; der Code akzeptiert sie nur, wenn sie wirklich im Text stehen. Neue oder mehrdeutige Fälle prüft ein Mensch.

  6. Die Zählung

    Für jede Marke der Anteil der Antworten, in denen sie zuerst genannt wird, und der Anteil, in denen sie genannt wird, mit einem 95-%-Intervall.

  7. Die Schwellen

    Mindestens drei gültige Antworten pro Zelle, mindestens 70 % der Zellen gemessen, mindestens acht Themen. Unter der Schwelle erscheint die Ausgabe nicht, und wir sagen es.

  8. Der Abschluss

    Die Ausgabe wird mit Datum, Stichprobe, Assistenten und Dateien eingefroren. Sie wird nie neu berechnet: Ein Fehler führt zu einem öffentlichen Rückzug und einer Korrektur daneben.

Assistenten und Kanäle

Jeder Assistent, sein Kanal.

Eine API und eine Oberfläche können dieselbe Frage unterschiedlich beantworten. Deshalb wird der Kanal jedes Assistenten angegeben, und Daten verschiedener Kanäle werden nie vermischt. Jede Ausgabe führt die gemessenen Assistenten auf.

KI-Assistenten und Erhebungskanäle
AssistentKanalWebsuche
ChatGPTWeboberfläche und OpenAI-API, in getrennten SpaltenJa
GeminiGoogle-Gemini-APIJa, mit Google Search
PerplexityPerplexity-API und Weboberfläche, in getrennten SpaltenJa
ClaudeAnthropic-APIJa
CopilotWeboberflächeJa
AI OverviewsGoogle-Ergebnisse von einem lizenzierten AnbieterTeil der Suche
AI ModeWeboberflächeJa

Die Definitionen

Jedes Wort, eine Messgröße.

Die Begriffe der Rankings haben eine genaue Bedeutung, gleich in jeder Ausgabe.

Die Messgrößen der Rankings
Zuerst genannt
Die erste Marke des Registers, die im Antworttext erscheint. Nach dieser Messgröße werden die Rankings geordnet.
Genannt
Die Marke erscheint mindestens einmal in der Antwort, an beliebiger Stelle.
Empfohlen
Die Antwort nennt sie als empfohlene Wahl, nicht nur als Beispiel. Das entscheiden Regeln und Prüfung, nie das Modell allein.
Zitiert
Die Antwort verweist auf eine Seite der Domain der Marke. Das zählt nur, wo der Assistent seine Quellen zeigt.
Share of Voice
Die Erwähnungen der Marke im Verhältnis zu allen Markenerwähnungen in den Antworten der Reihe.
Gleichstand
Zwei Marken, deren Intervalle sich überlappen. Die Tabelle sagt es, statt eine Reihenfolge zu erfinden.

Die Quellen der Themen

Themen nur aus offiziellen Kanälen.

Keine Seite wird automatisch kopiert. Jede Auslesung des Signals trägt Quelle, Zeitpunkt und Fingerabdruck, sodass sich ein Thema immer auf seinen Ursprung zurückführen lässt.

Woher die Themen jeder Reihe stammen
ReiheSignalquelleArt
Themen der WocheGoogle TrendsOffizielle API
Die meistgesuchten FragenRedaktionelle Fragen je Branche, geordnet mit Google Trends und Wikimedia PageviewsRedaktionelle Liste und offizielle APIs
Vor dem KaufRedaktionelle Kaufkategorien, geordnet mit Google TrendsRedaktionelle Liste und offizielle API
Die führenden MarkenWikidataOffener Datensatz CC0
Wer in der Presse stehtWebz.io News Search und GDELTLizenzierte API und offener Datensatz

Was wir nicht tun

Regeln, die nicht nachgeben.

Vier Verpflichtungen gelten für jede Reihe, jedes Land und jede Ausgabe.

Kein Ranking ohne Daten

Reicht die Stichprobe nicht, erscheint die Ausgabe nicht. Es gibt keine geschätzten, aufgefüllten oder rekonstruierten Werte.

Keine Zahl vom Modell

Das Modell liest die Texte und schlägt Namen vor. Zählen, Gewichten und Ordnen übernimmt der Code, nach veröffentlichten Regeln.

Kein Urteil über Produkte

Wir berichten, was KI-Assistenten geantwortet haben. Wir sagen nicht, welche Marke besser ist.

Keine Platzierung zu kaufen

Die Reihenfolge hängt nicht von Abonnements, Sponsoring oder Anfragen der Marken ab.

Weiterverwendung der Daten

Offene Daten, unter der Lizenz CC BY 4.0.

Rankings und Zählungen jeder Ausgabe lassen sich als CSV und JSON mit Felderverzeichnis und Methodenversion herunterladen. Sie dürfen sie auch kommerziell weiterverwenden, wenn Sie „TrustInsider, Observatorium“, die Reihe, das Land und die Ausgabe nennen.

Ein korrektes Zitat eines Werts aus dem Observatorium

Ein Beispielsatz von jemandem, der einen Wert des Observatoriums weiterverwendet: Die Anmerkungen zeigen die Elemente, deren Nennung die Lizenz verlangt.

FrageWie zitiert man einen Wert des Observatoriums in einem Artikel?

Beispielartikel, der die Daten weiterverwendet

Laut „TrustInsider, Observatorium“, Reihe Themen der Woche, Italien, Ausgabe der angegebenen Woche, wurde die zitierte Marke häufiger als die anderen zuerst genannt.

  1. Quelle

    Die von der Lizenz CC BY 4.0 verlangte Namensnennung, Wort für Wort.

  2. Quellenverweis

    Reihe und Land, damit sich der Wert in der richtigen Datei wiederfindet.

  3. Quellenverweis

    Die Ausgabe, weil abgeschlossene Ausgaben nicht neu berechnet werden.

Fehler und Korrekturen

Ein Fehler wird offengelegt.

Wer einen Wert für falsch hält, schreibt der Redaktion mit Angabe von Ausgabe und Zeile. Die Prüfung setzt bei den gespeicherten Antworten an; Ergebnis und gegebenenfalls Korrektur bleiben neben der Ausgabe öffentlich.

Von der Meldung zur öffentlichen Korrektur

Der Weg einer Fehlermeldung zu einer Ausgabe: von der Anfrage an die Redaktion bis zum öffentlichen Hinweis neben der Ausgabe.

  1. An die Redaktion schreiben

    Sie geben die Ausgabe und die Zeile an, die Sie für falsch halten.

  2. Wir prüfen

    Die Prüfung setzt bei den gespeicherten Antworten an, nicht bei einer Schätzung.

  3. Wir veröffentlichen das Ergebnis

    Das Ergebnis bleibt neben der Ausgabe öffentlich, auch wenn der Wert bestätigt wird.

  4. Wir korrigieren, wenn nötig

    Die fehlerhafte Ausgabe wird mit einem Hinweis zurückgezogen, die Korrektur erscheint daneben.

Häufige Fragen

Zur Methode, in Kürze.

Wie oft wir jede Frage wiederholen, welches Konfidenzintervall wir verwenden, wie wir die Assistenten gewichten und warum die Fragen von Konten ohne Verlauf ausgehen.

Wie oft wiederholen Sie jede Frage?

Drei- bis zehnmal pro Frage und Assistent, bis das Intervall eng genug ist: Eine einzelne Antwort ist eine Anekdote, mehrere Antworten ergeben eine Häufigkeit.

Welches Intervall verwenden Sie?

Das Jeffreys-Intervall zu 95 %. Bei wenigen Stichproben pro Zelle ist es zuverlässiger als die Normalapproximation und bleibt immer zwischen 0 und 100 %. Es ist dieselbe Methode wie in der TrustInsider-Plattform.

Wie gewichten Sie die Assistenten?

Nach dem Nutzungsanteil jedes Assistenten im Land, aus öffentlichen Quellen, die in der Notiz der Ausgabe angegeben und datiert sind. Das Ranking je Assistent bleibt immer daneben sichtbar.

Werden die Fragen von einem Konto mit Verlauf gestellt?

Nein. Wir nutzen neue Sitzungen, ohne Verlauf oder Präferenzen. Das ist eine Laborbedingung: Eine reale Person kann andere Antworten sehen.

Weiterführende Themen

Das Observatorium veröffentlicht Rankings mit ihrer Methodik. Von hier gelangen Sie zu den anderen Reihen, zur Methodik der Ausgaben und zur Seite, die sie alle bündelt.

Methode des Observatoriums: die Rankings | TrustInsider