ChatGPT: Wechsel der Quellen macht Tracking noch schwieriger

ChatGPT nutzt zum Erzeugen seiner Antworten verschiedene Pools von Quellen. Dabei dominiert eine Quelle besonders. Beim gleichen Prompt kann es bei mehrmaligen Abfragen zu einem Wechsel der Quellen kommen.

 

 Anzeige

Um die Verteilung der verschiedenen Quellen in ChatGPT unter die Lupe zu nehmen, führte Chris Green 1.000 Prompts aus unterschiedlichen Kategorien jeweils zehnmal durch, insgesamt fast 10.000 Durchläufe.

ChatGPT verwendet zum Erzeugen seiner Antworten verschiedene Pools von Quellen. Dabei steht “SERP” zum Beispiel für das offene Web, während “Labrador” eine Liste etablierter Publisher darstellt, zu denen zum Beispiel Reuters oder The Guardian gehören.

SEO-Beratung: Wir sind Ihre Experten

Wir bringen gemeinsam Ihre Website nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Unsere Beratungsleistungen

Christian Kunz

SEO Experte

David Wulf

SEO Experte

Sven Häwel

Offpage-Experte

Wie sich die vier Quellen unterscheiden

Aus den Daten lassen sich erste Muster ablesen:

• Labrador liefert tendenziell kleinere, fokussierte Ergebnismengen.
• Bright zieht mehr URLs, mehr Zitate und eine breitere Domain-Streuung heran. 
• Oxylabs kommt selten vor, zeigt dann aber eine überraschend vielfältige Domain-Auswahl. SERP ist die Ausnahme und taucht fast ausschließlich bei News-artigen Anfragen auf.

Auch der Prompt-Typ selbst hängt mit der gewählten Quelle zusammen. Zeitlose, faktenbasierte Fragen laufen fast immer über Labrador. Sobald es um aktuelle Ereignisse, Regulierung, Umfragen oder explizite Datumsangaben geht, steigt die Wahrscheinlichkeit für Bright, Oxylabs oder SERP spürbar.

Es gibt außerdem Hinweise auf A/B-Tests, die unter anderem Shopping-Funktionen betreffen. Die Zahlen dafür sind allerdings zu gering, um daraus belastbare Schlüsse zu ziehen. Sie zeigen aber, dass OpenAI an mehreren Stellschrauben gleichzeitig arbeitet.

Labrador dominiert

Bei der Verteilung zeigt sich eine klare Dominanz: “Labrador” tauchte in 88,1 Prozent aller Fälle als primäre Suchquelle auf, mit großem Abstand gefolgt von “Bright” (9,9 Prozent), “Oxylabs” (1,7 Prozent) und “SERP” (0,3 Prozent). Bei 88,4 Prozent aller Prompts blieb die Quelle über alle zehn Durchläufe hinweg identisch.

Bei 11,6 Prozent der Prompts wechselte jedoch die primäre Quelle zwischen den Durchläufen, bei 13,4 Prozent änderte sich zumindest die Kombination der genutzten Quellen. Am häufigsten tauchte dabei Bright zusätzlich zu Labrador oder Oxylabs auf. Das deutet darauf hin, dass Labrador der Standardfall ist und Bright gezielt für bestimmte Anfragen hinzugeschaltet wird.

Die Quellen bzw. der Wechsel zwischen ihnen wirkt sich auf die URLs aus, die zum Erzeugen der Antworten angerufen werden: Blieb eine Anfrage bei derselben Suchquelle, überschnitten sich die URLs zwischen den Durchläufen zu 27,3 Prozent. Wechselte die Quelle, sank dieser Wert auf 14,9 Prozent. Bei den Domains zeigt sich dasselbe Bild: 26,5 Prozent Überschneidung bei gleicher Quelle, 15,5 Prozent bei wechselnder Quelle.

Ein Wechsel der Suchquelle betrifft zwar nur einen kleinen Teil der Prompts, wirkt sich dort aber spürbar aus. Man kann die Wahl der Quellen in ChatGPT deshalb kaum als ein einziges System begreifen. Es sind eher mehrere parallele Retrieval-Systeme, die jeweils auf einen eigenen Ausschnitt des Webs zugreifen.

Zwei wichtige Schlussfolgerungen

Für alle, die KI-Sichtbarkeit tracken, ergeben sich daraus zwei wichtige Schlussfolgerungen:

• Die genutzte Suchquelle sollte künftig als eigene Messgröße erfasst werden
• Die Unterschiede zwischen ausgeloggten Sitzungen und bezahlten, eingeloggten Accounts sind vermutlich noch größer als bislang angenommen.