Google mit unklaren Signalen: Ist eine llms.txt nun sinnvoll oder nicht?

Google sendet unklare Signale zur Frage, ob eine llms.txt sinnvoll ist oder nicht. Auf der einen Seite prüft Google Lighthouse jetzt, ob eine llms.txt vorhanden ist, auf der anderen Seite wird erklärt, man brauche eine solche Datei nicht.

 

 Anzeige

Google Lighthouse prüft jetzt, ob auf einer Website eine llms.txt vorhanden ist. Das ist eine Datei, die ähnlich wie eine Sitemap als Verzeichnis der Inhalte einer Website dient und KI-Agenten als Hilfe dienen soll. Die Prüfung auf eine vorhandene llms.txt in Lighthouse gehört zu mehreren überprüften Kriterien im Zusammenhang mit Agentic Browsing. 

Warum aber ist das Bestandteil der Prüfungen durch Lighthouse, wenn es gleichzeitig von Google in der Vergangenheit immer wieder hieß, man brauche keine solche Datei auf einer Website?

John Müller zum Beispiel schrieb dazu gerade erst recht ausführlich auf Bluesky. In einer Antwort auf die Frage, warum denn Google selbst für manche Seiten eine llms.txt einsetze, erklärte er, es gebe mehr für Websites als nur SEO. Man müsse unterscheiden zwischen der "Discovery", also dem Entdecken von Seiten, und der Funktionalität. Er verglich das mit deinem CTA wie einem Button. Diesen füge man nicht aus SEO-Gründen hinzu, sondern um Konversionen zu schaffen.

Konkret auf das Beispiel der Google Developer-Seiten bezogen, die eine llms.txt nutzen, schrieb Müller, Markdown-Dateien, auf die eine llms.txt verweist, können dazu dienen, den Kontext der Dokumentation besser zu verstehen. Natürlich können die Systeme auch HTML lesen, aber so ließen sich eventuell Token einsparen. Das sei wohl eher eine vorübergehende Lösung.

Für Nicht-Entwicker-Seiten sei das allerdings nach seiner Auffassung nicht sinnvoll, so Müller weiter, selbst dann, wenn in Zukunft deutlich mehr KI-Agenten auf Webseiten zugreifen. In der SEO gebe es wichtigere Dinge, um die man sich kümmern müsse.

Es bleiben damit immer noch einige Fragen offen:

• Wenn es nicht sinnvoll ist, eine llms.txt auf einer Website anzubieten, warum prüft Google Lighthouse das dann?
• Gibt es lediglich wichtigere Dinge in der SEO als llms.txt, oder ist die Verwendung komplett nutzlos?
• Ist nicht auch die Optimierung für KI-Agenten wichtig, zu der auch die Token-Effizienz zählt?

Zu Hinterfragen ist auch das von Müller genannte Beispiel eines CTAs, der nicht der SEO diene, sondern dem Schaffen von Konversionen. Hängt das nicht alles zusammen? Müssen sich die Besucher auf einer Website nicht bestmöglich zurechtfinden, was auch durch klare Kennzeichnungen der CTAs geschieht, um auf diese Weise ein gutes Erlebnis auf der Website zu haben, und ist das nicht auch Bestandteil vom SEO? Und kann man die llms.txt nicht in einer ähnlichen Rolle sehen, nur allerdings für KI-Agenten statt für menschliche Besucher?

Viele ungeklärte Fragen, zu denen Google hoffentlich bald weitere Informationen liefern wird.