SEO-News

Google Logo

Vor dem Hintergrund von KI-Technologien und Generative AI hat Google dazu aufgerufen, Alternativen zur robots.txt zu entwickeln. Das Protokoll entspricht nicht mehr den Anforderungen der zukünftigen Entwicklung.


 Anzeige

Seit mittlerweile fast 30 Jahren gibt es die robots.txt als zentrale Datei, mit der festgelegt werden kann, welche Seiten einer Website von Suchmaschinen und anderen Diensten gecrawlt werden dürfen und welche nicht. Mit dem Aufkommen von KI und Generative AI vor allem im Bereich der Suchmaschinen zeigt sich aber, dass die robots.txt nicht mehr allen Anforderungen genügt. So ist es zum Beispiel wichtig, steuern zu können, welche Inhalte für die klassische Suche gecrawlt werden dürfen, nicht aber zum Trainieren der Large Language Models (LLMs) der Chatbots gedacht sind.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Vor diesem Hintergrund hat Google jetzt einen Aufruf zum Entwickeln weiterer maschinenlesbarer Methoden gestartet, mit denen Publisher im Web steuern können, für welche Anwendungsfälle gerade auch im Zusammenhang mit KI ihre Inhalte genutzt werden dürfen. Damit soll eine öffentliche Diskussion begonnen werden, an der Betroffene aus dem Web und dem Bereich der KI teilnehmen sollen. Aber auch aus anderen Bereichen wie zum Beispiel der Wissenschaft und verschiedenen Gesellschaftsbereichen sind willkommen.

Wer sich an der Diskussion beteiligen möchte, kann sich dazu auf dieser Website anmelden.

Verwandte Beiträge

Websitebetreiber werden auch weiterhin keine Möglichkeit haben, Impressionen und Klicks aus dem Google AI Mode separat zu messen. In der Google Search Console werden sie mit anderen Daten aus der...

Auf der Google I/O wurden viele neue KI-Features und insbesondere der AI Mode für die Suche vorgestellt. Offen blieb die Frage, wie sich das auf Websites auswirkt. John Müller von Google hat nun...

Die Google Suche wird sich grundlegend ändern. Der Google AI Mode wird umfassende Auswirkungen haben, auch für die Betreiber von Websites. Nur: Dazu verlor Google auf der I/O 2025 kein Wort.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen Digitaleffects

Online Solutions Group

Farbentour

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px