SEO-News

Suchmaschinenbot

Bei zu großen robots.txt-Dateien kann es sein, dass Google nicht alle Direktiven verarbeitet, denn nur die ersten 500 KB werden berücksichtigt.


 Anzeige

Die robots.txt einer Website ist wichtig, um festzulegen, welche Crawler bestimmte Seiten oder Verzeichnisse der Website besuchen dürfen und welche nicht. Außerdem sind in einer robots.txt Zusatzinformationen zu finden wie zum Beispiel Verweise auf bestehende XML-Sitemaps.


 Anzeige

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Normalerweise sind robots.txt-Dateien eher klein und enthalten nur wenige Anweisungen bzw. Direktiven. Es kann jedoch auch zu größeren robots.txt-Dateien kommen. Überschreitet die Dateigröße der robots.txt 500 KB, verarbeitet Google nicht mehr die komplette Datei. Gary Illyes wies auf LinkedIn darauf hin, dass Google nur die ersten 500 KB von robots.txt-Dateien berücksichtigt:

 

Google berücksichtigt nur die ersten 500 KB der robots.txt: Gary Illyes auf Twitter

 

Nach einer kleinen, nicht repräsentativen Umfrage, die Illyes durchgeführt hat, überschreiten etwa acht Prozent der robots.txt die Grenze von 500 KB:

 

Umfrage: Größe der robots.txt - LinkedIn

 

Die Größe der robots.txt lässt sich zum Beispiel mit den Developer Tools des Browsers testen. Ist die robots.txt zu groß, sollte man prüfen, ob sich einzelne Direktiven, zum Beispiel für bestimmte URLs, zu allgemeineren Direktiven zusammenfassen lassen, die zum Beispiel auf Verzeichnisebene greifen.


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Crawler bzw. Bots, die auf einer Website zugelassen sind, sollte man laut John Müller von Google nicht fragen, ob sie ein Bot sind, sondern ihnen einfach die gewünschten Inhalte zeigen.

Kurz nach der Bereitstellung einer Möglichkeit zum Aussperren von ChatGPT per robots.txt machen bereits einige Websites Gebrauch davon.

Vor dem Hintergrund von KI-Technologien und Generative AI hat Google dazu aufgerufen, Alternativen zur robots.txt zu entwickeln. Das Protokoll entspricht nicht mehr den Anforderungen der zukünftigen...

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px