SEO-News

Googlebot

Es ist keine gute Idee, die robots.txt einer Website dynamisch zu ändern, um zum Beispiel die Serverlast durch das Crawlen zu steuern.


 Anzeige

Die robots.txt dient dazu, den Zugriff der verschiedenen Crawler auf die URLs und Verzeichnisse einer Website zu steuern. Damit lässt sich vermeiden, dass URLs gecrawlt werden, die keinen Merhwert für die Suche bringen. Das reduziert die Last auf dem Server.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Nicht zu empfehlen ist es dagegen, die robots.txt dynamisch und regelmäßig zu ändern, um die Serverlast durch das Crawlen zu reduzieren. Ein Nutzer fragte auf Bluesky bei John Müller nach, ob es sinnvoll sei, morgens und nachmittags eine andere robots.txt zu verwenden, um morgens den Googlebot zu blockieren und nachmittags das Crawlen zu ermöglichen.

Müller antwortete, das sei keine gute Idee weil die robots.txt bis zu 24 Stunden im Cache liegen könne. Es sei nicht zu empfehlen, die robots.txt dynamisch im Lauf eines Tages zu ändern. Stattdessen solle man den HTTP-Status 503 oder den HTTP-Status 429 verwenden, wenn zu viel gecrawlt werde.

 

Google: dynamisches Ändern der robots.txt keine gute Idee - John Müller auf Bluesky

 

Eine weitere Möglichkeit ist das Sperren von URLs per robots.txt, die für die Suche nicht relevant sind. Dazu gehören zum Beispiel URLs mit bestimmten Parametern.

Verwandte Beiträge

Indexierte URLs, die per robots.txt gesperrt sind, werden von Google irgendwann aus dem Index entfernt. Das ist zum Beispiel dann wichtig, wenn große Mengen an URLs auf einmal per robots.txt...

Auf der Google Search Central in Zürich wurden für die Zukunft häufigere Core Updates angekündigt. Auch die Bedeutung der robots.txt und von strukturierten Daten wurde betont.

Die KI-Suchmaschine Perplexity respektiert die robots.txt von Websites. Allerdings gibt es eine kleine Ausnahme.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen Digitaleffects

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px