SEO-News

Google Schriftzug schwarz

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.


 Anzeige

Wer sich um das Crawling-Budget seiner Website Gedanken macht, sollte diesen Hinweis von Gary Illyes (Google) beachten: Auf LinkedIn gab er den Rat, URLs, die bestimmte Aktionen auslösen, per robots.txt zu sperren. Dazu gehören zum Beispiel URLs, mit denen ein Produkt in den Warenkorb gelegt wird oder mit denen man Produkte einer Wunschliste hinzufügen kann.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Illyes schrieb, es werde immer wieder kritisiert, Google crawle zu viel, was zu viele Ressourcen des Webservers beanspruche (obwohl dies keine Probleme verursache). Bei der Prüfung der URLs, die von den Websites derjenigen gecrawlt werden, von denen die Beschwerden stammen, handele es sich oft um Action URLs. Diese seien für den Crawler nutzlos. Daher sollte man entsprechende Disallow-Regeln zur robots.txt hinzufügen oder auf POST-Requests für die entsprechenden Aktionen umstellen. Manche Crawler könnten allerdings auch solche Requests verarbeiten.

 

Google empfiehlt, Action URLs per robots.txt für das Crawlen zu blockieren - Gary Illyes auf LinkedIn

 

Insbesondere bei großen Websites mit vielen Tausenden URLs kann es sinnvoll sein, das Crawlen von solchen URLs auszuschließen, um die Ressourcen der eigenen Webserver und das Crawl-Budget zu schonen.


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google legt das Crawlbudget pro Hostname fest. Das bedeutet, dass die Hauptdomain sowie ihre Subdomains über unterschiedliche Crawl-Budgets verfügen.

Nur sehr große Websites müssen sich laut Google Sorgen wegen technischer Probleme mit dem Crawl-Budget machen. Wenn kleinere Websites an Grenzen des Crawl-Budgets stoßen, hat das dagegen meist...

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px