SEO-News

Google Schriftzug schwarz

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.


 Anzeige

Wer sich um das Crawling-Budget seiner Website Gedanken macht, sollte diesen Hinweis von Gary Illyes (Google) beachten: Auf LinkedIn gab er den Rat, URLs, die bestimmte Aktionen auslösen, per robots.txt zu sperren. Dazu gehören zum Beispiel URLs, mit denen ein Produkt in den Warenkorb gelegt wird oder mit denen man Produkte einer Wunschliste hinzufügen kann.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Illyes schrieb, es werde immer wieder kritisiert, Google crawle zu viel, was zu viele Ressourcen des Webservers beanspruche (obwohl dies keine Probleme verursache). Bei der Prüfung der URLs, die von den Websites derjenigen gecrawlt werden, von denen die Beschwerden stammen, handele es sich oft um Action URLs. Diese seien für den Crawler nutzlos. Daher sollte man entsprechende Disallow-Regeln zur robots.txt hinzufügen oder auf POST-Requests für die entsprechenden Aktionen umstellen. Manche Crawler könnten allerdings auch solche Requests verarbeiten.

 

Google empfiehlt, Action URLs per robots.txt für das Crawlen zu blockieren - Gary Illyes auf LinkedIn

 

Insbesondere bei großen Websites mit vielen Tausenden URLs kann es sinnvoll sein, das Crawlen von solchen URLs auszuschließen, um die Ressourcen der eigenen Webserver und das Crawl-Budget zu schonen.

Verwandte Beiträge

Die KI-Suchmaschine Perplexity respektiert die robots.txt von Websites. Allerdings gibt es eine kleine Ausnahme.

Wenn Google Seiten indexiert hat, die per robots.txt gesperrt sind, ist das normalerweise kein Problem.

Eine robots.txt bietet keinen ausreichenden Schutz von Inhalten vor nicht berechtigten Zugriffen. Daran erinnerte jetzt Gary Illyes von Google.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen InternetX

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px