SEO-News

StatistikWenn das Crawlen einer Website die Ressourcen des Webservers auslastet, dann ist die Verantwortung laut Google auf der Website zu suchen und nicht beim Googlebot.

Gerade für größere Websites mit vielen Tausenden von Unterseiten kann das Crawlen ein Faktor für die Auslastung des Webservers sein. Damit alle wichtigen Seiten möglichst aktuell im Google-Index vertreten sind, ist es erforderlich, dass der Googlebot regelmäßig die Seiten abruft und auf Änderungen überprüft.

Wenn der Abruf dieser Seiten zu einer hohen Last auf dem Webserver führt, zum Beispiel, weil aufwändige Datenbankabfragen durchgeführt werden müssen, kann das Crawlen aller wichtigen Seiten den Webserver überlasten. In diesem Fall ist Verantwortung laut Google aber bei der Website zu suchen und nicht beim Googlebot. Das schrieb Gary Illyes jetzt auf Twitter:

 

Google: Wenn der Googlebot den Webserver auslastet, liegt die Verantwortung bei der Website und nicht beim Googlebot 

 

Google erkennt Lastprobleme auf Webservern und reduziert dann automatisch die Crawling-Frequenz - insbesondere dann, wenn es zu einem erhöhten Aufkommen an 500er-Fehlern kommt.

Eine erste Übersicht über mögliche Probleme beim Crawlen liefern die Crawling-Statistiken in der Google Search Console. Dort findet man Angaben zur Zahl der pro Tag vom Googlebot abgerufenen Seiten, zum heruntergeladenen Datenvolumen sowie zur durchschnittlichen Downloadzeit. Auch auf den Bereich "Abdeckung" in der Search Console sollte man einen Blick werfen und prüfen, ob dort gehäuft 500er-Fehler vorkommen.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google legt das Crawlbudget pro Hostname fest. Das bedeutet, dass die Hauptdomain sowie ihre Subdomains über unterschiedliche Crawl-Budgets verfügen.

Damit Google eine Website crawlen kann, muss der Webserver die richtige HTTP-Antwort an den Googlebot senden. Ansonsten kann es zu Problemen kommen.

Nur sehr große Websites müssen sich laut Google Sorgen wegen technischer Probleme mit dem Crawl-Budget machen. Wenn kleinere Websites an Grenzen des Crawl-Budgets stoßen, hat das dagegen meist...

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px