SEO-News

Googlebot

Wenn Google eine Website plötzlich deutlich mehr crawlt, sollte man prüfen, ob ein Problem die Ursache dafür ist. Darauf wies jetzt Gary Illyes von Google hin.


 Anzeige

Wie viele Seiten einer Website Google crawlt, hängt von verschiedenen Faktoren ab. Neben technischen Bedingungen wie zum Beispiel der Leistung des Webservers spielt auch die Qualität der Website eine Rolle. 

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Ein plötzlicher Anstieg des Crawl-Volumens ist aber nicht automatisch ein Grund zur Freude, sondern kann auch auf Probleme hindeuten. Gary Illyes schrieb dazu auf LinkedIn, ein plötzlicher Anstieg beim Crawlen könne zwar ein gutes Zeichen sein, aber er könne auch ein Hinweis darauf sein, dass etwas nicht stimme. Zwei Probleme seien sehr häufig zu beobachten, wenn das Crawlen plötzlich stark nach oben geht:

  1. Infinite Spaces, das sind sogenannte Crawler-Traps. Daber werden im Grunde unendliche Mengen von URLs erzeugt, denen der Crawler folgen kann. Entstehen können diese zum Beispiel durch endlose Kalender, bei denen man viele Jahre in die Zukunft blättern kann, aber auch durch crawlbare Filterkombinationen in Onlineshops.
  2. Hacked Content: Wenn eine Website gehackt wurde und Hacker eine Website mit ungewünschten Inhalten fluten, crawlen Suchmaschinen diese neuen Seiten zunächst - vorausgesetzt, die Website verfügte bisher über Seiten, die von den Nutzern und den Suchmaschinen als hilfreich bewertet wurden. Weitere Infos dazu sind auf web.dev/hacked zu finden.

 

Gary Illyes: Ein plötzlicher Anstieg des Crawl-Volumens kann auf Probleme hindeuten

 

Illyes schließt seinen Post mit der Empfehlung, einen starken Anstieg des Crawlens zunächst als Symptom eines möglichen Problems zu behandeln, bis man das Gegenteil beweisen kann. 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Crawler bzw. Bots, die auf einer Website zugelassen sind, sollte man laut John Müller von Google nicht fragen, ob sie ein Bot sind, sondern ihnen einfach die gewünschten Inhalte zeigen.

Wenn auf einer Website viele Seiten den Status 304 zurückliefern, reduziert Google deshalb nicht automatisch das Crawlen. Auch auf Basis einzelner Seiten muss ein 304 nicht zu weniger...

Der auf manchen Websites beobachtete Rückgang des Crawlens durch Google wurde von einer geänderten Berechnung des maximalen Crawl-Volumens verursacht.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px