SEO-News

Google Lichtwand ZürichWenn die Anzahl der von Google gecrawlten URLs einer Website plötzlich ansteigt, muss das nicht bedeuten, dass Google die Qualität der Website höher wertet. Es gibt viele Einflussfaktoren, die das Crawlen beeinflussen.


 Anzeige

Was bedeutet es, wenn Google mehr URLs einer Website crawlt? Eines ist klar: Es kann dafür verschiedene Ursachen geben. Man darf daraus nicht einfach den Schluss ziehen, dass Google die Website höher bewertet. Das erklärte John Müller per Twitter als Antwort auf die Frage eines Nutzers, der einen Anstieg der Zahl gecrawlter URLs seiner Wesite festgestellt hatte. Der Nutzer wollte wissen, ob dies in Zusammenhang mit einer gestiegenen Qualitätsbewertung der Website insgesamt stehe.

John Müller schrieb, das müsse nicht so sein. Manchmal finde Google einfach viele neue Inhalte oder könne einfach mehr und schneller crawlen:

"No, not necessarily. Sometimes we just find a lot of new content, or realize we can crawl more / faster."

 

Google: Mehr Crawlen bedeutet nicht automatisch mehr Qualität

 

Wie viele URLs einer Website Google crawlt, wird von zwei Faktoren bestimmt: durch Begrenzungen der Crawl-Rate und durch den Crawl-Bedarf. Begrenzungen können sich zum Beispiel aus technischen Gründen ergeben, zum Beispiel, wenn der Server lange zum Antworten braucht, oder wenn es beim Crawlen zu vielen Fehlern kommt. Auch eine manuell per Google Search Console vorgenommene Begrenzung des Crawlens zählt dazu.

Der Crawl-Bedarf gibt an, wie viele URLs Google crawlen möchte. Umso mehr aktuelle Inhalte und umso relevanter die Inhalte einer Website sind, desto höher ist dieser Bedarf. Populäre URLs werden dabei häufiger gecrawlt, weil Google insbesondere bei diesen für einen aktuellen Index sorgen möchte.

Wenn es also zu Veränderungen der Anzahl gecrawlter URLs kommt, sollte man alle in Frage kommenden Faktoren untersuchen.

 

Verwandte Beiträge

Wenn Google aus technischen Gründen beim Crawlen an Grenzen stößt, kann das Aufteilen der Ressourcen auf mehrere Domains oder Subdomains helfen.

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

Google legt das Crawlbudget pro Hostname fest. Das bedeutet, dass die Hauptdomain sowie ihre Subdomains über unterschiedliche Crawl-Budgets verfügen.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen InternetX

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px