SEO-News

TestbildGoogle hört nicht mit dem Crawlen von 404-Seiten auf, solange es Signale wie zum Beispiel Links gibt, die auf diese Seiten verweisen.

Auch nach längerer Zeit versucht Google immer wieder, Seiten zu crawlen, die den Status 404 zurückgeben. Das passiert zumindest so lange, wie es Signale gibt, welche auf die betreffenden URLs verweisen. Selbst zufällige Links genügen, damit es der Googlebot immer wieder einmal mit dem Crawlen probiert. Das bestätigte Johannes Müller jetzt per Twitter. Ein Nutzer wollte zuvor wissen, ob es eine bestimmte Zeitspanne gebe, nach welcher Google das Crawlen einer 404-Seite einstelle:

 

Google crawlt 404-Seiten, solange es Signale gibt

 

Das bedeutet: Möchte man tatsächlich vermeiden, dass Google eine bestimmte URL aufruft, sollte man dafür sorgen, dass es keine verweisenden Links mehr gibt. Alternativ kann man auch in der robots.txt die betreffenden URLs für das Crawlen sperren.

 

Titelbild: Copyrigt Dirk Schumann - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google gibt Entwarnung: Wenn plötzlich massenhaft Links auf nicht bestehende Seiten gesetzt werden und dadurch die Zahl der 404-Feher in der Google Search Console ansteigt, ist das kein Problem.

Wenn die 404-Seite einer Website den HTTP-Status 200 sendet, ist das zwar keine Katastrophe, sollte aber dennoch behoben werden. Google gibt Tipps dazu, was man in einem solchen Fall unternehmen...

Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px