SEO-News

Google Lupe Check

Damit Google eine Website crawlen kann, muss der Webserver die richtige HTTP-Antwort an den Googlebot senden. Ansonsten kann es zu Problemen kommen.


 Anzeige

Beim Crawlen einer Website durch Google spielen verschiedene Faktoren eine Rolle, die auch zu Problemen führen können. Dazu gehört zum Beispiel die robots.txt und mit ihr möglicherweise blockierte URLs und Verzeichnisse. Wichtig ist aber auch, dass der Webserver beim Abruf von Seiten durch den Googlebot die richtige HTTP-Antwort sendet. Passiert das nicht, kann Google die Website nicht crawlen.


 Anzeige

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Von einem solchen Probklem berichtete John Müller auf LinkedIn. Dabei ging es um eine Website, deren mobile Version nicht vom Googlebot abgerufen werden konnte, weil der Webserver jeweils den HTTP-Status 418 sendete. Dieser HTTP-Status steht für "I'am a teapot". Er wird von manchen Websites gesendet, um automatische Abrufe zu unterbinden.

Müller schrieb, technisch gesehen sei es Cloaking, dem Googlebot einen anderen HTTP-Status als den Nutzern zu senden. Praktisch würde das dazu führen, dass das Crawlen und Indexieren der Website nicht möglich seien. Im konkreten Beispiel führt das dazu, dass die mobile Version der Webseite von Google bis heute nicht indexiert wurde.

 

John Müller auf LinkedIn: 'Auf den richtigen HTTP-Status für den Googlebot achten'

 

Müller empfahl, den HTTP-Status von URLs für den Googlebot per URL Inspection Tool in der Google Search Console zu prüfen. Außerdem sollte man auch regelmäßig die Crawling-Statistiken in der Google Search Console im Blick behalten.


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google hat angekündigt, das Crawl Limiter Tool, mit dem sich die Crawl-Rate des Googlebots manuell reduzieren lässt, zum 8. Januar einzustellen.

Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit...

Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px