Eine Webseite sollte laut Google einen 404-Fehler senden, wenn eine ungültige URL aufgerufen wird. Nicht zu empfehlen sind dagegen 500er-Fehler, die auf Probleme des Servers hinweisen.
Beim Abruf einer nicht verfügbaren Ressource wie zum Beispiel einer bestimmten Seite, einer Grafik oder einer CSS-Datei sollte der Server mit einem 404-Fehler antworten. Dadurch weiß der Client, der die Ressource angefordert hat, dass diese nicht unter dem angegebenen Pfad existiert.
Im Gegensatz zu 400er-Fehlern, die Probleme beim Zugriff auf Ressourcen anzeigen, deuten 500er-Fehler auf Probleme des Servers hin. Solche Fehlermeldungen sollten wirklich nur dann versendet werden, wenn es tasächlich technische Schwierigkeiten gibt.
Auch der Googlebot und die Crawler anderer Suchmaschinen sind auf eindeutige Signale der Webserver angewiesen, um zu entscheiden, wie sie mit einer Seite umgehen sollen. Werden die falschen Statuscodes versendet, kann dies zu Problemen führen - im schlimmsten Fall sogar dazu, dass der Googlebot eine Seite nicht mehr crawlt, wenn er 500er-Fehler erhält, um keinen weiteren Schaden auf dem Server anzurichten.
Johannes Müller von Google hat in einem aktuellen Tweet darauf hingewiesen, dass beim Aufruf nicht gültiger URLs 404-Fehler durch den Webserver zu versenden seien. Zuvor hatte ein Nutzer berichtet, dass sein Webserver häufig 500er-Fehler an den Googlebot sende, wenn dieser versuche, URLs aufzurufen, die durch das Anhängen von HTML-Code an die regulären URLs entstünden:
Also Vorsicht bei falschen Statusmeldungen des Webservers, wenn man vermeiden möchte, dass Google die eigene Webseite zukünftig seltener oder möglicherweise gar nicht mehr besucht. Zum Testen bieten sich verschiedene Möglichkeiten an: So kann man zum Beispiel in der Google Search Console im Bereich "Crawling-Fehler" sehen, auf welche Probleme der Googlebot gestoßen ist. Möglich ist auch das Abrufen einer Seite im Browser, während man sich den Netzwerk-Traffic ansieht. Das funktioniert zum Beispiel im Firefox oder in Google Chrome mit Hilfe der Console, die sich per F12 aufrufen lässt.
Titelbild © Dirk Schumann - Fotolia.com
