Google crawlt nur URLs, die an irgendeiner Stelle angegeben sind. URLs werden dagegen nicht zusammengestellt oder erfunden.
"Wir erfinden keine URLs" - das betont Johannes Müller im Google Webmaster-Forum. Hintergrund war die Frage eines Webmasters, der sich wunderte, dass in der Google Search Console Crawling-Fehler für URLs angezeigt werden, die so gar nicht existierten:
"It indicates that "Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request." for the following link: /?cat=1"
Laut Müller müssen die betreffenden URLs an irgendeiner Stelle als Links existieren, wenn sie nicht in der XML-Sitemap enthalten seien, denn Google stelle keine URLs zusammen bzw. erfinde keine URLs:
"What's your site's URL & can you post some of the full URLs that were flagged? In general, Googlebot doesn't make up URLs, so if they were found (and not in your sitemap file), it's likely that they were linked from somewhere within your website (it's also possible that these links have since been removed)."
In solchen Fällen sollte zunächst geprüft werden, ob die betreffenden URLs, die zu Fehlern führen, als interne Links auf der Webseite vorkommen. Möglich ist auch, dass solche Links durch die falsche Konfiguration des Content Management Systems oder verwendeter Plugins entstehen.
Kann dies ausgeschlossen werden, sollten auch externe Links geprüft werden. Auch hier kann es öfter zu Fehlern kommen.
Wichtig ist, dass der Webserver beim Aufruf nicht bestehender Links einen 404-Fehler sendet und keinen 500er-Fehler, der auf Probleme des Servers hinweisen würde. Das könnte nämlich dazu führen, dass Google das Crawlen der Seite einschränkt oder sogar einstellt, um keine weiteren Probleme zu verursachen.
Titelbild © Felix Pergande - Fotolia.com
