Wenn auf einer Website Interstitials gegen Bots zum Einsatz kommen, muss auf die richtige Konfiguration geachtet werden. Ansonsten droht die Deindexierung von Seiten.
Manche Websites verwenden Zwischenseiten, auf denen geprüft wird, dass es sich beim Besucher um keinen Bot handelt. Meist befindet sich auf solchen Interstitials ein Captcha, also eine Aufgabe, die normalerweise nur Menschen lösen können.
Allerdings bergen solche Anti-Bot-Interstitials auch Gefahren. So kann es zum Beispiel bei falscher Implementierung zum Deindexieren von Seiten der betreffenden Website kommen.
Darauf wies jetzt John Müller von Google per Twitter hin. Er schrieb, dass von solchen Interstitials nicht der HTTP-Status 200 für "ok" gesendet werden dürfe. Zudem dürfe kein "noindex" enthalten sein. Das Senden des Status 200 zusamme mit "noindex" führe nämlich dazu, dass Seiten aus dem Index entfernt werden, wenn die Suchmaschinen dies sehen:
"If you run a hosting service, and have a "you might be a bot" interstitial, make sure it uses a non-200 HTTP result code (perhaps 503), and that it doesn't have a noindex on it. Serving a noindex+200 will result in pages being dropped from search, if search engines see it."
Müller verwies außerdem auf einen Beitrag in der Google Hilfe, in dem beschrieben wird, wie man den Googlebot erkennen kann. Damit lässt sich vermeiden, dass der Googlebot auf solche Interstitials stößt.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
