Google hat eine Liste mit IP-Adressen veröffentlicht, die Google zum Crawlen verwendet. Damit ist es nicht mehr nötig, einen Reverse DNS Check zur Verifizierung von Googles Crawlern vorzunehmen.
Wer bisher prüfen wollte, ob ein Aufruf von einer bestimmten IP-Adresse von Google stammte, musste dazu einen Reverse DNS Lookup durchführen und nachsehen, ob die IP-Adresse auf eine Google-Domain zeigt, und zwar entweder auf google.com oder googlebot.com.
Das ist jetzt nicht mehr nötig, denn Google hat eine Liste von IP-Adressen zur Verfügung gestellt, die Google für den Googlebot verwendet. Eine Liste der IP-Adressen aller anderen Google-Crawler gibt es ebenfalls.
Leider hat Google diese Listen in der deutschsprachigen Dokumentation zum Prüfen des Googlebots und anderer Crawler noch nicht verlinkt. Die deutschsprachigen Hilfeseiten von Google sind leider oftmals nicht auf dem aktuellen Stand. In der englischsprachigen Dokumentation ist der Hinweis dagegen bereits enthalten.
Die Möglichkeit zum Prüfen der Herkunft von Seitenaufrufen ist wichtig für viele Websites, um Requests von Spam- und Fake-Crawlern einzudämmen. Durch das Eingrenzen der erlaubten Abrufe auf eine vorgegebene Liste von IP-Adressen lässt sich der Traffic reduzieren. Dabei ist aber zu beachten, dass sich die Listen täglich ändern können. Daher sollten entsprechende Filterregeln möglichst häufig geprüft und aktualisiert werden.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
