Der Googlebot kann unter Umständen Formulare abschicken, die er auf Webseiten findet. In Verbindung mit URL-Parametern kann dies zu einem stark erhöhten Crawling-Volumen führen. Weniger wahrscheinlich ist es dagegen, dass die neue Policy im Umgang mit Nofollow-Links zu spürbar erhöhter Crawling-Aktivität führt.
Einige Webmaster berichteten zuletzt von verstärkten Crawling-Aktivitäten durch Google Ende März und Anfang April. Dies wurde in einem aktuellen Webmaster-Hangout thematisiert.
Johannes Müller sagte, er wisse nichts von Änderungen seitens Google in Bezug auf das Crawlen. Manche Websites würden häufiger, andere dafür etwas seltener gecrawlt. Er habe sich aber eine Website genauer angesehen, bei welcher die Crawl-Frequenz stark angestiegen sei. Dort gebe es Formulare. Es könne vorkommen, dass der Googlebot Formulare abschicke. Komme es dann zu einer Kombination mit URL-Parametern, könne sich eine Vielzahl von URLs ergeben, denen der Googlebot folge, wenn die Kapazitäten des betreffenden Webservers ausreichten.
Auf die Frage, ob Googles geänderter Umgang mit Nofollow-Links eine Ursache für das stark angestiegene Crawling-Volumen auf vielen Websites sein könnne, antwortete Google, er gehe nicht davon aus, dass dies spürbar sei. Man könne dies aber in den Logfiles überprüfen.
Auf Websites mit Formularen sollte als zur Sicherheit getestet werden, ob Google diese crawlen kann. Falls ja, sollten die URLs auf Parameter untersucht werden, die zu unnötigem Crawlen durch Google führen können. Im Zweifelsfall sollten entsprechende Seiten oder URLs per robots.txt gesperrt werden.
Titelbild: Copyright WDnet Studtio - Fotolia.com
