Änderungen an der Server-Infrastruktur wie zum Beispiel der Wechsel von IP-Adressen oder der Umzug auf leistungsfähigere Server können die Häufigkeit und die Geschwindigkeit des Crawlens durch Google beeinflussen.
Google berücksichtigt beim Crawlen einer Website auch die Leistungsfähigkeit des Webservers. Zu viele Abrufe, welche die Antwortzeiten des Servers erhöhen könnten, sollen so vermieden werden. Aus diesem Grund können sich Änderungen an der Server-Infrastruktur auf die Häufigkeit und die Frequenz des Crawlens durch Google auswirken.
In einem Tweet schrieb Gary Illyes, andere Server, IP-Adressen und ähnliche Dinge, können Einfluss darauf nehmen, wie schnell und oft Google eine Website crawlt. Das liege daran, dass Google erkenne, dass sich etwas geändert habe, mit der Folge, dass Google erst neu lernen müsse, wie schnell und wie oft erneut gecrawlt werden könne:
"Fun fact: changing a site's underlaying infrastructure like servers, IPs, you name it, can change how fast and often Googlebot crawls from said site. That's because it actually detects that something changed which prompts it to relearn how fast and often it can crawl."
Wie groß diese Auswirkungen sind, hängt sicherlich auch von der Größe und der Popularität einer Website ab. Besonders große Websites mit mehreren Hunderttausend URLs können zum Beispiel sehr viel wahrscheinlicher von einer Erhöhung des Crawl-Budgets profitieren als kleine Websites, bei denen das Crawl-Budget ohnehin meist keinen limitierenden Faktor darstellt.
