Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit Bezahlschranke?
Die Liste der verschiedenen Google Crawler oder Googlebots ist um einen Eintrag erweitert worden: "Google-InspectionTool" ist der Name des neuen Crawlers, den Google für Testing Tools wie den Rich Results Test und das URL Inspection Tool verwendet.
Sie benötigen SEO-Beratung für Ihre Website?
Jetzt unverbindlich anfragenDie Bezeichnung des Crawlers, das sogenannte User Agent Token, lautet
Der komplette User Agent String sieht so aus:
Warum verwendet Google einen eigenen Crawler für die verschiedenen Tools, wenn dieser ansonsten doch das Verhalten des normalen Googlebots zeigt? Dafür kann es verschiedene Gründe geben. Erstens ist es so einfacher, Besuche einer Website in den Logfiles zu erkennen, die von den verschiedenen Testing-Tools Googles stammen.
Eine weitere Erklärung könnte sein, dass es zumindest bisher möglich war, manche Inhalte per Google Testing Tool abzurufen, die für normale Besucher hinter einer Bezahlschranke liegen. Betreiber von Websites mit Bezahlschranke können jetzt anhand des User Agents erkennen, ob die Seite vom Googlebot für die Suche gecrawlt oder von einem Testing-Tool abgerufen wird. In letzterem Fall können sie die Bezahlschranke ebenfalls anzeigen und damit eine Hintertür schließen.
