SEO-News

Googlebot

Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit Bezahlschranke?


 Anzeige

Die Liste der verschiedenen Google Crawler oder Googlebots ist um einen Eintrag erweitert worden: "Google-InspectionTool" ist der Name des neuen Crawlers, den Google für Testing Tools wie den Rich Results Test und das URL Inspection Tool verwendet.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Die Bezeichnung des Crawlers, das sogenannte User Agent Token, lautet

  • Google-InspectionTool
  • Googlebot.

Der komplette User Agent String sieht so aus:

 

Google: neuer Crawler für Testing Tools

 

Warum verwendet Google einen eigenen Crawler für die verschiedenen Tools, wenn dieser ansonsten doch das Verhalten des normalen Googlebots zeigt? Dafür kann es verschiedene Gründe geben. Erstens ist es so einfacher, Besuche einer Website in den Logfiles zu erkennen, die von den verschiedenen Testing-Tools Googles stammen.


 Anzeige

Eine weitere Erklärung könnte sein, dass es zumindest bisher möglich war, manche Inhalte per Google Testing Tool abzurufen, die für normale Besucher hinter einer Bezahlschranke liegen. Betreiber von Websites mit Bezahlschranke können jetzt anhand des User Agents erkennen, ob die Seite vom Googlebot für die Suche gecrawlt oder von einem Testing-Tool abgerufen wird. In letzterem Fall können sie die Bezahlschranke ebenfalls anzeigen und damit eine Hintertür schließen.


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Wenn Google eine neue Seite indexiert, wird diese in der Google Search Console nicht immer sofort als indexiert ausgewiesen.

Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.

Bisher crawlt Google nur aus den USA heraus. Das könnte sich aber bald ändern, denn Google hat Vorbereitungen getroffen, die auch lokales Crawlen ermöglichen.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px