SEO-News

SuchmaschinenbotGoogle hat eine Liste mit IP-Adressen veröffentlicht, die Google zum Crawlen verwendet. Damit ist es nicht mehr nötig, einen Reverse DNS Check zur Verifizierung von Googles Crawlern vorzunehmen.


 Anzeige

Wer bisher prüfen wollte, ob ein Aufruf von einer bestimmten IP-Adresse von Google stammte, musste dazu einen Reverse DNS Lookup durchführen und nachsehen, ob die IP-Adresse auf eine Google-Domain zeigt, und zwar entweder auf google.com oder googlebot.com.

Das ist jetzt nicht mehr nötig, denn Google hat eine Liste von IP-Adressen zur Verfügung gestellt, die Google für den Googlebot verwendet. Eine Liste der IP-Adressen aller anderen Google-Crawler gibt es ebenfalls.

Leider hat Google diese Listen in der deutschsprachigen Dokumentation zum Prüfen des Googlebots und anderer Crawler noch nicht verlinkt. Die deutschsprachigen Hilfeseiten von Google sind leider oftmals nicht auf dem aktuellen Stand. In der englischsprachigen Dokumentation ist der Hinweis dagegen bereits enthalten.

Die Möglichkeit zum Prüfen der Herkunft von Seitenaufrufen ist wichtig für viele Websites, um Requests von Spam- und Fake-Crawlern einzudämmen. Durch das Eingrenzen der erlaubten Abrufe auf eine vorgegebene Liste von IP-Adressen lässt sich der Traffic reduzieren. Dabei ist aber zu beachten, dass sich die Listen täglich ändern können. Daher sollten entsprechende Filterregeln möglichst häufig geprüft und aktualisiert werden.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 

Verwandte Beiträge

Wenn Google aus technischen Gründen beim Crawlen an Grenzen stößt, kann das Aufteilen der Ressourcen auf mehrere Domains oder Subdomains helfen.

Die Vorstellung, dass Google URLs direkt crawlt, auf deren Link der Googlebot stößt, ist falsch. Vielmehr werden die URLs zuvor gesammelt und später besucht.

Damit Google eine Website crawlen kann, muss der Webserver die richtige HTTP-Antwort an den Googlebot senden. Ansonsten kann es zu Problemen kommen.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen InternetX

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px