SEO-News

Android BotsDas Begrenzen des Crawl-Limits einer Website hat zur Folge, dass Google die Priorität der zu crawlenden URLs ändert. Zudem wirkt sich die Begrenzung nicht auf alle Crawler gleichermaßen aus.

In der Google Search Console gibt es immer noch die mittlerweile etwas schwer auffindbare Möglichkeit, ein Crawl-Limit pro Website festzulegen. Damit reduziert sich die Zahl der Abrufe durch Google.

Google crawlt jedoch auf viele verschiedene Weisen und verwendet dazu unterschiedliche Crawler, etwa den mobilen Googlebot und den Googlebot für Desktop. Hinzu kommen weitere Crawler für News, Anzeigen und einige mehr.

Das Reduzieren der Crawl-Frequenz wirkt sich nicht auf alle Crawler gleichermaßen aus. Das erklärte Johannes Müller auf Twitter. Es würden neue Prioritäen festgelegt, um den Schwerpunkt auf wichtige URLs und Crawls zu legen. Wenn es keine Begrenzung gebe, würden dagegen auch weniger kritische Dinge gecrawlt:

 

Google: Das Ändern der Crawl-Frequenz wirkt sich auf die Prioritäten der gecrawlten URLs aus

 

Das Herabsetzen der Crawl-Frequenz sollte immer nur dann gechehen, wenn technische Gründe wie zum Beispiel eine zu hohe Last auf dem Server dafür sprechen. Ansonsten ist von der Verwendung dieser Einstellungsmöglichkeit abzuraten, weil diese dazu führen kann, dass Google nicht alle URLs crawlt oder Änderungen erst später in den Index übernehmen kann.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Das Tool zum Begrenzen der Crawl-Rate aus der Google Search Console wird zum heutigen 8. Januar eingestellt. Google kann die Crawl-Rate selbst am besten an die jeweiligen Bedingungen anpassen.

Nachdem es rund um Googles Crawl-Limit von 15 MB für Webseiten viele Fragen und Missverständnisse gab, beantwortet Gary Illyes von Google jetzt die wichtigsten Fragen dazu.

Die Nachricht, dass Google nur die ersten 15 MB des HTMLs von Webseiten crawlt, hat zu Missverständnissen geführt und zeigt, dass Aussagen von Google oftmals nicht oder nicht...

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px