SEO-News

SuchmaschinenbotObwohl Google immer die Unterstützung von Indexierungs-Direktiven wie 'noindex' in der robots.txt bestritten hat, scheint dies zumindest in manchen Fällen zu funktionieren. Doch damit wird wohl demnächst Schluss sein.

Noch einmal zur klaren Unterscheidung: Die robots.txt dient dazu, das Crawlen einer Website zu steuern. Damit wird also geregelt, welche Suchmaschinen-Bots welche Seiten und Verzeichnisse einer Website aufrufen dürfen und welche nicht.

Davon zu trennen ist die Steuerung der Indexierung, also die Kontrolle darüber, ob bestimmte Seiten in die Suchergebnisse aufgenommen werden sollen oder nicht. Das wird entweder per Meta-Robots-Tag oder per X-Robots-Tag im HTTP-Header gesteuert.

Manche Webmaster nutzen die robots.txt aber nicht nur zum Steuern des Crawlens, sondern auch für die Kontrolle darüber, welche Inhalte indexiert werden dürfen. Dazu schreiben sie in die robots.txt einfach Zeilen wie

Noindex: /seite-1/

Noindex: /seite-2/

Google hat stets bestritten, dies zu unterstützen. Dennoch scheint es zumindest in manchen Fällen zu funktionieren.

Damit könnte aber bald Schluss sein, denn Gary Illyes von Google kündigte an, die entsprechenden Codezeilen des Googlebots womöglich zu entfernen, weil die Vermischung von Crawlen und Indexieren an dieser Stelle einfach unpassend sei:

 

Google: Unterstützung für 'noindex' in robots.txt wird wohl bald eingestellt

 

Auf den Einwand, die Steuerung der Indexierung per robots.txt sei einfacher zu handhaben, kündigte Illyes an, man wolle die Entwickler zur richtigen Verwendung erziehen:

 

Google: 'Wir arbeiten an der Erziehung der Entwickler bezüglich noindex' 

 

Um sicher zu gehen, sollte man also eine klare Trennung vornehmen: Das Steuern des Crawlens geschieht in der robots.txt, das Steuern der Indexierung erfolgt per Meta-Robots-Tags oder per X-Robots-Tags.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google hatte am gestrigen Donnerstag kurzzeitig Indexierungsprobleme, die dazu führten, dass neue Seiten zunächst nicht indexiert wurden. Inzwischen sind die Probleme laut Google behoben.

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

Google hat im Februar viele Seiten aus dem Index entfernt. Der Grund dafür ist, dass sich 'die Wahrnehmung der Websites' geändert hat.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen InternetX

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px