Google hat drei Möglichkeiten vorgestellt, wie Seiten für Besucherinnen und Besucher erreichbar sind, ohne dass sie in der Suche erscheinen.
Manche Inhalte auf Websites sollen zwar für Besucherinnen und Besucher offen stehen, aber nicht in den Ergebnissen der Suchmaschinen wie zum Beispiel Google erscheinen. Ein Beispiel dafür sind Datenschutzhinweise, das Impressum oder sensible Inhalte.
Um erreichbare Inhalte aus der Suche herauszuhalten, gibt es grundsätzlich drei Möglichkeiten, die John Müller von Google in einem neuen Video der Reihe #AskGooglebot vorstellt:
- Passwortschutz
- Sperren gegen Crawlen
- Sperren gegen Indexieren.
Der Passwortschutz ist die sicherste der drei Möglichkeiten und vor allem für private Inhalte geeignet, die nur ausgewählten Nutzerinnen und Nutzern zur Verfügung stehen sollen.
Das Sperren gegen Crawlen per robots.txt funktioniert ebenfalls. Es kann aber in Ausnahmefällen passieren, dass Suchmaschinen eine gesperrte URL indexieren, ohne die Inhalte zu crawlen.
Setzt man ein "noindex" per Meta Robots Tag oder im HTTP-Header, kann das Indexieren der betreffenden Seite oder des betreffenden Dokuments vermieden werden.
Fazit: Alle drei Möglichkeiten funktionieren und schließen ungewünschte Seiten aus der Suche aus. Für private Inhalte ist am ehesten der Passwortschutz zu empfehlen.
