Bevor man Seiten oder ganze Verzeichnisse per robots.txt sperrt, sollte man erst prüfen, ob es Backlinks gibt, die auf diese Seiten zeigen. Auch die Art und die Relevanz dieser Backlinks sollte man sich ansehen.
Wenn sich eine Website mit der Zeit weiterentwickelt, kann es passieren, dass ältere Beiträge entfernt oder in ein Archiv verschoben werden. Auf sehr großen Websites werden solche Archive gelegentlich per robots.txt gesperrt, um die Zahl der zu crawlenden Seiten zu reduzieren.
Bevor man aber Seiten oder ganze Verzeichnisse per robots.txt sperrt und sie damit dem Zugriff der Suchmaschinen entzieht, sollte man prüfen, ob es Backlinks auf die betreffenden Seiten gibt. Wenn das der Fall ist, können die gesperrten Seiten dennoch in den Suchergebnissen erscheinen. Google verwendet dabei den Ankertext der Backlinks zum Erzeugen der Titel in den Snippets. Eine Description kann aber nicht angezeigt werden.
Wie John Müller in den Google Search Central SEO Office Hours erklärte, kann Google bei per robots.txt gesperrten Seiten auch nicht erkennen, wenn diese auf aktuellere und relevantere Seiten verweisen. Google könne dann nicht indirekt zu den Hauptinhalten weiterleiten.
Wenn Seiten wichtig genug seien, dass die Menschen Links auf sie gesetzt haben, dann sollte man laut Müller erwägen, die Seiten nicht per robots.txt zu sperren. Dafür spricht, dass Google auch per robots.txt gesperrte Seiten indexieren und damit auch die auf die Seiten verweisenden Links werten kann. Allerdings können die verlinkten Seiten keinen "Link Juice" an andere Seiten der Website weitergeben, weil Google die internen Links der Seite aufgrund des "disallow" in der robots.txt nicht erkennen kann.
Wie Müller weiter erklärte, könne es allerdings sein, dass die vorhandenen Backlinks, die auf archivierte Seiten verweisen, nicht mehr besonders interessant sind. Im besprochenen Beispiel handelte es sich um alte Pressemeldungen. Die Links, die auf solche Inhalte zeigen, können mit der Zeit an Relevanz verloren haben.
SEO-Newsletter bestellen
