Wenn Google Seiten indexiert hat, die per robots.txt gesperrt sind, ist das normalerweise kein Problem.
Auch Seiten, die per robots.txt gesperrt sind, können im Google Index sein. Das kann zum Beispiel dann passieren, wenn eine bereits indexierte Seite nachträglich per robots.txt gesperrt wird, so dass Google sie nicht mehr crawlen kann. In einem solchen Fall wäre Google nicht einmal in der Lage, ein auf der Seite vorhandenes "nofollow" zu erkennen. Auch externe Links auf eine per robots.txt gesperrte Seite können zum Indexieren der Seite führen.
Sie benötigen SEO-Beratung für Ihre Website?
Für die Google Suche ist es allerdings kein Problem, wenn per robots.txt gesperrte Seiten indexiert sind. Das erklärte John Müller auf LinkedIn. Er kommentierte den Post eines Nutzers, der von einer bestimmten Spam-Technik berichtete. Dabei werden Backlinks auf nicht vorhandene interne Suchergebnisseiten von Websites erzeugt. Und obwohl die entsprechenden URLs per robots.txt gesperrt sind, wurden sie von Google indexiert.
Müller schrieb, wenn Google eine Seite nicht crawlen könne, dann könne auch das "noindex" nicht erkannt werden. Und wenn man Seiten, die per robots.txt gesperrt sind, mithilfe einer "site:"-Suche finden könne, dann sollte man sich darüber keine Sorgen machen. Auf den Fall der beschriebenen Spam-Technik bezogen schrieb Müller, sowohl ein Sperren per robots.txt als auch ein "noindex" sei ok. Beides führe zu unterschiedlichen Status in der Search Console und beides sei kein Problem für den Rest der Website. Man solle nur darauf achten, dass die nicht erwünschten Seiten nicht crawlbar und indexierbar zugleich sind:
Zu empfehlen ist es, sich für eine Variante zu entscheiden. Im Sinne der Effizienz kann es vorteilhaft sein, auf ein Sperren per robots.txt zu setzen. Dann muss Google die Seiten gar nicht erst crawlen. Das spart Ressourcen bei Google - und auch beim Webserver der Website.
