Indexierte URLs, die per robots.txt gesperrt sind, werden von Google irgendwann aus dem Index entfernt. Das ist zum Beispiel dann wichtig, wenn große Mengen an URLs auf einmal per robots.txt ausgeschlossen werden.
Eigentlich gilt die Empfehlung: Wenn man URLs aus dem Google Index entfernen möchte und diese auf "noindex" setzt, dann sollten diese URLs crawlbar sein, dürfen also nicht per robots.txt gesperrt sein. Denn ansonsten kann Google das "noindex" auf den Seiten gar nicht erkennen.
Doch was ist, wenn man große Mengen von indexierten URLs per robots.txt sperren möchte, um Crawl-Budget zu sparen? In diesem Fall kann man darauf warten, dass Google die betreffenden URLs dennoch irgendwann aus dem Index entfernt. Das erklärte Gary Illyes auf LinkedIn im Zusammenhang mit Googles Empfehlungen zur facettierten Navigation auf Websites. Er antwortete auf die Frage, was passiere, wenn man diesen Empfehlungen folge und dann Millionen von URLs im Index habe, die per robots.txt gesperrt sind. Illyes schrieb, die URLs fallen irgendwann aus dem Index, wenn Googles Systeme sie als nutzlos erachten. Er fragte außerdem nach Beispielen und empfahl, John Müller direkt anzuschreiben und nachzufragen.
Generell ist es so, dass Google indexierte URLs, die per robots.txt gesperrt sind, bei normalen Suchanfragen nicht anzeigt, sondern nur dann, wenn gezielt per "site:" nach diesen URLs gesucht wird.
Schon im September hatte John Müller darauf hingewiesen, dass per robots.txt gesperrte URLs im Index normalerweise kein Problem sind.
SEO-Newsletter bestellen
{loadpositon anzeige-unter-newsletter}
