Ein "Noindex" kann dazu führen, dass der Googlebot eine Seite mit der Zeit seltener besucht.
Google reagiert beim Crawlen von Webseiten auf verschiedene Signale. Je nachdem, welchen Status ein Server zurückliefert und wie die Konfiguration der jeweiligen Seite und der robots-txt-Datei ist, kann sich das auf das Verhalten des Googlebots auswirken. Auch das Setzen von "Noindex" kann die Zahl der Besuche des Googlebots auf einer Seite über die Zeit beeinflussen.
Interessant ist dazu die aktuelle Anfrage eines Nutzers per Twitter an Johannes Müller. Er wollte wissen, ob sich das Setzen einer Seite auf "noindex" auf das "Rendering-Budget" und die Zahl der Besuche des Googlebots auswirke.
Müller antwortete, dass Seiten mit dem Status "noindex" wie Soft-404-Seiten behandelt würden. Dabei handelt es sich um Seiten, die mit dem Staus "200" für "OK" vom Server ausgeliefert werden, aber nicht die gewünschten Ergebnisse enthalten.
Wenn jetzt also der Googlebot auf eine Seite mit dem Status "noindex" stößt, wird diese nicht gecrawlt und damit auch nicht gerendert. Zugleich kann das längere Bestehen von "noindex" dazu führen, dass der Googlebot die Seite zukünftig seltener besucht - so wie es auch bei einer Seite der Fall wäre, die den Status 404 zurückgibt.
Ein "Rendering-Budget" gibt es bei Google übrigens nicht, wohl aber ein Crawl-Budget. Dieses wird durch eine Vielzahl von Faktoren beeinflusst. Dazu gehören die Qualität der Inhalte, eventuell vorhandener Duplicate Content und auch die Popularität einer Seite, die sich vor allem von der Zahl und der Qualität ihrer Backlinks ableitet.
Titelbild © AKS - Fotolia.com
