Werden bestimmte URL-Parameter mithilfe des URL-Parameter-Tools in der Google Search Console ausgeschlossen, crawlt Google betreffende URLs dennoch weiterhin.
Über das URL-Parameter-Tool in der Google Search Console lässt sich steuern, wie Google mit URLs umgeht, die bestimmte Parameter enthalten. So kann man zum Beispiel angeben, dass bestimmte Parameter keine Auswirkungen auf die dargestellten Inhalte haben und dass Google URLs ignorieren soll, in denen diese Parameter enthalten sind.
Allerdings führt eine solche Einstellung nicht dazu, dass Google solche URLs komplett vom Crawling ausschließt. John Müller schrieb dazu auf Twitter, Google crawle die betreffenden URLs weniger, aber das Crawlen höre nicht vollständig auf. Um dies zu erreichen, müsse man sie per robots.txt ausschließen:
"It'll crawl less, but it won't stop completely. If you need to stop these URLs from being accessed at all, you'd need to use the robots.txt."
Ohnehin empfiehlt Google die Verwendung des URL-Parameter-Tools vor allem für diese Situationen:
- neue Website
- wenn sich URL-Parameter ändern
- wenn es sehr viele URL-Parameter gibt.
Normalerweise kommt Google aber mit URL-Parametern recht gut zurecht, ohne dass entsprechende Angaben per Tool gemacht werden.
