Google erkennt Duplicate Content auf verschiedenen Ebenen. Auch auf Basis der URL-Struktur einer Website ist Google in der Lage, Duplicate Content zu erkennen und Seiten zu Canonicals zusammenzufassen.
Noch immer gibt es auf vielen Websites eine große Anzahl ähnlicher Landing Pages, zum Beispiel für verschiedene Städte und Regionen, wobei sich die Inhalte der einzelnen Seiten kaum voneinander unterscheiden. Für die Besucher bringen solche Seiten meist keinen Mehrwert. Es geht nur darum, für lokale oder andere spezifische Suchanfragen in den Suchergebnissen zu erscheinen.
Google kann solche Seiten jedoch als Duplicate Content erkennen. Wie John Müller in den Google Search Central SEO Office Hours vom 5. März erklärte, identifiziert Google Duplicate Content auf verschiedenen Ebenen: Erstens anhand der Inhalte selbst, und zweitens auf Basis von Mustern und URL-Strukturen einer Website - selbst dann, wenn sich der HTML-Code der Seiten voneinander unterscheidet.
Google bemerke es, wenn es auf verschiedenen URLs ähnliche Inhalte gebe, so Müller weiter. In diesem Fall könne Google sich dazu entschließen, Ressourcen für das Crawlen und Indexieren zu sparen und die vermeintlichen Duplikate auszulassen. Müller sagte, er habe solche Fälle zum Beispiel für Städte oder auch für Autos gesehen. Wenn Google zum Beispiel erkenne, dass der Name einer Stadt für eine Seite nicht relevant sei, könne das entsprechend berücksichtigt werden. Konkret nannte Müller das Beispiel von zwei Webseiten mit Veranstaltungen für Städte, die nahe beieinander liegen und die außer dem Städtenamen die gleichen Inhalte zeigen. Hier könne es passieren, dass Google den Namen der Städte als nicht relevant ansehe.
Um eine solche Situation zu vermeiden, sollte man laut Müller für möglichst geringe inhaltliche Überlappungen der Seiten sorgen. So könne man im genannten Beispiel etwa die Seite der kleineren Stadt mit einem Canonical-Link auf die Seite der größeren Stadt versehen, um dafür zu sorgen, dass Google nur einzigartige Seiten indexiere.
Bleibt zu hoffen, dass Google an dieser Stelle zukünftig noch konsequenter vorgehen wird. Derzeit gibt es leider noch viel zu viele Landing Pages ohne erkennbaren Mehrwert unter den Suchergebnissen.
