Gesponserte Inhalte dürfen zum Crawlen und zur Indexierung durch Google freigegeben werden. Ein 'noindex' ist nicht notwendig. Allerdings müssen augehende Links auf 'nofollow' gesetzt werden.
Auf vielen Websites gibt es immer wieder einmal gesponserte Beiträge, also Inhalte, die gegen Bezahlung oder eine andere Gegenleistung veröffentlicht werden. Hier stellt sich die Frage, ob auch solche Inhalte für die Indexierung durch Google geeignet sind.
Die klare Antwort auf diese Frage lautet: "Ja!". Google hat jetzt auf Twitter bestätigt, dass auch solche Beiträge in der Suche erscheinen dürfen, wenn man kein Problem damit habe, dass die Beiträge als Teil der Website erkennbar seien. Es genüge, die Links im Beitrag auf 'nofollow' zu setzen:
Das bedeutet: Ein Sperren per "disallow" in der robots.txt oder per "noindex" in den Meta-Robots-Tags oder im X-Robots-Header ist für gesponserte Inhalte nicht erforderlich.
Allerdings sollte man darauf achten, dass die redaktionellen Inhalte einer Website gegenüber den gesponserten Inhalten in der Überzahl bleiben.
Google wies außerdem darauf hin, dass es besser sei, "noindex" als die robots.txt zu verwenden, wenn man Inhalte aus der Suche ausschließen wolle.