Webseiten, die Besuchern mit aktiviertem Adblocker einen Warnhinweis ausgeben oder bei aktiviertem Adblocker keine Inhalte anzeigen, können Probleme mit dem Crawlen durch Google und anderen Suchmaschinen bekommen.
Durch die zunehmende Zahl der Nutzer, die einen Adblocker verwenden, sehen viele Webseitenbetreiber ihre Werbeeinnahmen bedroht. Laut einer Statistik lag im Juni der Anteil der US-Nutzer mit aktiviertem Adblocker bei rund 40 Prozent. Damit unterbindet fast jeder zweite Nutzer das Anzeigen von Werbung. Andere Statistiken zeigen zwar niedrigere Werte bei jedoch stark ansteigender Tendenz. Alleine im Jahr 2016 gab es weltweit einen Anstieg um 30 Prozent.
Manche Publisher und Webseitenbetreiber reagieren auf diese Entwicklung, indem sie ihre Inhalte bei erkanntem Adblocker nicht mehr anzeigen. Ein bekanntes Beispiel dafür ist die Webseite der Bildzeitung. Erst, nachdem das Blockieren von Anzeigen deaktiviert oder das kostenpflichtige Bildplus-Programm gewählt wurde, sind die Inhalte verfügbar.
Für die Crawler der Suchmaschinen kann ein solches Verhalten problematisch sein. Im schlimmsten Fall kann es sogar dazu kommen, dass nur der Warnhiniweis zum Deaktivieren des Adblockers gecrawlt und indexiert wird, nicht aber die eigentlichen Inhalte der betreffenden Webseite.
In einem Webmaster-Hangout vom 12. Dezember hatte ein Nutzer gefragt, ob Google Warnhinweise für Adblocker sogar als Cloaking werten könne, wenn dem Crawler andere Inhalte angezeigt würden als den Besuchern einer Seite.
Grundsätzlich sollte eine Webseite für den Googlebot so aussehen, wie sie sich auch für einen durchschnittlichen Besucher darstellen würde, der eine Seite das erste Mal aufruft. Wenn Besucher ein großes Banner sehen, das zum Deaktivieren von Adblockern auffordert, sollte Google dieses Banner ebenfalls sehen. Besucher mit aktiviertem AdBlocker seien laut Müller aber nicht die Regel.
Laut Johannes Müller ruft Google die Werbung auf einer Seite in der Regel nicht ab, weil sie meist durch die robots.txt-Datei geblockt ist. Würde Google auch Werbebanner crawlen, würde sich das negativ auf die Klickrate (CTR) der Anzeigen auswirken.
Müller empfiehlt, Warnhinweise für Adblocker nicht als Interstitial einzublenden, das die Inhalte der Seite überdeckt, sondern zum Beispiel als Banner im oberen Seitenbereich. Dann könne der Googlebot die Inhalte trotz des Hinweises abrufen.
Was ebenfalls vermieden werden sollte, sind Redirects auf eine andere URL, um einen Warnhinweis anzuzeigen. Das könne dazu führen, dass der Googlebot diesen Redirects folge und nur den Warnhinweis, nicht aber die eigentlichen Inhalte crawle. Stattdessen sollten Inhalte und Hinweis unter derselben URL liegen.
Um sicher zu gehen, dass die Darstellung einer Webseite für Google derjenigen entspricht, wie sie auch die Besucher einer Seite sehen können, empfiehlt Müller die Funktion "Abruf wie durch Google" in der Search Console.
Titelbild © AKS - Fotolia.com