KI-SEO: Viele AI Bots können mit JavaScript nichts anfangen

Eine aktuelle Studie zeigt, dass die Crawler verschiedener KI-Tools mit JavaScript nicht umgehen können. Hier hat Google noch große Vorteile.

 Anzeige

Während es für Google inzwischen selbstverständlich ist, JavaScript auf Webseiten abzurufen und auszuführen, ist dies bei den AI Bots der verschiedenen KI-Tools wie ChatGPT oder Perplexity nicht gegeben. Die Folge: Webseiten, auf denen clientseitiges JavaScript zum Einsatz kommt, können unter Umständen von den KI-Crawlern und den dahinter liegenden Systemen nicht richtig gerendert werden. Wenn wichtige Inhalte einer Seite per JavaScript dargestellt werden, dann sind diese Inhalte für die Tools nicht verfügbar.

Eine neue Studie zeigt nun, welche AI Bots JavaScript nutzen und welche dieses ignorieren. Die wichtigsten Erkenntnisse:

• Keiner der großen KI-Crawler rendert aktuell JavaScript. Dazu gehören OpenAI (OAI SearchBot, ChatGPT-User und GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDAnce (Bytespider), Perplexity (PerplexityBot). 
• Google Gemini nutzt dagegen die Google Infrastruktur und ermöglicht damit das komplette Ausführen und Rendern von JavaScript.
• AppleBot rendert JavaScript durch einen browserbasierten Crawler - ähnlich dem Googlebot. Dieser verarbeitet JavaScript, CSS und Ajax Requests sowie andere Ressourcen, die zum Rendern benötigt werden.
• Die Crawler von ChatGPT und Claude rufen zwar in manchen Fällen JavaScript ab, doch führen sie den Code nicht aus. Sie können also Content nicht auslesen, der per client-side Rendering erzeugt wird.
• Inhalte, die im initial ausgelieferten HTML enthalten sind, wie zum Beispiel JSON-Daten oder verzögerte React Serverkomponenten, können indexiert werden, weil KI-Bots auch Inhalte jenseits von HTML interpretieren können. KI-Crawler haben rufen bevorzugt bestimmte Arten von Inhalten ab: ChatGPT priorisiert HTML, während Claude bevorzugt Bilder abruft.
• Viele 404-Fehler beim Abrufen von URLs durch die KI-Bots zeigen, dass es hier noch Optimierungspotential beim Priorisieren der abzurufenden URLs gibt.
• Die getesteten Crawler im Test hielten sich an die Direktiven der robots.txt.

Handlungsempfehlungen

Daraus ergeben sich verschiedene Konsequenzen:

• Wer sicherstellen will, dass die Inhalte der eigenen Website auch in ChatGPT Search, Perplexity und Co. erscheinen, sollte diese bereits im initialen HTML bereitstellen. Inhalte, die nur per client-side Rendering dargestellt werden, bleiben dagegen oftmals außen vor.
• Wenn JavaScript zum Einsatz kommt, dann am besten per server-side Rendering.
• JavaScript für nicht essentielle Zusatzfunktionen und optische Features ist unkritisch.
• Website-Betreiber müssen auf eine gesunde URL-Struktur achten und zum Beispiel auf korrekte Weiterleitungen und aktuelle XML-Sitemaps achten, um den KI-Bots das Crawlen zu erleichtern.
• Für die Nutzerinnen und Nutzer von KI-Tools bedeutet das, dass manche im Web verfügbaren Inhalte in den Antworten außen vor bleiben könnten, nämlich dann, wenn diese per client-side JavaScript ausgespielt werden.

Vielen Dank für die Zusammenfassung an Aleyda Solis