Die russische Suchmaschine Yandex hat jetzt damit begonnen, auch JavaScript- und CSS-Dateien zu crawlen, um die Darstellung von Webseiten bewerten zu können. Damit folgt Yandex dem Vorbild von Google.
Vor wenigen Tagen hat die russische Suchmaschine Yandex auf ihrem Blog (russisch) angekündigt, jetzt auch JavaScript und CSS zu crawlen. Das Unternehmen schreibt, die Daten würden verwendet, um zu testen, wie Webseiten in modernen Browsern dargestellt werden. Dies habe auch Auswirkungen auf das Ranking.
Webseitenbetreibern empfiehlt Yandex, eventuell per robots.txt gesperrte JavaScript- und CSS-Dateien freizugeben, damit der Crawler diese erfassen kann. Außerdem sollte kontrolliert werden, dass sich durch das Crawlen dieser Dateien keine Lastprobleme auf dem Server ergeben, auf dem die Webseite betrieben wird. Betroffen ist derzeit nur eine kleine Auswahl an Webseiten.
Auch Google hatte Webseitenbetreiber aufgefordert, JavaScript und CSS für das Crawlen freizugeben. Damit kann Google zum Beispiel erkennen, ob eine Webseite für die Darstellung auf Mobilgereäten optimiert ist.
