Der Googlebot crawlt nicht nur per HTTP oder HTTPs. Auch das FTP-Protokoll wird unterstützt.
Der Googlebot ist vielseitiger als gedacht. Neben den Protokollen HTTP und HTTPS, die genügen, um die Inhalte der meisten Webseiten zu erfassen, wird auch das FTP-Protokoll abgedeckt. Das File Transfer Protocol dient, wie der Name vermuten lässt, zum Übertragen von Dateien in IP-Netzwerken. Klassischerweise wird das Protokoll verwendet, um Dateien auf einen Webserver hochzuladen oder Dateien von ihm herunterzuladen.
Dass auch FTP vom Googlebot unterstützt wird, bestätigte jetzt Gary Illyes per Twitter:
Insgesamt werden also drei Protokolle vom Googlebot abgedeckt: HTTP, HTTPS und FTP.
Dass Google Inhalte per FTP abruft, dürfte allerdings die Ausnahme sein. Normalerweise ist dieses Protokoll zum Abrufen von Websites und ihren Inhalten nicht notwendig. Dennoch ist es interessant zu wissen, dass Google dies grundsätzlich unterstützt. Gerade für das Herunterladen von großen Dateien kann das hilfreich sein.
Allerdings ist FTP nicht besonders sicher und bietet Angriffsmöglichkeiten für Hacker. Per Anonymous Authentication ist ein Zugriff per FTP auch ohne Nutzername und Passwort möglich.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
