robots.txt

Textdatei, die im Wurzelverzeichnis des Webservers liegt und in der sich Anweisungen darüber befinden, welche Seiten von Suchmaschinen nicht indexiert werden dürfen. Detaillierte Informationen finden Sie im Abschnitt Onsite-Optimierung/Domain unter der Überschrift "Vermeiden doppelter Inhalte".