Um zu steuern, welche Seiten von Google und anderen Suchmaschinen gecrawlt und indexiert werden sollen, kann man die robots.txt-Datei und das Meta Robots-Attribut verwenden. Vielen Webmastern ist aber unklar, wann sie welches Instrument einsetzen sollten. Um das zu verstehen, muss vor allem die Funktionsweise der Suchmaschinen bekannt sein.