Inhalte auf Seiten, die den Statuscode 404 oder 410 liefern, werden von Google ignoriert. Das gilt auch für Einräge im HTTP-Header wie das X-Robots-Tag.
Wenn der Server beim Aufruf einer Seite den Status 404 oder 410 zurückgibt, ist es für Google völlig egal, welche Inhalte sich auf dieser Seite befinden - sie werden ignoriert. Das hat John Müller per Twitter mitgeteilt. Dabei ging es um die Frage, ob das Senden eines X-Robots-Tags im HTTP-Header für 404- oder 410-Seiten die Deindexierung dieser Seiten beschleunigen könne. Müller sagte wörtlich: "Wir ignorieren Dinge auf 404/410-Seiten":
Um die Deindexierung bestimmter Seiten zu beschleunigen, ist es übrigens sinnvoller, die betreffenden URLs in eine XML-Sitemap aufzunehmen und das "last modified"-Datum möglichst aktuell zu setzen. Dies sorgt im Zusammenspiel mit dem Server-Statuscode 404 oder 410 dafür, dass Google die Seiten zeitnah crawlt und dann aus dem Index entfernt.
