Inhalte auf Seiten, die den Statuscode 404 oder 410 liefern, werden von Google ignoriert. Das gilt auch für Einräge im HTTP-Header wie das X-Robots-Tag.
Wenn der Server beim Aufruf einer Seite den Status 404 oder 410 zurückgibt, ist es für Google völlig egal, welche Inhalte sich auf dieser Seite befinden - sie werden ignoriert. Das hat John Müller per Twitter mitgeteilt. Dabei ging es um die Frage, ob das Senden eines X-Robots-Tags im HTTP-Header für 404- oder 410-Seiten die Deindexierung dieser Seiten beschleunigen könne. Müller sagte wörtlich: "Wir ignorieren Dinge auf 404/410-Seiten":
Um die Deindexierung bestimmter Seiten zu beschleunigen, ist es übrigens sinnvoller, die betreffenden URLs in eine XML-Sitemap aufzunehmen und das "last modified"-Datum möglichst aktuell zu setzen. Dies sorgt im Zusammenspiel mit dem Server-Statuscode 404 oder 410 dafür, dass Google die Seiten zeitnah crawlt und dann aus dem Index entfernt.
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
404-Fehler, auf die Google häufig stößt: So findet Ihr sie schnell
Mithilfe der Crawl-Statistik in der Google Search Console lassen sich schnell und einfach die URLs mit Status 404 finden, auf die Google am häufigsten stößt.
Google: Aus SEO-Sicht bringt das Umwandeln des Status 404 in 410 keine Vorteile
Das Umwandeln des Status 404 in den Status 410 für nicht verfügbare Seiten bringt laut John Müller von Google keine SEO-Vorteile.
