Google hört nicht mit dem Crawlen von 404-Seiten auf, solange es Signale wie zum Beispiel Links gibt, die auf diese Seiten verweisen.
Auch nach längerer Zeit versucht Google immer wieder, Seiten zu crawlen, die den Status 404 zurückgeben. Das passiert zumindest so lange, wie es Signale gibt, welche auf die betreffenden URLs verweisen. Selbst zufällige Links genügen, damit es der Googlebot immer wieder einmal mit dem Crawlen probiert. Das bestätigte Johannes Müller jetzt per Twitter. Ein Nutzer wollte zuvor wissen, ob es eine bestimmte Zeitspanne gebe, nach welcher Google das Crawlen einer 404-Seite einstelle:
Das bedeutet: Möchte man tatsächlich vermeiden, dass Google eine bestimmte URL aufruft, sollte man dafür sorgen, dass es keine verweisenden Links mehr gibt. Alternativ kann man auch in der robots.txt die betreffenden URLs für das Crawlen sperren.
Titelbild: Copyrigt Dirk Schumann - Fotolia.com
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
404-Fehler, auf die Google häufig stößt: So findet Ihr sie schnell
Mithilfe der Crawl-Statistik in der Google Search Console lassen sich schnell und einfach die URLs mit Status 404 finden, auf die Google am häufigsten stößt.
Google: Aus SEO-Sicht bringt das Umwandeln des Status 404 in 410 keine Vorteile
Das Umwandeln des Status 404 in den Status 410 für nicht verfügbare Seiten bringt laut John Müller von Google keine SEO-Vorteile.
