Das Blockieren von 404-Seiten für die Crawler der Suchmaschinen ist laut Google keine gute Idee und kann viele Probleme verursachen.
Auf fast allen Websites kann es beim Crawlen zu 404-Fehlern kommen. Wenn URLs durch das Löschen oder das Verändern von Seiten oder anderen Ressourcen nicht mehr verfügbar sind, so ist es normal und richtig, dass der Webserver den Status 404 zurückliefert.
Suchmaschinen wie Google können mit 404-Fehlern gut umgehen. Keine gute Idee ist es aber, den Crawlern der Suchmaschinen den Zugriff auf 404-Seiten zu verwähren. Das erklärte jetzt Johannes Müller auf Twitter. Zuvor hatte ein Nutzer erklärt, auf seiner Website seien würden User Agents gesperrt, die mehr als zehn 404-Fehler erhielten. Dazu zähle auch der Googlebot. Es gebe Weiterleitungen dieser Links zu relevanteren Seiten mit mehr passenden Inhalten. Es gebe Hunderte neuer 404er pro Woche.
Müller schrieb, das klinge nach einer sehr schlechten Idee, die verschiedene Probleme verursachen könne. Man könne nicht vermeiden, dass der Googlebot und andere Suchmaschinen auf 404-Seiten stießen. Crawling enthalte auch immer die Möglichkeit, dass URLs, die zuvor noch funktioniert hätten, zu einem 404 führten:
404-Fehler sind ein normaler Bestandteil des Webs. Wenn eine Seite verschoben wird, bietet sich das Einrichten einer Weiterleitung an. Für Seiten, die gelöscht und nicht mehr benötigt werden, ist das Senden des Status 404 die richtige Methode.
Konstrukte wie das oben beschriebene sorgen dagegen nur für unnötige Komplexität mit der Folge, dass Wartung, Pflege und Fehlersuche für eine Website unnötig erschwert werden.
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
404-Fehler, auf die Google häufig stößt: So findet Ihr sie schnell
Mithilfe der Crawl-Statistik in der Google Search Console lassen sich schnell und einfach die URLs mit Status 404 finden, auf die Google am häufigsten stößt.
Google: Aus SEO-Sicht bringt das Umwandeln des Status 404 in 410 keine Vorteile
Das Umwandeln des Status 404 in den Status 410 für nicht verfügbare Seiten bringt laut John Müller von Google keine SEO-Vorteile.
