Wenn Google bereits gefundene 404-Seiten erneut besucht, geht das nicht zu Lasten des Crawl-Budgets. Das liegt an der Reihenfolge, die Google beim Crawlen einhält.

Ab und zu besucht Google Seiten erneut, die früher einen 404-Status zurückgeliefert haben. Damit will Google testen, ob die Seiten inzwischen wieder verfügbar sind. Die Sorge, dass solche Besuche zu Lasten des Crawl-Budgets gehen könnten, sind jedoch unbegründet. Google priorisiert nämlich die zu besuchenden URLs einer Webseite und ruft alte 404-Seiten zum Schluss auf, und zwar nur dann, wenn noch Crawl-Budget übrig ist.

Das hat Johannes Müller in einem aktuellen Tweet erläutert:

Wenn Google also tatsächlich alte 404-Seiten erneut besucht, ist das ein gutes Zeichen und deutet darauf hin, dass das bestehende Crawl-Budget einer Webseite noch nicht ausgeschöpft wurde.

Wer sich Sorgen ums Crawl-Budget macht, sollte insbesondere die folgenden Faktoren im Auge behalten:

• Facettierte Navigation mit vielen ähnlichen URLs sowie Session-URLs
• Soft-404er
• Duplicate Content
• Spam, gehackte Inhalte
• Infinite Spaces: Ansammlungen von URLs ohne Mehrwert.

Verwandte Beiträge

Änderungen an der Infrastruktur können Frequenz und Geschwindigkeit des Crawlens beeinflussen

Änderungen an der Server-Infrastruktur wie zum Beispiel der Wechsel von IP-Adressen oder der Umzug auf leistungsfähigere Server können die Häufigkeit und die Geschwindigkeit des Crawlens durch...

Google crawlt bei Website-Updates manche Seiten in Tagen, manche erst in Monaten

Wenn eine Website einem kompletten Update unterzogen wird, dann crawlt Google die wichtigsten Seiten zuerst und das innerhalb weniger Tage. Andere Seiten können dagegen erst nach Monaten gecrawlt...

Google: Wenn das Crawlen den Webserver auslastet, ist nicht der Googlebot schuld

Wenn das Crawlen einer Website die Ressourcen des Webservers auslastet, dann ist die Verantwortung laut Google auf der Website zu suchen und nicht beim Googlebot.