Wenn Google bereits gefundene 404-Seiten erneut besucht, geht das nicht zu Lasten des Crawl-Budgets. Das liegt an der Reihenfolge, die Google beim Crawlen einhält.

Ab und zu besucht Google Seiten erneut, die früher einen 404-Status zurückgeliefert haben. Damit will Google testen, ob die Seiten inzwischen wieder verfügbar sind. Die Sorge, dass solche Besuche zu Lasten des Crawl-Budgets gehen könnten, sind jedoch unbegründet. Google priorisiert nämlich die zu besuchenden URLs einer Webseite und ruft alte 404-Seiten zum Schluss auf, und zwar nur dann, wenn noch Crawl-Budget übrig ist.

Das hat Johannes Müller in einem aktuellen Tweet erläutert:

Wenn Google also tatsächlich alte 404-Seiten erneut besucht, ist das ein gutes Zeichen und deutet darauf hin, dass das bestehende Crawl-Budget einer Webseite noch nicht ausgeschöpft wurde.

Wer sich Sorgen ums Crawl-Budget macht, sollte insbesondere die folgenden Faktoren im Auge behalten:

• Facettierte Navigation mit vielen ähnlichen URLs sowie Session-URLs
• Soft-404er
• Duplicate Content
• Spam, gehackte Inhalte
• Infinite Spaces: Ansammlungen von URLs ohne Mehrwert.

Verwandte Beiträge

Google erkennt und crawlt URLs aus YouTube-Videos

Google erkennt und Crawlt URLs, die in YouTube-Videos vorkommen. Dazu kommt ein eigenständiger Crawler zum Einsatz.

Erst wenn Google einer Webseite vertraut, steigt das Crawl-Budget

Google crawlt neue Webseiten nicht gleich zu Beginn mit voller Kraft. Zuvor muss Vertrauen aufgebaut werden, dass sich das Crawlen überhaupt lohnt.

Google: Crawling-Probleme durch falsches URL-Rewriting möglich

Unsauberes URL-Rewriting kann zu Crawling-Problemen bei Google führen. Davon betrffen sind auch andere Crawler und SEO-Tools.