Google wird möglicherweise demnächst einen neuen Report in der Search Console anbieten, der Informationen zum Crawl-Budget liefert. Dieser neue Report würde dann die bisherigen Crawling-Statistiken ablösen.
Immer wieder gibt es Fragen rund um das sogenannte Crawl-Budget, das Google Websites einräumt. Darunter versteht man die Zahl der URLs einer Website, die Google crawlen kann und crawlen will. Wie viele Seiten Google crawlen kann, hängt zum Beispiel von technischen Faktoren ab. Wenn ein Server zu langsam reagiert oder Fehler liefert, reduziert Google die Crawl-Rate. Die Zahl der URLs, die Google abrufen will, wird dagegen zum Beispiel von der Aktualisierungshäufigkeit einer Website beeinflusst.
In der Google Search Console gibt es aktuell einen Bericht, der verschiedene Daten zum Crawlen liefert: Die Zahl der pro Tag vom Googlebot abgerufenen Seiten, die täglich heruntergeladene Datenmenge sowie die durchschnittliche Dauer für das Herunterladen einer Seite.
Weil aber die Crawling-Statistik Teil der alten Search Console ist, wollte ein Nutzer im Google Webmaster-Hangout vom 26.11. wissen, ob dieser Bericht auch Teil der neuen Google Search Console wird.
Johannes Müller antwortete, er würde am liebsten alles beibehalten, aber das Search Console-Team müsse manchmal harte Entscheidungen fällen. Möglicherweise würden die bestehenden Berichte aber zu etwas verbunden werden, das einfacher zu verstehen und einen konkreteren Handlungsbezug aufweise. Es könne sinnvoll sein, etwas rund um das Crawl-Budget zu erstellen. Er wisse aber nicht, ob etwas in der Art für die nächste Zeit geplant sei. Vieles hänge auch vom Feedback der Nutzer ab.
Wer Johannes Müller kennt, der weiß, dass er es normalerweise ablehnt, geplante Änderungen und Features anzukündigen. Passiert dies aber ausnahmsweise doch einmal, so ist das meist ein starkes Anzeichen dafür, dass eine entsprechende Änderung kurz bevorsteht. Es wäre also keine Überraschung, wenn Google in den kommenden Wochen einen neuen Bericht zum Crawl-Budget für die Search Console präsentieren würde.
