Mythen und Fakten zum Crawling: Erhöhen komprimierte Sitemaps das Crawling-Budget?

Lässt sich das Crawling-Budget einer Website einsparen oder sogar erhöhen, wenn komprimierte XML-Sitemaps verwendet werden? Um diese Frage geht es im ersten Teil rund um Mythen und Fakten zum Crawling.

Das Crawling-Budget bezeichnet die Zeit und die Ressourcen, die Google in das Crawlen einer Website investiert. Es hängt vom Crawling-Kapazitätslimit sowie vom Crawling-Bedarf ab. Zu den limitierenden Faktoren kann zum Beispiel die Kapazität des Webservers zählen. Der Crawling-Bedarf wird unter anderem davon beeinflusst, als wie wertvoll Google die Inhalte einer Website erachtet.

Normalerweise ist das Crawling-Budget für eine Website kein Problem. Erst bei einer Größenordnung von mehreren Hunderttausend URLs kann es sinnvoll sein, sich mit dem Thema zu beschäftigen und ggf. Optimierungen vorzunehmen.

Eine Frage, die sich in diesem Zusammenhang stellt, ist diese: Kann der Einsatz von komprimierten XML-Sitemaps das Crawling-Budget schonen oder sogar erweitern? Die Antwort dazu findet sich auf Googles Seite zur Verwaltung des Crawling-Budgets großer Websites im Absatz "Mythen und Fakten zum Crawling".

Dass komprimierte XML-Sitemaps sich positiv auf das Crawling-Budget auswirken, gehört demnach eindeutig zur Kategorie der Mythen. Der Grund ist, dass auch komprimierte Sitemaps vom Server abgerufen werden müssen. Daher spart Google nur wenig Zeit und Ressourcen bei deren Abruf.

Abgesehen davon ist die Zahl der XML-Sitemaps auf großen Websites im Verhältnis der Gesamtmenge an URLs ohnehin so gering, dass sich dies insgesamt selbst dann nicht spürbar auswirken würde, wenn es im Hinblick auf die Sitemaps tatsächlich zu Einsparungen käme.

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

Verwandte Beiträge

Google: Begrenzung des Crawlens auf 15 MB wird häufig missverstanden

Die Nachricht, dass Google nur die ersten 15 MB des HTMLs von Webseiten crawlt, hat zu Missverständnissen geführt und zeigt, dass Aussagen von Google oftmals nicht oder nicht vollständig verstanden...

Google ändert Dokumentation zu Crawling und robots.txt

Google hat die Dokumentation zum Crawl-Statusreport aktualisiert. Demnach stellt Google bei nicht verfügbarer robots.txt nach 30 Tagen das Crawlen ein, wenn die Homepage einer Website nicht...

Google: Zur Diagnose der Crawl-Rate nicht auf den Page Speed im Browser achten

Für die Crawl-Rate von Google kommt es nicht darauf an, wie lange das Rendern einer Webseite im Browser dauert, sondern wie lange es dauert, eine URL vom Server abzurufen.