Lässt sich das Crawling-Budget einer Website einsparen oder sogar erhöhen, wenn komprimierte XML-Sitemaps verwendet werden? Um diese Frage geht es im ersten Teil rund um Mythen und Fakten zum Crawling.
Das Crawling-Budget bezeichnet die Zeit und die Ressourcen, die Google in das Crawlen einer Website investiert. Es hängt vom Crawling-Kapazitätslimit sowie vom Crawling-Bedarf ab. Zu den limitierenden Faktoren kann zum Beispiel die Kapazität des Webservers zählen. Der Crawling-Bedarf wird unter anderem davon beeinflusst, als wie wertvoll Google die Inhalte einer Website erachtet.
Normalerweise ist das Crawling-Budget für eine Website kein Problem. Erst bei einer Größenordnung von mehreren Hunderttausend URLs kann es sinnvoll sein, sich mit dem Thema zu beschäftigen und ggf. Optimierungen vorzunehmen.
Eine Frage, die sich in diesem Zusammenhang stellt, ist diese: Kann der Einsatz von komprimierten XML-Sitemaps das Crawling-Budget schonen oder sogar erweitern? Die Antwort dazu findet sich auf Googles Seite zur Verwaltung des Crawling-Budgets großer Websites im Absatz "Mythen und Fakten zum Crawling".
Dass komprimierte XML-Sitemaps sich positiv auf das Crawling-Budget auswirken, gehört demnach eindeutig zur Kategorie der Mythen. Der Grund ist, dass auch komprimierte Sitemaps vom Server abgerufen werden müssen. Daher spart Google nur wenig Zeit und Ressourcen bei deren Abruf.
Abgesehen davon ist die Zahl der XML-Sitemaps auf großen Websites im Verhältnis der Gesamtmenge an URLs ohnehin so gering, dass sich dies insgesamt selbst dann nicht spürbar auswirken würde, wenn es im Hinblick auf die Sitemaps tatsächlich zu Einsparungen käme.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
SEO-Newsletter bestellen
