Google legt das Crawlbudget pro Hostname fest. Das bedeutet, dass die Hauptdomain sowie ihre Subdomains über unterschiedliche Crawl-Budgets verfügen.
Auch wenn das Crawl-Budget, das Google bereitstellt, nur für sehr große Websites vielen Tausenden von URLs ein Thema ist, ist es dennoch interessant zu wissen, wie Google das Crawl-Budget verteilt.
Sie benötigen SEO-Beratung für Ihre Website?
In dieser Frage gab es jetzt gleich zwei wichtige Informationen von Google. Die erste dieser Informationen lautet, dass das Crawlen von Ressourcen wie zum Beispiel von Bildern oder JavaScript für eine Website von anderen Domains nicht das Crawl-Budget der Website betrifft. John Müller bestätigte auf eine Anfrage bei LinkedIn, dass die Crawl-Budgets der Domains unabhängig voneinander sind.
Interessant ist vor allem die zweite Information: Auf die Frage, ob das Crawl-Budget innerhalb einer Domain für unterschiedliche Subdomains getrennt festgelegt werde, schrieb Gary Illyes von Google, dies sei korrekt.
Was bedeutet das in der Praxis? Es kann bei großen Websites durchaus zu Konstellationen kommen, in denen das Crawl-Budget einer Subdomain bereits erschöpft ist, während andere Subdomains noch über ausreichend Crawl-Budget verfügen. Das gilt es zu überwachen, damit ggf. entsprechend reagiert werden kann.
