Nur sehr große Websites müssen sich laut Google Sorgen wegen technischer Probleme mit dem Crawl-Budget machen. Wenn kleinere Websites an Grenzen des Crawl-Budgets stoßen, hat das dagegen meist inhaltliche Gründe.
Wie viele URLs einer Website Google crawlt und indexiert, hängt von verschiedenen Faktoren ab. Neben technischen Kriterien sind es vor allem die Inhalte und mit ihnen die Qualität und Relevanz, die darüber entscheidend sind, wie groß das Crawl-Budget einer Website bei Google ist.
Sie benötigen SEO-Beratung für Ihre Website?
Ob das Crawl-Budget einer Website aus technischer Sicht groß genug ist, damit Google wirklich alle wichtigen URLs abrufen kann, ist dabei eine Frage, die sich nur für sehr große Websites stellt. John Müller schrieb jetzt in dieser Frage auf Reddit, das Crawl-Budget sei nur für "massive Websites" ein Problem. Wenn man dagegen eine kleinere Website betreibe und auf Probleme mit dem Crawl-Budget stoße, dann liege das einfach daran, dass Google keinen Mehrwert im Crawlen zusätzlicher Seiten sehe. Es handele sich dann nicht um ein technisches Problem:
Crawl budget is really just a problem for massive sites. If you're seeing issues there, and your site isn't actually massive, then probably Google just doesn't see much value in crawling more. That's not a technical issue.
Auf die Frage, ob es notwendig sei, beim Aufruf einer nicht mehr bestehenden URL direkt den Status 410 zu senden, oder ob auch eine vorherige 301-Weiterleitung auf eine 410-URL möglich sei, antwortete Müller, eine Mischung aus 301 und 410 sei ok.
SEO-Newsletter bestellen
