In der Google Search Console lässt sich manuell die Crawl-Frequenz des Googlebots begrenzen. Dabei sollte man aber beachten, dass selbst bei der Einstellung 'Hoch' die Crawl-Rate im Normalfall immer noch niedriger ist als ohne manuellen Eingriff.
Die Einstellung zur Crawl-Frequenz in der Google Search Console ist nicht so einfach zu finden. In der linken Navigationsleiste muss man dazu erst auf den Link "weitere Informationen" klicken, um dann im sich öffnenden Hilfe-Popup die entsprechende Funktion zu suchen.
Google hat diese Einstellung aus gutem Grund verborgen, denn normalerweise ist es nicht nötig, etwas an der Crawl-Frequenz zu ändern. Google wählt automatisch die passende Rate aus. Dennoch kann es in einzelnen Fällen sinnvoll sein, die Crawl-Frequenz zu senken, etwa dann, wenn der Webserver überlastet ist.
Doch selbst, wenn man die Einstellung "Hoch" wählt, wird die Crawl-Frequenz normalerweise geringer sein als diejenige, welche Google automatisch auswählen würde. Darauf wies Johannes Müller in einem aktuellen Webmaster-Hangout hin. Die Einstellung diene zur Begrenzung, nicht zur Erhöhung der Crawl-Rate.
Daher kann die Empfehlung nur lauten, diese Einstellung nur dann zu verwenden, wenn es tatsächlich gute Gründe dafür gibt, die Crawl-Frequenz zu reduzieren.
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
Google: Zur Diagnose der Crawl-Rate nicht auf den Page Speed im Browser achten
Für die Crawl-Rate von Google kommt es nicht darauf an, wie lange das Rendern einer Webseite im Browser dauert, sondern wie lange es dauert, eine URL vom Server abzurufen.
Google: Auch nach dem Reduzieren der Crawl-Rate werden wichtige URLs weiter gecrawlt
Beim Reduzieren der Crawl-Rate per Google Search Console crawlt Google weiterhin die wichtigen URLs und lässt zunächst von weniger wichtigen URLs ab.
SEO-Newsletter bestellen
