In der Google Search Console lässt sich manuell die Crawl-Frequenz des Googlebots begrenzen. Dabei sollte man aber beachten, dass selbst bei der Einstellung 'Hoch' die Crawl-Rate im Normalfall immer noch niedriger ist als ohne manuellen Eingriff.

Die Einstellung zur Crawl-Frequenz in der Google Search Console ist nicht so einfach zu finden. In der linken Navigationsleiste muss man dazu erst auf den Link "weitere Informationen" klicken, um dann im sich öffnenden Hilfe-Popup die entsprechende Funktion zu suchen.

Google hat diese Einstellung aus gutem Grund verborgen, denn normalerweise ist es nicht nötig, etwas an der Crawl-Frequenz zu ändern. Google wählt automatisch die passende Rate aus. Dennoch kann es in einzelnen Fällen sinnvoll sein, die Crawl-Frequenz zu senken, etwa dann, wenn der Webserver überlastet ist.

Doch selbst, wenn man die Einstellung "Hoch" wählt, wird die Crawl-Frequenz normalerweise geringer sein als diejenige, welche Google automatisch auswählen würde. Darauf wies Johannes Müller in einem aktuellen Webmaster-Hangout hin. Die Einstellung diene zur Begrenzung, nicht zur Erhöhung der Crawl-Rate.

Daher kann die Empfehlung nur lauten, diese Einstellung nur dann zu verwenden, wenn es tatsächlich gute Gründe dafür gibt, die Crawl-Frequenz zu reduzieren.

Verwandte Beiträge

Google: 'Wir crawlen URLs mindestens einmal pro Halbjahr.'

Wie oft Google eine URL besucht, hängt von verschiedenen Faktoren ab. Doch eines scheint laut Aussage von Johannes Müller klar: Mindestens alle sechs Monate schaut der Googlebot vorbei.

Google-Updates können zu veränderter Crawl-Rate führen

Änderungen an den Google-Algorithmen können sich auch auf die Crawl-Rate für Webseiten auswirken. Das hat etwas mit der veränderten Bedeutung der betroffenen Seiten zu tun, welche Google diesen...

Google: Das Ändern des Crawl-Limits wirkt sich auf die Priorität der gecrawlten URLs aus

Das Begrenzen des Crawl-Limits einer Website hat zur Folge, dass Google die Priorität der zu crawlenden URLs ändert. Zudem wirkt sich die Begrenzung nicht auf alle Crawler gleichermaßen aus.