In der Google Search Console lässt sich manuell die Crawl-Frequenz des Googlebots begrenzen. Dabei sollte man aber beachten, dass selbst bei der Einstellung 'Hoch' die Crawl-Rate im Normalfall immer noch niedriger ist als ohne manuellen Eingriff.
Die Einstellung zur Crawl-Frequenz in der Google Search Console ist nicht so einfach zu finden. In der linken Navigationsleiste muss man dazu erst auf den Link "weitere Informationen" klicken, um dann im sich öffnenden Hilfe-Popup die entsprechende Funktion zu suchen.
Google hat diese Einstellung aus gutem Grund verborgen, denn normalerweise ist es nicht nötig, etwas an der Crawl-Frequenz zu ändern. Google wählt automatisch die passende Rate aus. Dennoch kann es in einzelnen Fällen sinnvoll sein, die Crawl-Frequenz zu senken, etwa dann, wenn der Webserver überlastet ist.
Doch selbst, wenn man die Einstellung "Hoch" wählt, wird die Crawl-Frequenz normalerweise geringer sein als diejenige, welche Google automatisch auswählen würde. Darauf wies Johannes Müller in einem aktuellen Webmaster-Hangout hin. Die Einstellung diene zur Begrenzung, nicht zur Erhöhung der Crawl-Rate.
Daher kann die Empfehlung nur lauten, diese Einstellung nur dann zu verwenden, wenn es tatsächlich gute Gründe dafür gibt, die Crawl-Frequenz zu reduzieren.
SEO-Newsletter bestellen