In der Google Search Console lässt sich manuell die Crawl-Frequenz des Googlebots begrenzen. Dabei sollte man aber beachten, dass selbst bei der Einstellung 'Hoch' die Crawl-Rate im Normalfall immer noch niedriger ist als ohne manuellen Eingriff.
Die Einstellung zur Crawl-Frequenz in der Google Search Console ist nicht so einfach zu finden. In der linken Navigationsleiste muss man dazu erst auf den Link "weitere Informationen" klicken, um dann im sich öffnenden Hilfe-Popup die entsprechende Funktion zu suchen.
Google hat diese Einstellung aus gutem Grund verborgen, denn normalerweise ist es nicht nötig, etwas an der Crawl-Frequenz zu ändern. Google wählt automatisch die passende Rate aus. Dennoch kann es in einzelnen Fällen sinnvoll sein, die Crawl-Frequenz zu senken, etwa dann, wenn der Webserver überlastet ist.
Doch selbst, wenn man die Einstellung "Hoch" wählt, wird die Crawl-Frequenz normalerweise geringer sein als diejenige, welche Google automatisch auswählen würde. Darauf wies Johannes Müller in einem aktuellen Webmaster-Hangout hin. Die Einstellung diene zur Begrenzung, nicht zur Erhöhung der Crawl-Rate.
Daher kann die Empfehlung nur lauten, diese Einstellung nur dann zu verwenden, wenn es tatsächlich gute Gründe dafür gibt, die Crawl-Frequenz zu reduzieren.
Verwandte Beiträge
Google: Zur Diagnose der Crawl-Rate nicht auf den Page Speed im Browser achten
Für die Crawl-Rate von Google kommt es nicht darauf an, wie lange das Rendern einer Webseite im Browser dauert, sondern wie lange es dauert, eine URL vom Server abzurufen.
Google: Auch nach dem Reduzieren der Crawl-Rate werden wichtige URLs weiter gecrawlt
Beim Reduzieren der Crawl-Rate per Google Search Console crawlt Google weiterhin die wichtigen URLs und lässt zunächst von weniger wichtigen URLs ab.
Google: 'Erhöhtes Crawl-Aufkommen steht in keinem Zusammenhang mit Core Update'
Laut Google gibt es keinen Zusammenhang zwischen dem teilweise beobachteten erhöhten Crawl-Aufkommen und einem möglichen Core Update. Verbesserungen in der Suche würden andauernd stattfinden.
SEO-Newsletter bestellen
