In der Google Search Console lässt sich manuell die Crawl-Frequenz des Googlebots begrenzen. Dabei sollte man aber beachten, dass selbst bei der Einstellung 'Hoch' die Crawl-Rate im Normalfall immer noch niedriger ist als ohne manuellen Eingriff.

Die Einstellung zur Crawl-Frequenz in der Google Search Console ist nicht so einfach zu finden. In der linken Navigationsleiste muss man dazu erst auf den Link "weitere Informationen" klicken, um dann im sich öffnenden Hilfe-Popup die entsprechende Funktion zu suchen.

Google hat diese Einstellung aus gutem Grund verborgen, denn normalerweise ist es nicht nötig, etwas an der Crawl-Frequenz zu ändern. Google wählt automatisch die passende Rate aus. Dennoch kann es in einzelnen Fällen sinnvoll sein, die Crawl-Frequenz zu senken, etwa dann, wenn der Webserver überlastet ist.

Doch selbst, wenn man die Einstellung "Hoch" wählt, wird die Crawl-Frequenz normalerweise geringer sein als diejenige, welche Google automatisch auswählen würde. Darauf wies Johannes Müller in einem aktuellen Webmaster-Hangout hin. Die Einstellung diene zur Begrenzung, nicht zur Erhöhung der Crawl-Rate.

Daher kann die Empfehlung nur lauten, diese Einstellung nur dann zu verwenden, wenn es tatsächlich gute Gründe dafür gibt, die Crawl-Frequenz zu reduzieren.

Verwandte Beiträge

IndexNow: Neue Initiative von Microsoft und Yandex soll Suchmaschinen-Crawler entlasten

Microsoft Bing und Yandex haben mit IndexNow ein neues Protokoll eingeführt, mit dem man Suchmaschinen über neue Inhalte benachrichtigen und Änderungen melden kann. Google ist bisher nicht beteiligt.

Google crawlt auch URLs, die per JavaScript erzeugt werden

Google crawlt auch per JavaScript erzeugte URLs. Das kann unter Umständen zu einer großen Anzahl zu crawlender URLs führen.

Googlebot schickt in 'extrem seltenen Fällen' Formulare ab

Beim Crawlen kann der Googlebot auch Formulare abschicken. Allerdings passiert das laut Google sehr selten. Wenn es aber vorkommt, kann das Auswirkungen auf das Crawlen haben.