Wenn das Crawlen einer Website die Ressourcen des Webservers auslastet, dann ist die Verantwortung laut Google auf der Website zu suchen und nicht beim Googlebot.
Gerade für größere Websites mit vielen Tausenden von Unterseiten kann das Crawlen ein Faktor für die Auslastung des Webservers sein. Damit alle wichtigen Seiten möglichst aktuell im Google-Index vertreten sind, ist es erforderlich, dass der Googlebot regelmäßig die Seiten abruft und auf Änderungen überprüft.
Wenn der Abruf dieser Seiten zu einer hohen Last auf dem Webserver führt, zum Beispiel, weil aufwändige Datenbankabfragen durchgeführt werden müssen, kann das Crawlen aller wichtigen Seiten den Webserver überlasten. In diesem Fall ist Verantwortung laut Google aber bei der Website zu suchen und nicht beim Googlebot. Das schrieb Gary Illyes jetzt auf Twitter:
Google erkennt Lastprobleme auf Webservern und reduziert dann automatisch die Crawling-Frequenz - insbesondere dann, wenn es zu einem erhöhten Aufkommen an 500er-Fehlern kommt.
Eine erste Übersicht über mögliche Probleme beim Crawlen liefern die Crawling-Statistiken in der Google Search Console. Dort findet man Angaben zur Zahl der pro Tag vom Googlebot abgerufenen Seiten, zum heruntergeladenen Datenvolumen sowie zur durchschnittlichen Downloadzeit. Auch auf den Bereich "Abdeckung" in der Search Console sollte man einen Blick werfen und prüfen, ob dort gehäuft 500er-Fehler vorkommen.
Verwandte Beiträge
Google verwendet neuen Crawler für URL Inspection Tool und Rich Results Test
Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit...
Google: Für das schnelle Indexieren neuer Inhalte ist die Qualität der einzelnen Seite sowie der gesamten Website wichtig
Um Google dazu zu bringen, neue Inhalte schnell zu indexieren, muss sowohl die Qualität der Seiten stimmen, die indexiert werden sollen, als auch die Qualität der gesamten Website passen.
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
