Google crawlt nur die ersten 15 MB von Webseiten

Google crawlt nur die ersten 15 MB von HTML- und Textdateien. Größere Dokumente werden demnach nur unvollständig gecrawlt und indexiert.

Google hat in seiner Dokumentation zum Googlebot um einen wichtigen Hinweis ergänzt. Demnach crawlt der Googlebot nur die ersten 15 MB des Inhalts eines HTML-Dokuments oder einer unterstützten Textdatei. Nach den ersten 15 MB stellt der Googlebot das Crawlen ein und berücksichtigt nur diese für die Indexierung. Andere Crawler könnten andere Limits verwenden:

Googlebot can crawl the first 15MB of content in an HTML file or supported text-based file. After the first 15MB of the file, Googlebot stops crawling and only considers the first 15MB of content for indexing. Other crawlers may have different limits.

Das bedeutet jedoch nicht, dass zum Beispiel auf einer Webseite, die ein Bild in der Größe von 15 MB enthält, nichts anderes mehr gecrawlt wird. Das genannte Limit bezieht sich nur auf das HTML bzw. auf den Text.

Es dürfte nur sehr wenige Webseiten geben, deren HTML- und Textumfang das von 15 MB übersteigt. Allerdings sollte man das Limit nicht komplett außer Acht lassen - im Zweifelsfall kann es dazu führen, dass die Inhalte einer Seite nicht komplett indexiert werden können.

Verwandte Beiträge

Google verwendet neuen Crawler für URL Inspection Tool und Rich Results Test

Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit...

Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate

Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.

Google hat Vorbereitungen zum Crawlen von außerhalb der USA getroffen

Bisher crawlt Google nur aus den USA heraus. Das könnte sich aber bald ändern, denn Google hat Vorbereitungen getroffen, die auch lokales Crawlen ermöglichen.