Google crawlt nur die ersten 15 MB von Webseiten

Google crawlt nur die ersten 15 MB von HTML- und Textdateien. Größere Dokumente werden demnach nur unvollständig gecrawlt und indexiert.

 Anzeige

Google hat in seiner Dokumentation zum Googlebot um einen wichtigen Hinweis ergänzt. Demnach crawlt der Googlebot nur die ersten 15 MB des Inhalts eines HTML-Dokuments oder einer unterstützten Textdatei. Nach den ersten 15 MB stellt der Googlebot das Crawlen ein und berücksichtigt nur diese für die Indexierung. Andere Crawler könnten andere Limits verwenden:

Googlebot can crawl the first 15MB of content in an HTML file or supported text-based file. After the first 15MB of the file, Googlebot stops crawling and only considers the first 15MB of content for indexing. Other crawlers may have different limits.

Das bedeutet jedoch nicht, dass zum Beispiel auf einer Webseite, die ein Bild in der Größe von 15 MB enthält, nichts anderes mehr gecrawlt wird. Das genannte Limit bezieht sich nur auf das HTML bzw. auf den Text.

Es dürfte nur sehr wenige Webseiten geben, deren HTML- und Textumfang das von 15 MB übersteigt. Allerdings sollte man das Limit nicht komplett außer Acht lassen - im Zweifelsfall kann es dazu führen, dass die Inhalte einer Seite nicht komplett indexiert werden können.