Laut Google gibt es keine Höchstmenge an Zeichen, die auf einer Seite verarbeitet werden können. Tests haben aber gezeigt, dass es zumindest eine maximale Höhe für Seiten gibt, die der Googlebot crawlen kann.
Zu Beginn dieses Jahres hatte ein Test gezeigt, dass der Googlebot bei Desktopseiten eine maximale Seitenhöhe von 9.370 Pixeln verarbeiten kann. Der mobile Googlebot schafft demnach sogar 12.140 Pixel.
Doch gibt es für Google auch eine Höchstgrenze für die Anzahl von Zeichen auf einer Seite? Laut Johannes Müller ist das nicht der Fall. Er antwortete auf eine entsprechende Frage, Google besitze eine große Datenbank:
Somit besteht auch bei großen und umfangreichen Seiten keine ernste Gefahr, dass Inhalte, die sich weiter unten auf der Seite befinden, nicht von Google gecrawlt werden. Allerdings sollte bei besonders langen Texten oder anderen umfangreichen Inhalten erwogen werden, diese mittels Paginierung auf mehrere Seiten zu verteilen.
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
Google hat Vorbereitungen zum Crawlen von außerhalb der USA getroffen
Bisher crawlt Google nur aus den USA heraus. Das könnte sich aber bald ändern, denn Google hat Vorbereitungen getroffen, die auch lokales Crawlen ermöglichen.
Google: Deutlicher Rückgang des Crawlens für manche Websites beobachtet
Google scheint einige Websites deutlich weniger zu crawlen als noch vor einigen Tagen. Dafür gibt es bestätigte Berichte.
