Google: Langsamer Server kann zu weniger gecrawlten Seiten führen

Wer seine Webseite auf einem langsamen Server betreibt, läuft Gefahr, dass nicht alle URLs gecrawlt werden. Google berechnet die Leistungsfähigkeit bei der Berechnung des Crawl-Budgets ein.

Unter Umständen kann sich die Investition für ein besseres Hosting-Paket durchaus lohnen, denn langsame Server schmälern unter Umständen des Crawl-Budget einer Webseite. Das hat Gary Illyes von Google in einem aktuellen Video erklärt. In der Virtual Keynote 2 mit Eric Enge von Stonetemple Consulting nannte Illyes die Faktoren, die sich auf die Zahl der gecrawlten URLs auswirken.

Google errechnet demnach regelmäßig eine bestimmte Menge von URLs pro Webseite, die zum Crawlen anstehen. Wichtig bei der Priorisierung ist vor allem die Bedeutung der einzelnen Seiten, die anhand des PageRanks gemessen wird. Als weiterer Faktor fließt die Host Load in die Berechnung ein: Sie enthält Erwartungen dazu, wie viele URLs auf einem Server gecrawlt werden können, ohne dass es dadurch zu einer Verlangsamung kommt. Sobald die maximale Zahl der URLs erreicht ist, die ohne Probleme vom Server ausgeliefert werden können, bricht Google den Crawl-Vorgang ab. Das ist natürlich in solchen Fällen schade, in denen dieser Abbruch schon stattfindet, bevor alle von Google für eine Webseite vorgesehenen URLs besucht worden sind.

Nachfolgend ist die entsprechende Stelle im Video zu sehen:

Gerade bei Shared Hosting-Paketen kann das passieren. Hier kommt außerdem hinzu, dass die Performance des Servers auch von den anderen Webseiten beeinflusst wird, die darauf laufen. Man sollte sich also sehr genau überlegen, welches Hosting-Paket man wählen will - vor allem dann, wenn man eine große Webseite mit vielen Unterseiten betreibt.

Titelbild © Petrik - Fotolia.com