Es ist zu empfehlen, die Crawl-Frequenz des Googlebots im Auge zu behalten, denn seltene Besuche und eine geringe Zahl abgerufener Seiten sind ein Signal dafür, dass Google die Qualität der Webseite als gering einstuft.
Google verfügt zwar über enorme Rechenkapazitäten, doch auch diese müssen möglichst effizient eingeteilt werden. Das führt dazu, dass der Googlebot nicht alle Webseiten gleich oft und gleich intensiv besucht.
Populäre Webseiten und vor allem solche, auf denen sich häufig aktualisierte Inhalte befinden, werden von Google besonders bevorzugt. Anders sieht es bei Webseiten aus, deren Qualität Google als zu gering einstuft, um sie regelmäßig zu crawlen.
Diese Annahme wird durch einen Beitrag von Johannes Müller im heutigen Webmaster-Hangout bestätigt. Er sagte dort (Übersetzung Red.):
"In vielen Fällen, in denen es um Link-Spam geht und eine Webseite mit niedriger Qualität betroffen ist, die uns nicht wichtig ist, bringt das schnellere Crawlen nichts, und es wird keine großen Auswirkungen haben."
Normalerweise legt Google großen Wert auf die gute Crawlbarkeit von Webseiten, damit für den Vorgang weniger Zeit benötigt wird. Im Fall von Webseiten niedriger Qualität scheint diese Anforderung nicht zu gelten, was nur daran liegen kann, dass diese einfach seltener vom Googlebot besucht werden.
Daher sollte man regelmäßig einen Blick auf die Crawling-Statistiken in den Google Webmaster Tools werfen und prüfen, ob es signifikante Änderungen an der Häufigkeit der Crawler-Besuche und der Zahl der abgerufenen Seiten gibt.
Auch ein langsamer Server kann übrigens zu Schwierigkeiten beim Crawlen führen. Um diese Ursache auszuschließen, sollte man passende Tools wie Google PageSpeed Insights oder webpagetest verwenden.
Im nachfolgenden Video ist die vollständige Antwort Müllers zu sehen:
Titelbild © AKS - Fotolia.com
