Änderungen an den Google-Algorithmen können sich auch auf die Crawl-Rate für Webseiten auswirken. Das hat etwas mit der veränderten Bedeutung der betroffenen Seiten zu tun, welche Google diesen beimisst.
Wenn Google ein Update durchführt, kann das verschiedene Folgen haben. Am sichtbarsten sind sicherlich geänderte Rankings und eine damit verbundene Änderung des Suche-Traffics. Weniger deutlich sind dagegen andere Effekte wie zum Beispiel eine geänderte Crawl-Rate, die ebenfalls in der Folge eines Google-Updates auftreten kann.
Der Grund dafür ist einfach: Wie Johannes Müller in einem Webmaster-Hangout erklärte, liegt das an der veränderten Bedeutung, die Google einzelnen Seiten im Zuge eines Updates beimisst. Umso wichtiger eine Seite in der Bewertung durch Google ist, desto höher ist tendenziell ihre Crawl-Rate. Bei weniger wichtigen Seiten, die seltener in den Suchergebnissen erscheinen, kann sich Google dagegen Verzögerungen bei der Aktualisierung eher erlauben. Diese Priorisierung kann auch auf Ebene einer kompletten Website stattfinden, so dass eine Website nach einem Update insgesamt weniger gecrawlt wird als zuvor. Auf diese Weise kann Google die begrenzten Ressourcen, die für das Crawlen zur Verfügung stehen, besser aufteilen.
Wer sich also nach einem Google-Update fragt, ob eine bestimmte Seite oder die gesamte Website anschließend von der Suchmaschine als mehr oder weniger wichtig betrachtet wird, sollte einmal einen Blick in die Logfiles werfen und nachsehen, ob sich die Besuchsfrequenz des Googlebots verändert hat. Hilfreich ist auch ein Blick in die Crawling-Statistiken in der Google Search Console. Hier sieht man, wie viele Seiten einer Website pro Tag gecrawlt wurden.
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
Google: Zur Diagnose der Crawl-Rate nicht auf den Page Speed im Browser achten
Für die Crawl-Rate von Google kommt es nicht darauf an, wie lange das Rendern einer Webseite im Browser dauert, sondern wie lange es dauert, eine URL vom Server abzurufen.
Google: Auch nach dem Reduzieren der Crawl-Rate werden wichtige URLs weiter gecrawlt
Beim Reduzieren der Crawl-Rate per Google Search Console crawlt Google weiterhin die wichtigen URLs und lässt zunächst von weniger wichtigen URLs ab.
SEO-Newsletter bestellen
