Google hat Details zur in den vergangenen Tagen deutlich gesunkenen Crawl-Rate auf einigen Websites genannt.
Die zuletzt bei einigen Websites stark gesunkene Crawl-Rate hatte zuletzt zu Diskussionen und Nachfragen geführt. Von Google hieß es zunächst, es gebe keine Probleme.
Inzwischen gibt es jedoch ein Update. John Müller schrieb auf Twitter, es gebe einen Zusammenhang mit dem Crawlen des Caches mancher Websites. Dieser Bug sei inzwischen behoben, und eine interne Analyse habe ergeben, dass das Problem nur begrenzte Ausmaße hatte. Negative Effekte habe es dadurch nicht gegeben:
"Yes, we saw that crawling for the caches had slowed down for some sites. This bug has since been resolved, and an internal analysis showed it wasn't widespread, and that there were no negative effects overall."
Auf die Frage, ob sich das Problem nur auf AMP-Seiten beziehe, bestätigte Müller, dass nur der AMP-Cache betroffen sei:
"This was specific to crawling for the AMP cache."
Deutlich zu sehen ist in einigen Fällen ein Zusammenspiel aus höherer Reaktionszeit des Webservers und einer abnehmenden Crawl-Rate durch Google. Ein solcher Zusammenhang ist jedoch normal, denn Google reduziert das Crawlen in der Regel, wenn erkannt wird, dass der Webserver unter Last gerät.
Bleibt abzuwarten, ob es noch Meldungen von Fällen jenseits von AMP-Seiten geben wird. Es ist aber nach der Aussage von John Müller davon auszugehen, dass die Probleme inzwischen behoben sind und dass sich die Crawl-Rate normalisieren müsste.
Titelbild: Copyright WDnet Studio - stock.adobe.com
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
Google: Zur Diagnose der Crawl-Rate nicht auf den Page Speed im Browser achten
Für die Crawl-Rate von Google kommt es nicht darauf an, wie lange das Rendern einer Webseite im Browser dauert, sondern wie lange es dauert, eine URL vom Server abzurufen.
Google: Auch nach dem Reduzieren der Crawl-Rate werden wichtige URLs weiter gecrawlt
Beim Reduzieren der Crawl-Rate per Google Search Console crawlt Google weiterhin die wichtigen URLs und lässt zunächst von weniger wichtigen URLs ab.
SEO-Newsletter bestellen
{loadpositio anzeige-unter-newsletter}
