Wenn Google eine Website plötzlich deutlich mehr crawlt, sollte man prüfen, ob ein Problem die Ursache dafür ist. Darauf wies jetzt Gary Illyes von Google hin.
Wie viele Seiten einer Website Google crawlt, hängt von verschiedenen Faktoren ab. Neben technischen Bedingungen wie zum Beispiel der Leistung des Webservers spielt auch die Qualität der Website eine Rolle.
Sie benötigen SEO-Beratung für Ihre Website?
Ein plötzlicher Anstieg des Crawl-Volumens ist aber nicht automatisch ein Grund zur Freude, sondern kann auch auf Probleme hindeuten. Gary Illyes schrieb dazu auf LinkedIn, ein plötzlicher Anstieg beim Crawlen könne zwar ein gutes Zeichen sein, aber er könne auch ein Hinweis darauf sein, dass etwas nicht stimme. Zwei Probleme seien sehr häufig zu beobachten, wenn das Crawlen plötzlich stark nach oben geht:
- Infinite Spaces, das sind sogenannte Crawler-Traps. Daber werden im Grunde unendliche Mengen von URLs erzeugt, denen der Crawler folgen kann. Entstehen können diese zum Beispiel durch endlose Kalender, bei denen man viele Jahre in die Zukunft blättern kann, aber auch durch crawlbare Filterkombinationen in Onlineshops.
- Hacked Content: Wenn eine Website gehackt wurde und Hacker eine Website mit ungewünschten Inhalten fluten, crawlen Suchmaschinen diese neuen Seiten zunächst - vorausgesetzt, die Website verfügte bisher über Seiten, die von den Nutzern und den Suchmaschinen als hilfreich bewertet wurden. Weitere Infos dazu sind auf web.dev/hacked zu finden.
Illyes schließt seinen Post mit der Empfehlung, einen starken Anstieg des Crawlens zunächst als Symptom eines möglichen Problems zu behandeln, bis man das Gegenteil beweisen kann.
