Webseiten, die seltener vom Google-Crawler besucht werden, können dennoch auf den Suchergebnisseiten präsent sein, wie Johannes Müller im jüngsten Webmaster Hangout erklärt hat. Ein direkter Zusammenhang zwischen der Häufigkeit des Crawlens und den Rankingsvon Webseiten ist also nicht oder nicht immer gegeben.
Im aktuellen Webmaster Hangout ging Johannes Müller von Google Schweiz auf die Frage nach einem möglichen Zusammenhang zwischen der Häufigkeit von Crawler-Besuchen und den Rankings einer Webseite ein. Laut Müller besucht der Google-Bot solche Seiten häufiger, bei denen Änderungen erwartet werden. Auch die Wichtigkeit, die einer Webseite durch Google beigemessen wird, spielt dabei eine Rolle:
"It’s not true that if a page isn’t crawled regularly that it won’t show up in rankings at all. In general we try to do our crawling based on when we think this page might be changing or how often it might be changing. So if we think that something stays the same for a longer period of time, we might not crawl it for a couple of months. And that’s completely fine. We can still show it in search. So that’s not something that I’d say is a direct relationship. [...] Oftentimes there is the kind of relationship where that when we think something is important we tend to crawl it more frequently and that might also be more visible in search, it’s not really the case where you could say from the amount of crawling this means how important it will show in search."
Die zwei Faktoren, welche die Häufigkeit des Crawlens bestimmen, sind also die Häufigkeit der Änderungen auf der Webseite und die Bedeutung der Webseite (bezogen auf die Bewertung durch die Suchmaschinen). Verfügt eine Seite also zum Beispiel über einen hohen PageRank und eine hohe Autorität, wird diese vom Crawler häufiger besucht werden als eine andere Seite, bei denen diese Werte niedrig sind. Der Grund ist, dass Google und andere Suchmaschinen ihre Ressourcen sparsam einsetzen müssen. Bei vielen Hunderten von Millionen Webseiten muss genau überlegt werden, welche Seiten wie oft besucht werden, damit der Index möglichst aktuell bleibt.
Die Empfehlung an die Webmaster lautet daher auf jeden Fall, häufig Neues auf ihren Seiten zu veröffentlichen, um Anreize für häufigeres Crawlen zu schaffen. Auf diese Weise erreicht man, dass neue oder geänderte Inhalte zukünftig schneller im Google-Index landen.
Titelbild © AKS - Fotolia.com
