Googles RankBrain-Algorithmus hat keine Auswirkungen auf das Crawl-Budget, das pro Webseite zur Verfügung steht. Dafür gibt es andere Faktoren, mit denen man die Besuchshäufigkeit des Googlebots beeinflussen kann.
Noch immer ist Googles RankBrain-Algorithmus Gegenstand vieler Spekulationen, denn niemand weiß genau, was sich dahinter verbirgt. Zumindest folgende Punkte treffen wahrscheinlich zu:
- RankBrain wird von Google verwendet, um neue, vorher noch nie aufgetretene Suchanfragen verstehen und interpretieren zu können.
- RankBrain hat nichts mit dem PageRank zu tun. Bei RankBrain geht es um Inhalte, beim PageRank um Links.
- RankBrain ist ein wichtiger Rankingfaktor - angeblich sogar der drittwichtigste Rankingfaktor insgesamt.
- RankBrain nutzt maschinelles Lernen, um sich ständig zu verbessern.
Viel mehr ist nicht bekannt. Daraus ergibt sich eine gewisse Unsicherheit bei den Nutzern bei der Frage, was sie tun können, um ihre Webseite auch für RankBrain möglichst interessant zu gestalten.
RankBrain und das Crawl-Budget
Eine Frage zu RankBrain, die jetzt beantwortet werden konnte, bezieht sich darauf, ob es einen Zusammenhang zwischen dem Algorithmus und dem Crawl-Budget einer Webseite geben könnte. Das Crawl.Budget bestimmt, wie oft der Googlebot eine Webseite besucht (das gilt natürlich auch für die Crawler anderer Suchmaschinen), wieviel Zeit er dort verbringt, bis zu welcher Seitentiefe dabei vorgedrungen wird und wieviele Seiten dabei jeweils gecrawlt werden.
Wie Johannes Müller jetzt auf Anfrage des Nutzers Ant Bogarin auf Twitter mitgeteilt hat, gibt es zwischen RankBrain und dem Crawl-Budget keinerlei Zusammenhang. Müller schreibt:
"No, that currently doesn't affect crawling."
Einflussfaktoren für das Crawl-Budget
Es gibt jedoch eine große Anzahl von Faktoren, die das Crawl-Budget durchaus beeinflussen und die von den Webseitenbetreibern optimiert werden können:
- Die Webseitengeschwindigkeit: Je schneller eine Seite lädt, desto mehr Zeit steht dem Crawler für weitere Seiten zur Verfügung. Zu langsame Seiten können dazu führen, dass sich der Googlebot zurückzieht.
- Die interne Verlinkung einer Seite: Je besser und einfacher Unterseiten erreichbar sind, desto größer ist die Chance, dass sie vom Googlebot besucht werden. Eine flache Seitenhierarchie und die horizontale Verlinkung thematisch ähnlicher Seiten können dabei unterstützen.
- Keine blockierten Ressourcen: Es muss darauf geachtet werden, dass alle wichtigen Seiten und Ressourcen wie JavaScript- und CSS-Dateien für den Crawler erreichbar und nicht zum Beispiel per robots.txt gesperrt sind.
Neben diesen Faktoren gibt es noch weitere Faktoren, durch die sich die Crawl-Häufigkeit und -Intensität bestimmt. Der wohl wichtigste Faktor ist die Popularität einer Seite, die sich unter anderem an der Zahl der auf sie verweisenden Backlinks und durch die Besucherzahlen bestimmen lässt. Populäre Seiten werden naturgemäß häufiger und intensiver gecrawlt als kleine, wenig bekannte Seiten. Dazu kommt als weiterer Faktor die Änderungshäufigkeit: Webseiten mit sich regelmäßig ändernden Inhalten wie News-Seiten oder gepflegte Blogs sind für die Crawler interessant, denn ein Ziel der Suchmaschinen ist es, ihren Index möglichst aktuell zu halten. Seiten mit vielen neuen Inhalten müssen konsequenterweise öfter besucht werden, um ein aktuelles Abbild dieser Seiten im Index zu halten.
Titelbild © AKS - Fotolia.com
