Eine der am häufigsten diskutierten Fragen im Zusammenhang mit Google ist, wie das Crawl-Budget pro Seite bestimmt wird und welche Faktoren darauf Einfluss nehmen können. Wie es aussieht, sind zumindest einige der Sorgen unbegründet.
Das Crawl-Budget drückt aus, wie viele Seiten einer Webseite Google in einem bestimmten Zeitraum abruft. Das gilt analog auch für andere Suchmaschinen.
Einige der Einflussfaktoren auf dieses Crawl-Budget sind bekannt: So werden zum Beispiel Seiten, die sich häufiger ändern und die populär sind (gemessen an der Zahl der Backlinks) häufiger besucht als andere Seiten mit eher statischen Inhalten und weniger Links. Auch die Ladezeiten der Webseite spielen eine Rolle: Schnellere Seiten sind hier im Vorteil.
Um das verfügbare Crawl-Budget besser auszunutzen, greifen viele Webmaster zu Maßnahmen wie dem Sperren von Seiten per robots.txt oder auch per "noindex"-Attribut, wobei Letzteres nicht geeignet ist, die Zahl der gecrawlten Seiten zu reduzieren.
Viele der Sorgen scheinen jedoch unbegründet zu sein. Das lässt sich einer Antwort von Johannes Müller entnehmen, die er in einem Webmaster-Hangout diese Woche gegeben hat. Er sagt (Übersetzung Red.):
"Wir bei Google haben keine Bezeichnung für ein Crawl-Budget in der Weise, in der die Leute das diskutieren. Wir hoffen, bald einen Blogpost darüber veröffentlichen zu können, vermutlich noch in diesem Jahr, in dem wir das Ganze ein wenig erklären werden. Im Grunde ist es aber so: Wer eine Webseite mit einer normalen Größe betreibt, muss sich darüber keine Gedanken machen. Ihr müsst keine internen Links verstecken, Ihr müsst Euch nicht mit noindex für individuelle Seiten herumschlagen, weil diese vielleicht etwas von Eurem Crawl-Budget verbrauchen könnten. Das gilt auch für Canonicals. Wenn Ihr eine Webseite mit mehreren Tausend Unterseiten habt oder dynamisch erzeugte Inhalte, die zu einer unbegrenzten Seitenanzahl führen, dann müsst Ihr natürlich sicherstellen, dass Euer Server die Last verarbeiten kann."
Die vollständige Antwort Müllers ist im nachfolgenden Video zu sehen:
Titelbild © AKS - Fotolia.com
