Sehr große Webseiten können nach Aussage eines Google-Mitarbeiters unter Umständen von der Verwendung des "nofollow"-Attributs profitieren, wenn es um das Crawl-Budget geht.

 In der vergangenen Woche hatte Johannes Müller mitgeteilt, dass sich Inhaber von Webseiten normaler Größe keine Gedanken um das Crawl-Budget machen müssen. Lediglich für sehr große Webseiten und insbesondere für Webseiten mit dynamisch erzeugten Inhalten, die zu einer entsprechend hohen Zahl an Unterseiten führen, müsse man überlegen, ob der Webserver die durch das Crawlen entstehende Last verarbeiten könne.

Gary Illyes von Google gab jetzt auf Twitter den Hinweis, dass Webseiten durchaus von "nofollow" profitieren können, wenn es um das Crawl-Budget geht. Ein Nutzer hatte nachgefragt und angegeben, seine Webseite bestehe aus "ein paar Tausend Unterseiten". Für solche Webseiten bringe "nofollow" nichts, so Illyes. Als der Nutzer dann nachfragte, ob das auch gelte, wenn eine Webseite hunderttausend Unterseiten habe, antwortete Illyes: "In bestimmter Hinsicht ja. Doch Twitter ist nicht der geeignete Ort, dies zu besprechen. Wir werden versuchen, dazu einen Post aufzusetzen."

Erwartet wird, dass noch in diesem Jahr ein entsprechender Post im Google Webmaster Cenral-Blog erscheinen wird.

Titelbild © AKS - Fotolia.com

Verwandte Beiträge

Google erkennt und crawlt URLs aus YouTube-Videos

Google erkennt und Crawlt URLs, die in YouTube-Videos vorkommen. Dazu kommt ein eigenständiger Crawler zum Einsatz.

Erst wenn Google einer Webseite vertraut, steigt das Crawl-Budget

Google crawlt neue Webseiten nicht gleich zu Beginn mit voller Kraft. Zuvor muss Vertrauen aufgebaut werden, dass sich das Crawlen überhaupt lohnt.

Google: Crawling-Probleme durch falsches URL-Rewriting möglich

Unsauberes URL-Rewriting kann zu Crawling-Problemen bei Google führen. Davon betrffen sind auch andere Crawler und SEO-Tools.