CrawlerSehr große Webseiten können nach Aussage eines Google-Mitarbeiters unter Umständen von der Verwendung des "nofollow"-Attributs profitieren, wenn es um das Crawl-Budget geht.

 In der vergangenen Woche hatte Johannes Müller mitgeteilt, dass sich Inhaber von Webseiten normaler Größe keine Gedanken um das Crawl-Budget machen müssen. Lediglich für sehr große Webseiten und insbesondere für Webseiten mit dynamisch erzeugten Inhalten, die zu einer entsprechend hohen Zahl an Unterseiten führen, müsse man überlegen, ob der Webserver die durch das Crawlen entstehende Last verarbeiten könne.

Gary Illyes von Google gab jetzt auf Twitter den Hinweis, dass Webseiten durchaus von "nofollow" profitieren können, wenn es um das Crawl-Budget geht. Ein Nutzer hatte nachgefragt und angegeben, seine Webseite bestehe aus "ein paar Tausend Unterseiten". Für solche Webseiten bringe "nofollow" nichts, so Illyes. Als der Nutzer dann nachfragte, ob das auch gelte, wenn eine Webseite hunderttausend Unterseiten habe, antwortete Illyes: "In bestimmter Hinsicht ja. Doch Twitter ist nicht der geeignete Ort, dies zu besprechen. Wir werden versuchen, dazu einen Post aufzusetzen."

Gary Illyes auf Twitter zum Crawl-Budget 

 

Erwartet wird, dass noch in diesem Jahr ein entsprechender Post im Google Webmaster Cenral-Blog erscheinen wird.

 

Titelbild © AKS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google legt das Crawlbudget pro Hostname fest. Das bedeutet, dass die Hauptdomain sowie ihre Subdomains über unterschiedliche Crawl-Budgets verfügen.

Nur sehr große Websites müssen sich laut Google Sorgen wegen technischer Probleme mit dem Crawl-Budget machen. Wenn kleinere Websites an Grenzen des Crawl-Budgets stoßen, hat das dagegen meist...

Crawler bzw. Bots, die auf einer Website zugelassen sind, sollte man laut John Müller von Google nicht fragen, ob sie ein Bot sind, sondern ihnen einfach die gewünschten Inhalte zeigen.