URLs, die in der robots.txt per 'disallow' gesperrt sind, haben keine Auswirkungen auf das von Google gewährte Crawl-Budget für eine Website.
Gute Nachricht für alle diejenigen, die sich Sorgen um ihr Crawl-Budget machen: Für URLs in der robots.txt, die auf "disallow" gesetzt sind, gibt es keine Abzüge. Das hat Gary Illyes von Google jetzt per Twitter mitgeteilt. Er erklärte, der entsprechende Blog-Post "What Crawl Budget Means for Googlebot" sei erweitert worden:
Neu hinzugekommen ist das folgende Frage-Antwort-Paar (Ãœbersetzung Red.):
Frage: Beeinträchtigen URLs, die ich disallowed habe, das Crawl-Budget in irgendeiner Weise?
Antwort: Nein, Disallow-URLs beeinträchtigen nicht das Crawl-Budget.
Das Thema Crawl-Budget wird jedoch ohnehin meist überbewertet. Bei kleinen und mittelgroßen Websites mit einigen Tausend Unterseiten hat Google überhaupt keine Probleme, die Inalte zu crawlen. Interessant wird dies erst bei sehr großen Websites, auf denen es eine Million oder mehr Unterseiten gibt. Hier kann es durchaus sinnvoll sein, sich über die Verteilung des Crawl-Budgets Gedanken zu machen und beispielsweise per robots.txt Einfluss auf den Abruf der Seiten durch den Googlebot zu nehmen.
Artikelveröffentlichungen auf starken Magazinen und Blogs
Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:
- - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
- - Hohe Sichtbarkeitswerte, keine expired Domains
- - Einmalzahlung, keine Vertragsbindung
Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.
Verwandte Beiträge
Google: 'Relative Wichtigkeit auf Website zeigen, damit Inhalte schneller gecrawlt werden'
Wer sich wundert, warum Google neue Inhalte auf seiner Website erst spät crawlt und indexiert, sollte einmal prüfen, wo und in welcher Weise die Inhalte auf der Website erscheinen.
Google: Wechsel des CDN und der Infrastruktur können temporär zu weniger Crawling führen
Veränderungen der Website-Infrastruktur wie zum Beispiel ein Wechsel des CDNs können zu einem zeitweisen, aber deutlichen Rückgang des Crawlens durch Google führen.
Google: Wann Seiten, die Aktionen ausführen, gecrawlt und indexiert werden dürfen
Google rät dazu, Seiten, die bestimmte Aktionen ausführen, wie zum Beispiel das Hinzufügen zu einem Warenkorb, nicht crawlen zu lassen. Diese Empfehlung kann zu Missverständnissen führen.
