SEO-News

SuchmaschinenbotObwohl Google immer die Unterstützung von Indexierungs-Direktiven wie 'noindex' in der robots.txt bestritten hat, scheint dies zumindest in manchen Fällen zu funktionieren. Doch damit wird wohl demnächst Schluss sein.

Noch einmal zur klaren Unterscheidung: Die robots.txt dient dazu, das Crawlen einer Website zu steuern. Damit wird also geregelt, welche Suchmaschinen-Bots welche Seiten und Verzeichnisse einer Website aufrufen dürfen und welche nicht.

Davon zu trennen ist die Steuerung der Indexierung, also die Kontrolle darüber, ob bestimmte Seiten in die Suchergebnisse aufgenommen werden sollen oder nicht. Das wird entweder per Meta-Robots-Tag oder per X-Robots-Tag im HTTP-Header gesteuert.

Manche Webmaster nutzen die robots.txt aber nicht nur zum Steuern des Crawlens, sondern auch für die Kontrolle darüber, welche Inhalte indexiert werden dürfen. Dazu schreiben sie in die robots.txt einfach Zeilen wie

Noindex: /seite-1/

Noindex: /seite-2/

Google hat stets bestritten, dies zu unterstützen. Dennoch scheint es zumindest in manchen Fällen zu funktionieren.

Damit könnte aber bald Schluss sein, denn Gary Illyes von Google kündigte an, die entsprechenden Codezeilen des Googlebots womöglich zu entfernen, weil die Vermischung von Crawlen und Indexieren an dieser Stelle einfach unpassend sei:

 

Google: Unterstützung für 'noindex' in robots.txt wird wohl bald eingestellt

 

Auf den Einwand, die Steuerung der Indexierung per robots.txt sei einfacher zu handhaben, kündigte Illyes an, man wolle die Entwickler zur richtigen Verwendung erziehen:

 

Google: 'Wir arbeiten an der Erziehung der Entwickler bezüglich noindex' 

 

Um sicher zu gehen, sollte man also eine klare Trennung vornehmen: Das Steuern des Crawlens geschieht in der robots.txt, das Steuern der Indexierung erfolgt per Meta-Robots-Tags oder per X-Robots-Tags.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 

Verwandte Beiträge

Wenn die Zahl der von Google indexierten Seiten einer Website stark schwankt, kann das durchaus normal sein. Wichtig ist es, sich die verschiedenen Gründe vor Augen zu führen, aus denen Google...

Es ist keine gute Idee, die robots.txt einer Website dynamisch zu ändern, um zum Beispiel die Serverlast durch das Crawlen zu steuern.

Indexierte URLs, die per robots.txt gesperrt sind, werden von Google irgendwann aus dem Index entfernt. Das ist zum Beispiel dann wichtig, wenn große Mengen an URLs auf einmal per robots.txt...

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen Digitaleffects

Online Solutions Group

Farbentour

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px