SEO-News

Google-SchildFür Google ist die robots.txt eine URL wie andere auch. Sie kann genauso indexiert werden. Für das Crawlen gibt es aber eine Sonderstellung.

Die robots.txt hat für Websites eine besondere Bedeutung, denn in ihr ist festgelegt, welche URLs und Verzeichnisse von den verschiedenen Suchmaschinen gecrawlt werden dürfen und welche nicht.

Google behandelt die robots.txt wie andere URLs einer Website. Das schrieb Gary Illyes auf Twitter. Auch die robots.txt könne indexiert werden, es sei möglich, dass sie als Canonical-URL ausgewählt werde und dass Dubletten entfernt würden. Für das Crawlen habe die robots.txt eine Sonderstellung. Dabei spiele der Indexierungsstatus keine Rolle:

 

Google: Indexierungsstatus der robots.txt spielt keine Rolle für das Crawlen

 

Das bedeutet: Egal, ob Google die robots.txt indexieren kann oder nicht - die Datei wird von Google berücksichtigt. Voraussetzung dafür ist aber, dass die robots.txt auch abgerufen werden kann. Wie in dieser Woche berichtet können dauerhafte Probleme beim Abrufen der robots.txt zur Beeinträchtigung des Crawlens und sogar zum Deindexieren einer Website führen.

Update: Johannes Müller empfiehlt, das Indexieren der robots.txt per X-Robots-Header zu verhindern. Wenn die robots.txt für normale Suchanfragen in den Suchergebnissen erscheine (keine Site-Abfragen), dann sei das ein Zeichen, dass auf der Website etwas nicht stimme:

 

Google: Wenn die robots.txt für normale Suchanfragen in den Suchergebnissen erscheint, stimmt etwas nicht mit der Website

 

Interessant ist damit auch, dass grundsätzlich Inhalte der robots.txt in den Suchergebnissen erscheinen können. Ähnliches war auch schon für XML-Sitemaps bekannt geworden, weshalb zu empfehlen ist, diese auf "noindex" zu setzen.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group




Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px