SEO-News

CrawlerGoogle hat den Hinweis geändert, der für Seiten angezeigt wird, die per robots.txt blockiert sind.

 

Seiten, die aufgrund von Einstellungen in der robots.txt nicht gecrawlt werden dürfen, können unter Umständen trotzdem in den Suchergebnissen erscheinen. Das ist dann der Fall, wenn eine Seite bereits indexiert wurde und dann nachträglich per robots.tx geblockt wird.

In diesen Fällen hat Google in der Vergangenheit einen Hinweis wie diesen im zugehörigen Snippet angezeigt:

 

Google: Altzer Hinweis bei Seiten, die per robots.txt gesperrt sind 

 

Wie es aussieht, hat Google diesen Hinweis jetzt angepasst. Das hat Pedro Dias entdeckt und per Twitter geteilt:

 

Google: neue Meldung bei Seiten, die per robots.txt gesperrt sind 

Dias bezieht sich dabei auf die zugehörige Hilfeseite bei Google. Die robots.txt wird nicht mehr explizit genannt. Stattdessen wird nur noch darauf hingewiesen, dass "keine Informationen für diese Seite verfügbar sind".

Die Meldung verdeutllicht vor allem eines: Die robots.txt ist nicht dazu geeignet, bereits indexierte Seiten aus dem Google-Index zu löschen. Per robots.txt lässt sich nur das Crawlen steuern, aber nicht die Indexierung. Für bereits indexierte Seiten muss ein anderer Weg gewählt werden, möchte man diese aus den Suchergebnissen entfernen: Entweder verwendet man dazu das "noindex"-Attribut in den Meta-Tags, oder man löscht die Seite und sendet beim Aufruf ihrer URL einen 404- oder einen 410-Fehlercode. Damit erkennt Google, dass die Seite nicht mehr besteht.

 

Titelbild © AKS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group




Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px