SEO-News

CrawlerGoogle hat den Hinweis geändert, der für Seiten angezeigt wird, die per robots.txt blockiert sind.

 

Seiten, die aufgrund von Einstellungen in der robots.txt nicht gecrawlt werden dürfen, können unter Umständen trotzdem in den Suchergebnissen erscheinen. Das ist dann der Fall, wenn eine Seite bereits indexiert wurde und dann nachträglich per robots.tx geblockt wird.

In diesen Fällen hat Google in der Vergangenheit einen Hinweis wie diesen im zugehörigen Snippet angezeigt:

 

Google: Altzer Hinweis bei Seiten, die per robots.txt gesperrt sind 

 

Wie es aussieht, hat Google diesen Hinweis jetzt angepasst. Das hat Pedro Dias entdeckt und per Twitter geteilt:

 

Google: neue Meldung bei Seiten, die per robots.txt gesperrt sind 

Dias bezieht sich dabei auf die zugehörige Hilfeseite bei Google. Die robots.txt wird nicht mehr explizit genannt. Stattdessen wird nur noch darauf hingewiesen, dass "keine Informationen für diese Seite verfügbar sind".

Die Meldung verdeutllicht vor allem eines: Die robots.txt ist nicht dazu geeignet, bereits indexierte Seiten aus dem Google-Index zu löschen. Per robots.txt lässt sich nur das Crawlen steuern, aber nicht die Indexierung. Für bereits indexierte Seiten muss ein anderer Weg gewählt werden, möchte man diese aus den Suchergebnissen entfernen: Entweder verwendet man dazu das "noindex"-Attribut in den Meta-Tags, oder man löscht die Seite und sendet beim Aufruf ihrer URL einen 404- oder einen 410-Fehlercode. Damit erkennt Google, dass die Seite nicht mehr besteht.

 

Titelbild © AKS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

Auf Links von Seiten mit 'noindex, follow' kann man sich laut Google nicht verlassen, denn wie Google mit solchen Links umgeht, ist nicht garantiert.

Die Google Search Console meldet für eine Seite ein 'noindex', aber das lässt sich einfach nicht nachvollziehen? Das kann am Rendering der Seite per JavaScript liegen.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px