SEO-News

SuchmaschinenbotSeiten bzw. URLs, die per robots.txt gesperrt und dennoch indexiert sind, werden von Google nicht zur Bewertung einer Website verwendet.

Auch Seiten bzw. URLs, die per robots.txt gesperrt sind, können von Google indexiert werden. Die betreffenden URLs werden im Bericht zur Indexabdeckung in der Google Search Console aufgeführt.

Die Frage lautet, ob Google auch solche URLs zur Bewertung einer Website verwendet. Immerhin sind sie indexiert, wobei Google aufgrund der robots.txt keine Möglichkeit hat, die URLs zu crawlen und deren Inhalte zu ermitteln.

John Müller schrieb dazu, man solle sich deswegen keine Sorgen machen. Zwar sei die Sperrung per robots.txt ein Sonderfall. So etwas könne zum Beispiel bei Landing Pages für Ads passieren. Für die Suche spiele es aber keine Rolle:

"If they're blocked from indexing, we wouldn't use them. Robotted is a bit of a weird case since they could be indexed, but usually they're not, so I wouldn't worry about it. People often do this for ads landing pages, etc - we don't care about that for search."

 

URLs, die per robots.txt gesperrt und dennoch indexiert sind, werden für die Bewertung der Suche nicht verwendet

 

Warum erscheinen dann solche URLs überhaupt in der Google Search Console? Dazu schrieb Müller, erstens seien sie indexiert und können in der Suche erscheinen, und zweitens könne es auch passieren, dass man URLs aus Versehen per robots.txt sperre:

"One the one hand, those can still appear in search (though tbh that's often a sign that the rest of your site is lacking content, if we prefer to rank something without knowing what's there). On the other hand, it's to let you know in case you accidentally robotted them."

 

Warum die Google Search Console URLs anzeigt, die indexiert, aber per robots.txt gesperrt sind

 

Es kann also nicht schaden, sich die URLs in der betreffenden Kategorie der Google Search Console anzusehen, um zu prüfen, ob sich darunter URLs befinden, die indexiert werden sollen. In diesem Fall dürfen sie nicht per robots.txt gesperrt sein.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeigen

OSG

 

Karl Kratz Onlinemarketing

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

InterNetX

SEO Freelancer

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px