SEO-News

Android Bots

Wenn Google Seiten indexiert hat, die per robots.txt gesperrt sind, ist das normalerweise kein Problem.


 Anzeige

Auch Seiten, die per robots.txt gesperrt sind, können im Google Index sein. Das kann zum Beispiel dann passieren, wenn eine bereits indexierte Seite nachträglich per robots.txt gesperrt wird, so dass Google sie nicht mehr crawlen kann. In einem solchen Fall wäre Google nicht einmal in der Lage, ein auf der Seite vorhandenes "nofollow" zu erkennen. Auch externe Links auf eine per robots.txt gesperrte Seite können zum Indexieren der Seite führen.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Für die Google Suche ist es allerdings kein Problem, wenn per robots.txt gesperrte Seiten indexiert sind. Das erklärte John Müller auf LinkedIn. Er kommentierte den Post eines Nutzers, der von einer bestimmten Spam-Technik berichtete. Dabei werden Backlinks auf nicht vorhandene interne Suchergebnisseiten von Websites erzeugt. Und obwohl die entsprechenden URLs per robots.txt gesperrt sind, wurden sie von Google indexiert.

Müller schrieb, wenn Google eine Seite nicht crawlen könne, dann könne auch das "noindex" nicht erkannt werden. Und wenn man Seiten, die per robots.txt gesperrt sind, mithilfe einer "site:"-Suche finden könne, dann sollte man sich darüber keine Sorgen machen. Auf den Fall der beschriebenen Spam-Technik bezogen schrieb Müller, sowohl ein Sperren per robots.txt als auch ein "noindex" sei ok. Beides führe zu unterschiedlichen Status in der Search Console und beides sei kein Problem für den Rest der Website. Man solle nur darauf achten, dass die nicht erwünschten Seiten nicht crawlbar und indexierbar zugleich sind:

 

John Müller: Per robots.txt gesperrte Seiten im Index sind kein Problem

 

Zu empfehlen ist es, sich für eine Variante zu entscheiden. Im Sinne der Effizienz kann es vorteilhaft sein, auf ein Sperren per robots.txt zu setzen. Dann muss Google die Seiten gar nicht erst crawlen. Das spart Ressourcen bei Google -  und auch beim Webserver der Website.

Verwandte Beiträge

Die KI-Suchmaschine Perplexity respektiert die robots.txt von Websites. Allerdings gibt es eine kleine Ausnahme.

Wenn es auf einer Website viele Seiten mit 'noindex' oder Links mit 'nofollow' gibt, dann ist das für Google kein Zeichen schlechter Qualität.

Eine robots.txt bietet keinen ausreichenden Schutz von Inhalten vor nicht berechtigten Zugriffen. Daran erinnerte jetzt Gary Illyes von Google.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen InternetX

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px