SEO-News

Google-TeppichBevor man Seiten oder ganze Verzeichnisse per robots.txt sperrt, sollte man erst prüfen, ob es Backlinks gibt, die auf diese Seiten zeigen. Auch die Art und die Relevanz dieser Backlinks sollte man sich ansehen.

Wenn sich eine Website mit der Zeit weiterentwickelt, kann es passieren, dass ältere Beiträge entfernt oder in ein Archiv verschoben werden. Auf sehr großen Websites werden solche Archive gelegentlich per robots.txt gesperrt, um die Zahl der zu crawlenden Seiten zu reduzieren.

Bevor man aber Seiten oder ganze Verzeichnisse per robots.txt sperrt und sie damit dem Zugriff der Suchmaschinen entzieht, sollte man prüfen, ob es Backlinks auf die betreffenden Seiten gibt. Wenn das der Fall ist, können die gesperrten Seiten dennoch in den Suchergebnissen erscheinen. Google verwendet dabei den Ankertext der Backlinks zum Erzeugen der Titel in den Snippets. Eine Description kann aber nicht angezeigt werden.

Wie John Müller in den Google Search Central SEO Office Hours erklärte, kann Google bei per robots.txt gesperrten Seiten auch nicht erkennen, wenn diese auf aktuellere und relevantere Seiten verweisen. Google könne dann nicht indirekt zu den Hauptinhalten weiterleiten.

Wenn Seiten wichtig genug seien, dass die Menschen Links auf sie gesetzt haben, dann sollte man laut Müller erwägen, die Seiten nicht per robots.txt zu sperren. Dafür spricht, dass Google auch per robots.txt gesperrte Seiten indexieren und damit auch die auf die Seiten verweisenden Links werten kann. Allerdings können die verlinkten Seiten keinen "Link Juice" an andere Seiten der Website weitergeben, weil Google die internen Links der Seite aufgrund des "disallow" in der robots.txt nicht erkennen kann.

Wie Müller weiter erklärte, könne es allerdings sein, dass die vorhandenen Backlinks, die auf archivierte Seiten verweisen, nicht mehr besonders interessant sind. Im besprochenen Beispiel handelte es sich um alte Pressemeldungen. Die Links, die auf solche Inhalte zeigen, können mit der Zeit an Relevanz verloren haben.

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

InterNetX

SEO Freelancer

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px