SEO-News

SuchmaschinenbotDas Verwenden einer eigenen robots.txt für Subdomains hat keine störenden Auswirkungen auf die Bewertung der robots.txt der Hauptdomain durch Google, wenn sie richtig aufgesetzt ist.

Es ist möglich, eine robots.txt nicht nur auf Ebene der Hauptdomain zu verwenden, sondern auch für Subdomains eigenständige robots.txt-Dateien einzubinden. Auf diese Weise lässt sich für die jeweiligen Subdomains bestimmen, welche Seiten und Verzeichnisse von den einzelnen Crawlern abgerufen werden dürfen und welche nicht.

Durch die Verwendung von verschiedenen robots.txt-Dateien für Haupt- und Subdomains sollte es für den Googlebot keine Probleme geben. Das bestätigte Johannes Müller per Twitter auf Anfrage. Er schrieb aber auch, das gelte dann, wenn die Dateien korrekt eingesetzt würden:

 

Google: normalerweise keine Probleme durch robots.txt für Subdomains

 

Dabei ist auch zu beachten, dass zum Beispiel eine robots.txt, die für die www-Variante einer Domain aufgesetzt wird, nicht für die Nicht-www-Variante der Domain gilt, weil "www" auch eine Subdomain darstellt. So gilt zum Beispiel die robots.txt unter https://www.example.com/robots.txt nicht für die Domain https://example.com.

Zu beachten ist außerdem, dass Google robots.txt-Dateien in Verzeichnissen nicht beachtet. So wird zum Beispiel die Datei https://example.com/verzeichnis/robots.txt keinen Einfluss haben.

Nachfolgend einige Beispiele aus der Google-Hilfe zu robots.txt:

 

Google-Hilfe: robots.txt und Subdomains

 

Ob es sinnvoll ist, für einzelne Subdomains eigenständige robots.txt-Dateien zu verwenden, muss jeder selbst entscheiden. Nachteilig kann der erhöhte Pflegeaufwand sein. Zudem ist es schwieriger, einen Gesamtüberblick aller erlaubten und gesperrten Verzeichnisse einer Website zu erhalten.

Vorteilhaft kann dieser Ansatz vor allem für Websites sein, bei denen die Inhalte der Subdomains unabhängig voneinander sind.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

Per 'Google-extended' kann man nicht verhindern, dass Google Webseiten für KI-Antworten in der neuen Suche 'Google SGE' verwendet.

Die unter archive.org verfügbare Wayback Machine ermöglicht auch den Abruf alter robots.txt-Dateien. Das kann bei der nachträglichen Fehlersuche hilfreich sein.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px