Wenn der Aufruf einer robots.txt-Datei zu einer Weiterleitung führt, dann befolgt Google diese Anweisung und versucht, die Datei von der Ziel-URL abzurufen.
Weiterleitungen dienen dazu, bei einem Umzug einer Seite oder einer Datei auf eine neue URL den Weg dort hin zu weisen, damit Aufrufe der alten URL am richtigen Ziel landen. Auch Google folgt solchen Weiterleitungen.
Das gilt nicht nur für normale URLs von Landing Pages und ähnlichen Seiten, sondern auch für die robots.txt. Das hat Johannes Müller in einem aktuellen Webmaster-Hangout bekräftigt. Diese Information ist nicht neu - dennoch wird es viele Menschen geben, die das noch nicht wussten.
Auf der zugehörigen Supportseite von Google heißt es zur Weiterleitung von robots.txt-Dateien:
- Google folgt diesen Weiterleitungen bis zu fünf Sprünge.
- Sollte danach keine gültige Datei gefunden werden, so verzeichnet Google einen 404-Fehler.
- Weiterleitungen zu nicht zugelassenen URLs sind nicht definiert und werden nicht empfohlen.
- Logische Weiterleitungen auf Basis von HTML-Inhalten, die einen Status 2xx zurückliefern (zum Beispiel Meta-Refreshes) sind ebenfalls nicht definiert und werden nicht empfohlen.
Das bedeutet: Falls eine robots.txt dauerhaft an einen anderen Ort verlegt wurde, sollte am besten ein permanenter Redirect (301-Redirect) verwendet werden.
Die Antwort von Johannes Müller zeigt das folgende Video:
Titelbild © Igor Zakowski - Fotolia.com
