Die unter archive.org verfügbare Wayback Machine ermöglicht auch den Abruf alter robots.txt-Dateien. Das kann bei der nachträglichen Fehlersuche hilfreich sein.
Archive.org, auch unter dem Namen Wayback Machine bekannt, ermöglicht den Abruf von historischen Snapshots von Webseiten. Auf dese Weise kann man erkennen, wie eine Seite an einem bestimmten Datum ausgesehen hat. Damit lassen sich Veränderungen mit der Zeit nachvollziehen.
Weniger bekannt ist, dass die Wayback Machine auch Snapshots von robots.txt-Dateien speichert (Danke für den Tipp an Dan Shure). Das kann bei der Fehlersuche hilfreich sein. Auch lassen sich dadurch mögliche Auswirkungen von Änderungen der robots.txt an Sichtbarkeit und Rankings nachvollziehen.
Sie benötigen SEO-Beratung für Ihre Website?
Das nachfolgende Beispiel zeigt eine Auswahl der Snapshots, welche die Wayback Machine von der robots.txt von spiegel.de gespeichert hat:
Ob und wieviele Snapshots die Wayback Machine von einer Website sammelt, hängt von deren Popularität ab. Von den meisten Websites gibt es dort aber immerhin zumindest einige historische Zwischenstände.
