Die beste Möglichkeit, das Indexieren von Test- und Staging-Versionen einer Website zu vermeiden, ist laut Google das Einrichten einer serverseitigen Zugangskontrolle. Zwar sind auch die robots.txt und 'noindex' mögliche Alternativen, durch bergen diese Risiken.
Das veresehentliche Indexieren der Staging-Version einer Website, zum Beispiel einer noch nicht veröffentlichten Entwicklerversion, kann verschiedene Nachteile mit sich bringen. Da wäre zum Beispiel das Problem mit Duplicate Content, denn wenn sowohl Live- als auch Staging-Version indexiert sind, konkurrieren die beiden Versionen miteinander. Ein weiterer Nachteil kann das ungewollte Veröffentlichen von Informationen sein, die sich auf der Staging-Version befinden.
Um dies zu vermeiden, sollte man am besten serverseitige Schutzmechanismen verwenden. John Müller riet im Webmaster-Hangout vom 4. September dazu, entweder einen Passwortschutz einzusetzen oder eine Begrenzung auf einen Bestimmten Bereich von IP-Adressen vorzunehmen.
Auch die robots.txt sei verwendbar, um Staging-URLs aus der Suche auszuschließen. Sie blockiert das Crawlen der betreffenden URLs. Google wird diese dann nicht indexieren, sofern es keine anderen Links auf die URLs gibt. Ein Problem bei dieser Variante sei laut Müller, dass man die robots.txt aus Versehen für die Live-Version übernehmen könne - was dann zum Blockieren der Live-URLs für die Crawler führe. Ähnlich sieht es mit der Verwendung von "noindex" aus - auch hier könne es passieren, dass die Konfiguration auf die Live-Version üertragen werde. Diese Gefahr sei beim serverseitigen Blockieren durch Passwortschutz oder Begrenzung der IP-Adressen deutlich geringer.
Beim Aufsetzen von Staging-Versionen sollte also darauf geachtet werden, den Kreis derjenigen, die darauf zugreifen können, so gering wie möglich zu halten. Damit lässt sich auch die versehentliche Indexierung durch Google vermeiden.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
