Google gibt Tipps, wie man schnell und einfach versehentlich indexierte Seiten vom Testserver aus dem Index entfernen kann.
Vor allem für größere Webseiten ist es selbstverständlich, neben dem Live- oder Produktivsystem zusätzlich mehrerer Vorinstanzen zu betreiben, auf denen entwickelt wird und die zu Testzwecken dienen. In der Regel gibt es neben der Produktivumgebung ein Entwicklungs-, ein Test- bzw. QA- sowie ein Prelivesystem.
Normalerweise gelangen Seiten von diesen Systemen nicht in den Index der Suchmaschinen, weil die entsprechenden Server gegen den Zugang von außen und damit auch vor dem Zugriff durch Crawler geschützt sind. Was ist aber zu tun, wenn es doch einmal passiert ist und die Google-Suche Ergebnisse des Testservers ausspielt?
Dazu hat Johannes Müller jetzt einige Tipps auf Google+ veröffentlicht. Demnach führt der schnellste Weg, unliebsame Seiten zu entfernen, über die Google Search Console. Das setzt natürlich voraus, dass die Testinstanzen zuvor in der Search Console angemeldet und verifiziert werden. Zur Überprüfung der Anmeldung muss Google tatsächlich auf die betreffenden Server zugreifen können - außer man wählt die Verifizierung per DNS.
Mit der Funktion "URL entfernen" kann ein kompletter Host wie eine QA-Instanz aus den Google-Ergebnissen entfernt werden. Aber Vorsicht: Die Gültigkeitsdauer für das Entfernen beträgt nur 90 Tage. Innerhalb dieses Zeitraums müssen Maßnahmen getroffen werden, um die betreffenden Seiten vor einer erneuten Indexierung zu schützen.
Müller empfiehlt einen serverseitigen Schutz, entweder per HTTP-Authentifizierung (Passwortschutz) oder durch die Freigabe nur für bestimmte IP-Adressen (Whitelisting).
Weniger empfehlenswert sind "noindex"-Direktiven auf den einzelnen Seiten, denn das würde eine andauernde Zugriffsmöglichkeit von außen erfordern, damit die Direktiven auch erkannt werden. Außerdem weist Müller darauf hin, dass es in der Regel Monate dauert, bis eine einmal gecrawlte URL erneut von Google abgerufen wird, so dass zwischen dem Blockieren einer Seite und dem Entfernen aus dem Index ein halbes Jahr vergehen kann.
Die Nutzung der robots.txt für diesen Zweck bringt die Aufgabe mit sich, sie rechtzeitig vor dem Livegang der Seite anzupassen, um Probleme beim Crawlen zu verhindern. Auch kann eine fehlerhafte robots.txt dazu führen, dass URLs ohne Inhalt gecrawlt werden, was unschöne Suchergebnisse hervorbringen kann.
© boscorelli - Fotolia.com
