Das Senden unterschiedlicher HTTP-Statuscodes für Googlebot und menschliche Seitenbesucher ist laut Google nicht zu empfehlen.
Um das Indexieren von ansonsten erreichbaren Seiten durch Google zu verhindern, gibt es verschiedene Möglichkeiten. Normalerweise genügt dafür ein 'noindex' per Meta Robots-Tag oder ein 'noindex' im HTTP-Header. Auch das Sperren per robots.txt ist eine Lösung.
Sie benötigen SEO-Beratung für Ihre Website?
Keine gute Idee ist es dagegen, dem Googlebot einen anderen Statuscode zu senden als dem Browser menschlicher Besucher, also zum Beispiel der Status 410 für den Googlebot, um die Nicht-Verfügbarkeit der Seite anzuzeigen, während menschliche Nutzer die Seite ganz normal aufrufen können und den HTTP-Status 200 erhalten.
In der aktuellen Ausgabe der Google Search Central SEO Office Hours wird erklärt, dass ein solches "Status-Cloaking" zu ungewünschten Nebenwirkungen führen und die Indexierung einer Website insgesamt gefährden kann. Statt ein solches kompliziertes Setup zu wählen, solle man besser 'noindex' verwenden, damit bestimmte Seiten nicht indexiert werden. Das gehe wesentlich schneller und sei deutlich einfacher.
Unterschiedliche Server-Antworten für Nutzer und Googlebot sollten also unbedingt vermieden werden, um ungewünschte Effekte zu vermeiden und um die Indexierung einer Website nicht zu gefährden.
