Wenn es auf einer Webseite mehrere miteinander konkurrierende Robots-Anweisungen gibt, stellt sich die Frage, welche davon Google berücksichtigt. Noch komplizierter wird es, wenn Meta Robots-Tag und X-Robots-Header im Widerspruch zueinander stehen. Doch es gibt eine klare Regel.
Es gibt verschiedene Fälle, in denen es auf einer Webseite unterschiedliche und konkurrierende Signale an Google und andere Suchmaschinen gibt, ob die Seite indexiert werden darf oder nicht.
Ein Beispiel ist, wenn im Meta Robots-Tag ein "index" steht, im X-Robots-Tag des HTTP-Headers dagegen ein "noindex" zu finden ist. Hier stellt sich die Frage, welche Direktive Google verwendet. Eine Dokumentation dieser konkreten Frage ist bei Google nicht zu finden, zumindest nicht auf der zugehörigen Hilfeseite. Dort steht zwar allgemein zu lesen, dass im Falle von miteinander in Konflikt stehenden Robots-Anweisungen die jeweils restriktivere Anweisung angewendet wird, doch bezogen auf den genannten, konkreten Fall im Hinblick auf Meta Robots-Tag und X-Robots-Tag sind hier keine Informationen zu finden.
Per Twitter äußerten sich einige Nutzer zu dieser Frage. Steven van Vessum schrieb, auch in diesem Fall gelte die restriktivere Direktive, also das "noindex". Johannes Müller quittierte diese Antwort mit einem Like, weshalb davon auszugehen ist, dass diese Antwort richtig ist:
Auch Felix Beilharz äußerte sich entsprechend:
Interessant ist der Fall miteinander konkurrierender Direktiven auch auf Webseiten, bei denen ein Meta Robots-Tag per JavaScript gesetzt oder entfernt wird. Dazu hatte Johannes Müller vor einiger Zeit folgendes erklärt: Wenn es im initialen HTML ein "nofollow" gebe, das später per JavaScript entfernt werde, so gelte das "nofollow" dennoch. Genauso verhält es sich auf mit einem nachträglich per JavaScript entfernten "noindex". Auch dieses würde von Google berücksichtigt werden.
Titelbild: Copyright Paul Pirosca - Fotolia.com
SEO-Newsletter bestellen