Laut Google gibt es keine Notwendigkeit, URLs in einer Sitemap zu führen, die auf 'noindex' gesetzt sind. Allerdings kann es sinnvoll sein, solche URLs zeitweise in einer Sitemap zu haben.
In einer XML-Sitemap sollten normalerweise die URLs einer Website enthalten sein, die Google crawlen und indexieren soll. Per Sitemap kann Google diese URLs schneller finden.
Doch wie sieht es mit URLs aus, die mit "noindex" gekennzeichnet sind? Solche URLs müssen nicht Bestandteil der Sitemap sein. Das erklärte John Müller jetzt auf Anfrage per Twitter. Er antwortete damit auf die Frage, ob es sinnvoll sei, URLs, welche die Kennzeichnung "noindex, follow" tragen, in die Sitemap zu integrieren.
Müller sagte, wenn es nichts zu indexieren gebe, müsse man die entsprechenden URLs auch nicht in die Sitemap aufnehmen. Zudem sei "noindex, follow" ein widersprüchliches Signal:
"If there's nothing to index, you don't need to put them into the sitemap file. Also, I wouldn't assume that "noindex, follow" does anything specific, since it's somewhat of a conflicting message."
Die Kombination von "noindex" und "follow" ist nicht zu empfehlen, weil Google URLs mit "noindex" nicht indexiert bzw. aus dem Index entfernt und damit die auf den Seiten enthaltenen Links nicht wertet.
Es kann übrigens durchaus sinnvoll sein, URLs mit "noindex" vorübergehend in einer Sitemap zu führen, und zwar dann, wenn die URLs noch indexiert sind und aus dem Index entfernt werden sollen. Per Sitemap kann erreicht werden, dass Google die URLs schneller crawlt und die URLs schneller aus dem Index entfernt.
