Google kann RSS-Feeds und XML-Sitemaps, die auf 'noindex' gesetzt sind, trotzdem verarbeiten. Damit lässt sich vermeiden, dass diese in den Suchergebnissen erscheinen.

Gelegentlich kann es passieren, dass Google in den Suchergebnissen Inhalte aus RSS-Feeds und XML-Sitemaps anzeigt. Um dies zu verhindern, kann man diese auf "noindex" setzen. Google kann damit umgehen und die betreffenden Inhalte dennoch verarbeiten. Das erklärte Johannes Müller per Anfrage auf Twitter. Seiner Ansicht nach ist es aber nicht erforderlich, das Indexieren von RSS-Feeds und XML-Sitemaps zu unterbinden, weil diese ohnehin nur selten in den Suchergebnissen erscheinen würden:

Um RSS-Feeds und XML-Sitemaps auf "noindex" zu setzen, muss man im HTTP-Header das X-Robots-Tag entsprechend setzen. Das ist erforderlich, weil weder im RSS-Feed noch in XML-Sitemaps Meta-Tags gesetzt werden können, wie es auf HTML-Seiten möglich ist.

Verwandte Beiträge

Google: Aktualisierungsdatum in Sitemap nur bei wichtigen Änderungen anpassen

Das Aktualisierungsdatum für URLs in XML-Sitemaps sollte nur für wichtige Änderungen angepasst werden, die ein erneutes Crawlen erfordern. Ansonsten kann es sein, dass Google die...

Google: Cross-Site-Sitemaps können auch ohne Nennung in robots.txt genutzt werden

Auch um XML-Sitemaps zu verwenden, die unter einer anderen Domain laufen, müssen diese nicht in der robots.txt genannt werden.

WordPress wird bald XML-Sitemaps ohne Plugin bereitstellen

WordPress hat die baldige Integration nativer XML-Sitemaps angekündigt. Die entsprechenden Erweiterungen wurden bereits erstellt und stehen kurz vor dem Release.