Google kann RSS-Feeds und XML-Sitemaps, die auf 'noindex' gesetzt sind, trotzdem verarbeiten. Damit lässt sich vermeiden, dass diese in den Suchergebnissen erscheinen.

Gelegentlich kann es passieren, dass Google in den Suchergebnissen Inhalte aus RSS-Feeds und XML-Sitemaps anzeigt. Um dies zu verhindern, kann man diese auf "noindex" setzen. Google kann damit umgehen und die betreffenden Inhalte dennoch verarbeiten. Das erklärte Johannes Müller per Anfrage auf Twitter. Seiner Ansicht nach ist es aber nicht erforderlich, das Indexieren von RSS-Feeds und XML-Sitemaps zu unterbinden, weil diese ohnehin nur selten in den Suchergebnissen erscheinen würden:

Um RSS-Feeds und XML-Sitemaps auf "noindex" zu setzen, muss man im HTTP-Header das X-Robots-Tag entsprechend setzen. Das ist erforderlich, weil weder im RSS-Feed noch in XML-Sitemaps Meta-Tags gesetzt werden können, wie es auf HTML-Seiten möglich ist.

Verwandte Beiträge

Google: URLs mit Weiterleitung in XML-Sitemap nicht optimal

In einer XML-Sitemap sollten möglichst nur die URLs enthalten sein, die auch indexiert werden sollen. URLs in Sitemaps, die mit einer Weiterleitung verbunden sind, sind laut Google nicht optimal.

Google: Ping einer Webseite an Google per robots.txt bringt nichts

Das Hinzufügen einer Webseite zur robots.txt mit dem Ziel, dass Google diese schneller crawlt, funktioniert nicht.

Google: Die Position von URLs in Sitemap spielt keine Rolle für die Priorität

Google gewichtet die Prioritäten von Sitemaps nicht anhand deren Position in der Sitemap. Ein früheres Aktualisierungsdatum von URLs in der Sitemap hat nicht automatisch zur Folge, dass Google diese URLs...