Google kann RSS-Feeds und XML-Sitemaps, die auf 'noindex' gesetzt sind, trotzdem verarbeiten. Damit lässt sich vermeiden, dass diese in den Suchergebnissen erscheinen.

Gelegentlich kann es passieren, dass Google in den Suchergebnissen Inhalte aus RSS-Feeds und XML-Sitemaps anzeigt. Um dies zu verhindern, kann man diese auf "noindex" setzen. Google kann damit umgehen und die betreffenden Inhalte dennoch verarbeiten. Das erklärte Johannes Müller per Anfrage auf Twitter. Seiner Ansicht nach ist es aber nicht erforderlich, das Indexieren von RSS-Feeds und XML-Sitemaps zu unterbinden, weil diese ohnehin nur selten in den Suchergebnissen erscheinen würden:

Um RSS-Feeds und XML-Sitemaps auf "noindex" zu setzen, muss man im HTTP-Header das X-Robots-Tag entsprechend setzen. Das ist erforderlich, weil weder im RSS-Feed noch in XML-Sitemaps Meta-Tags gesetzt werden können, wie es auf HTML-Seiten möglich ist.

Verwandte Beiträge

Google: Es gibt keine Mindestanzahl funktionierender URLs in Sitemaps

Google kann XML-Sitemaps auch dann verarbeiten, wenn die meisten enthaltenen URLs nicht funktionieren.

Google: 'lastmod' in Sitemaps sollte tatsächlichem Aktualisierungsdatum der Seiten entsprechen

Nur wenn das 'lastmod'-Attribut für die einzelnen URLs in einer XML-Sitemap in einer vernünftigen Weise genutzt wird, kann Google etwas damit anfangen und das Crawlen entsprechend priorisieren.

Google betont die Bedeutung interner Verlinkung - Sitemaps nur bedingt hilfreich

Interne Links sind für Google ein wichtiges Signal, um die Bedeutung von Unterseiten zu erkennen. Dabei geht es vor allem um eine klare Aufteilung in Kategorien. XML-Sitemaps sind dabei übrigens...