Google: Wechsel zwischen 'noindex' und 'index' führt zu seltenerem Crawlen

Der Wechsel zwischen 'noindex' und 'index' für URLs kann dazu führen, dass Google die betreffenden URLs seltener crawlt. Daher sollte man sich überlegen, ob eine URL grundsätzlich indexiert oder nicht indexiert sein soll.

Wenn die Direktive im Meta Robots-Tag oder im X-Robots-Tag für eine URL zwischen "noindex" und "index" wechselt, kann Google das Crawlen der betreffenden URL reduzieren. Der Grund dafür ist, dass Google bei URLs mit "noindex" berechtigterweise davon ausgeht, dass diese nicht indexiert werden sollen.

Das gilt selbst dann, wenn URLs nach dem Wechsel von "noindex" auf "index" in der XML-Sitemap enthalten sind. Auch dann wird Google die betreffenden URLs seltener crawlen. Das erklärte John Müller in den Google Office Hours vom 16. Oktober.

Das wiederum ist in solchen Situationen ungünstig, in denen eine URL eigentlich indexiert sein soll, es aber Ausnahmen gibt. Ein Beispiel dafür sind Produktseiten in Onlineshops.

Statt bei Nicht-Lieferbarkeit eine Produktseite auf "noindex" zu setzen, ist es besser, den Status 404 zu senden, sofern kein neues Lieferdatum bekannt ist, oder, bei bekanntem Lieferdatum, die Seite bestehen zu lassen und das Datum dort zu nennen.

Grundsätzlich sollten häufige Wechsel des Status von URLs vermieden werden, wie Google bereits früher erklärte. Nach jeder Statusänderung muss Google die betreffenden URLs neu verarbeiten. Das kann je nach Situation auch einmal länger dauern.