Google entfernt Seiten ohne erneutes Crawlen aus dem Index, nachdem ein per unavailabe_after gesetztes Datum erreicht wurde. Allerdings kann Google solche Seiten auch danach noch crawlen.
Das Meta Tag unavailable_after kann hilfreich sein, wenn es darum geht, Google darüber zu informieren, ab wann eine bestimmte Seite nicht mehr verfügbar ist. Das kann zum Beispiel für einmalige Aktionen sinnvoll sein, die nach einem bestimmten Datum nicht mehr relevant sind.
Es gibt zwei verschiedene Möglichkeiten, unavailbale_after zu setzen, nämlich per Meta Tag und per X-Robots-Tag:
- meta name="robots" content="unavailable_after: Sunday, 15-Oct-22 07:00:00 PDT"
- X-Robots-Tag: unavailable_after: 29 Jul 2020 12:00:00 PST
Nach dem Erreichen des auf diese Weise gesetzten Datums entfernt Google die betreffende Seite aus dem Index, und das, ohne sie erneut crawlen zu müssen. Das erklärte John Müller in den Google Search Central SSO Office Hours vom 12. Februar. Per unavailbale_after gebe man an, dass eine Seite ab einem bestimmten Datum entweder einen 404-Status zurückliefere oder "noindex" sei.
Vor einem Jahr hatte Müller noch gesagt, Google prüfe die betreffenden Seite vor dem Löschen. Das würde ein erneutes Crawlen der Seite erforderlich machen. Anscheinend ist es aber so, dass dies nicht notwendig ist - das Löschen geschieht automatisch und ohne notwendigen Re-Crawl.
Auch nach dem Löschen wegen unavailable_after kann Google eine Seite übrigens crawlen. Um das zu forcieren, kann man zum Beispiel das Aktualisierungsdatum in der XML-Sitemap entsprechend setzen.
Verwandte Beiträge
Google: unavailable_after wird weiter unterstützt
Google berücksichtigt auch weiterhin die 'unavailable_after'-Anweisung. Damit kann man angeben, bis wann eine Seite verfügbar ist.
Google: bei sehr vielen zu erwartenden 404-Seiten 'unavailable after' verwenden
Betreiber von Webseiten mit einem häufigem Wechsel der Inhalte sollten überlegen, das "unavailable after"-Tag zu verwenden, damit Google das Crawling ihrer Seite besser steuern kann.
Matt Cutts: Was ist aus SEO-Sicht zu tun, wenn Produkte ausverkauft sind?
Inhaber von Online-Shops sehen sich immer wieder mit der Situation konfrontiert, dass bestimmte Produkte nicht mehr verfügbar sind. Was aber tun mit den zugehörigen Produktseiten? Matt Cutts gibt in...
SEO-Newsletter bestellen
