Google: bei sehr vielen zu erwartenden 404-Seiten 'unavailable after' verwenden

Betreiber von Webseiten mit einem häufigem Wechsel der Inhalte sollten überlegen, das "unavailable after"-Tag zu verwenden, damit Google das Crawling ihrer Seite besser steuern kann.

Besonders große und stark fluktuierende Webseiten befinden sich in einer Situation, in der Inhalte, die heute noch verfügbar sind, morgen schon gelöscht sein können. Dazu zählen zum Beispiel große News-Magazine mit Inhalten von Nachrichtenagenturen oder auch Online-Shops, bei denen die verfügbaren Produkte häufig wechseln.

Solche Wechsel führen dazu, dass eine große Anzahl von 404-Fehlern produziert wird. Normalerweise kann Google gut damit umgehen, doch kann man dem Googlebot das Leben erleichtern. Wie das möglich ist, hat Johannes Müller im gestrigen Webmaster-Hangout erklärt. Ein Nutzer hatte gefragt, ob es problematisch sei, dass auf seiner Webseite pro Monat etwa eine Million 404er enstehen.

Laut Johannes Müller kann Google damit umgehen, doch würde es helfen, die entsprechenden Seiten schon im Voraus mit einem "unavailable after"-Tag zu versehen. Dieses Tag gibt an, wie lange ein Inhalt verfügbar sein wird. Google kann diese Informationen auswerten und das Crawling dann entsprechend planen.

Das "unavailable after"-Tag gibt es seit 2007. Es wurde speziell von Google eingeführt und kann sowohl als Meta-Tag in den HTML-Code eingebunden, als auch im Head der HTTP-Response gesendet werden.

Das HTML-Format sieht wie folgt aus:

<meta name="googlebot" content="unavailable_after: 30-Jun-2017 18:00:00 CET">

Für den HTTP-Head muss folgendes Format verwendet werden:

X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

Vom Einsatz des Removal-Tools in der Google Search Console rät Johannes Müller in solchen Fällen übrigens ab. Dieses Tool ist nur dann geeignet, wenn man bestimmte URLs schnell aus den Suchergebnissen entfernen möchte.

Die vollständige Antwort von Johannes Müller gibt es wie immer im Video:

Titelbild © AKS - Fotolia.com