Für Event-Websites und auch für andere Websites, bei denen es häufige Wechsel bei den Inhalten gibt, gibt es laut Google zwei Möglichkeiten zum Einsparen von Crawl-Budget.
Auf Event-Websites kommt es naturgemäß zu einem häufigen Wechsel der Inhalte. Neue Veranstaltungen kommen hinzu, bereits erfolgte Termine sind nicht mehr relevant. Das kann im Hinblick auf Google eine Herausforderung sein, denn auf der einen Seite möchte man aktuelle Termine im Index und damit in den Suchergebnissen haben, während alte Termine nicht mehr im Index benötigt werden. Gerade dann, wenn es besonders viele Termine gibt, kann es außerdem sein, dass Google sehr viele URLs crawlen muss, was das Crawl-Budget belasten kann.
Für solche Websites hat Johannes Müller von Google in einem aktuellen Webmaster-Hangout zwei Möglichkeiten empfohlen. Die erste Möglichkeit ist es, das unavailable_after Meta-Tag zu verwenden. Es zeigt an, wann eine Seite nicht mehr relevant bzw. nicht mehr verfügbar ist. Google kann dieses Meta-Tag beim Crawlen auslesen und den entsprechenden Termin vormerken.
Eine andere Möglichkeit ist es, alte Termine in einen eigenen Bereich wie ein Archiv zu verschieben. Dieses Archiv sollte weniger stark intern verlinkt sein. Auf diese Weise kann Google erkennen, welches die neuen und wichtigen Seiten sind und welche Seiten weniger Bedeutung haben.
Müller sagte auch, dass Google den Schwerpunkt beim Crawlen auf neue Seiten legt. Daher kann es dauern, bis Google alte Seiten, die man auf "noindex" gesetzt hat, erneut crawlt und sie aus dem Index entfernt.
Titelbild: Copyright Wellnhofer Designs - Fotolia.com
