Google ignoriert beim Crawlen die vom Server geschickten Angaben zum Caching und hält die Dateien länger im Speicher. Es gibt aber eine Möglichkeit, ein erneutes Crawlen zu forcieren.
Bestimmte Inhalte auf Webseiten wie Bilder, JavaScript- oder CSS-Dateien können vom Server mit einem Hinweis zum Ablaufdatum versehen werden. Damit wird dem Browser, der eine Seite abruft, mitgeteilt, wann sich die jeweilige Datei frühestens wieder ändert und er die Datei erneut abrufen muss. In der Zwischenzeit kann die Datei aus dem lokalen Speicher abgerufen werden, was die Ladezeit der Seite verringern kann.
Angaben der Cache-Dauer sind auf verschiedene Weisen möglich:
- Expires: gibt einen konkreten Zeitpunk an,
- Cache-Control: max-age= beschreibt eine relative Dauer, beginnend beim Abruf der Datei.
Google bzw. der Googlebot hält sich jedoch nicht an diese Angaben und hat eigene Werte, nach denen sich die Dauer des Cachings bestimmt. Das hat Johannes Müller in einem Webmaster-Hangout mitgeteilt. In der Regel hält Google die Dateien etwas länger im Cache als normale Browser.
Man könne dies aber umgehen: Wenn sich bestimmte Dateien wie ein JavaScript ändern, müsse man dazu einfach ein Tag an die Datei-URL hängen, wie zum Beispiel skript.js?version=0815. Dann behandelt Google die Datei wie ein neues Dokument.
Titelbild: Google
