Ein Webserver sollte nur auf Conditional Requests des Googlebots mit dem HTTP-Status 304 antworten. Ansonsten kann es passieren, dass die betreffenden Inhalte nicht indexiert werden.
Der HTTP-Status 304 ("Not modified") gibt an, dass ein angefordertes Dokument nicht erneut geladen werden muss. Das kann zum Beispiel dann hilfreich sein, wenn sich ein Dokument seit dem letzten Aufruf nicht verändert hat. Man spricht beim Status 304 auch von einer impliziten Weiterleitung.
Der Status 304 kommt zumeist in Verbindung mit sogenannten Conditional Requests, also bedingten Abfragen, zur Anwendung. In Abhängigkeit von bestimmten Bedingungen wie zum Beispiel dem letzten Aktualisierungsdatum des angeforderten Dokuments kann sich das Ergebnis der Abfrage oder deren Erfolg ändern.
Um den Status 304 ging es im Google Webmaster-Hangout vom 4. August. Ein Nutzer wollte wissen, ob es in Ordnung sei, für eine News-Sitemap den Status 304 zu senden, wenn es dort keine Einträge gebe.
John Müller antwortete, das Senden des Status 304 könne dazu führen, dass Google ein Dokument oder eine Seite nicht indexieren könne. Google verwende beim Crawlen sowohl normale Requests als auch Conditional Requests. Nur für Letztere sollte man einen 304 senden. Erhält Google dagegen für einen nicht bedingten Request einen 304, wird das Dokument nicht abgerufen mit der Folge, dass es nicht indexiert werden kann. Das gilt nicht nur für das Abrufen von Sitemaps, sondern für alle vom Googlebot abgerufenen Dokumente.
Dabei ist eine vorübergehende Nicht-Verfügbarkeit einer Sitemap für Google weniger problematisch, denn Google kann auch ohne Sitemap crawlen.
