Obwohl Google inzwischen zum Rendern von Webseiten eine aktuelle Version des Googlebots verwendet, erfolgt der initiale Abruf des HTML-Codes noch immer mit dem alten User Agent.
Im letzten Monat war der Googlebot auf Chrome 79 aktualisiert worden, was einige Webmaster in den Logfiles bemerkt hatten. Allerdings gab es nach wie vor auch noch Aufrufe des Googlebots unter Chrome 41. Johannes Müller hatte erklärt, der alte User Agent würde weiterhin zum Abrufen von Ressourcen genutzt.
Martn Splitt von Google hat dies jetzt ein wenig präzisiert und auch in eine zeitliche Reihenfolge gebracht. Im ersten Schritt führt demnach der Googlebot einen HTTP-Request aus, um das HTML einer Seite abzurufen. Dieser Vorgang findet noch mit dem alten User Agent statt.
Der Web Rendering Service (WRS) kümmert sich danach um das Rendering der Seite und lädt das HTML und die damit verbundenen Ressourcen. Das alles wird mit dem neuen User Agent durchgeführt:
Wie Schmitt weiter schreibt, kann im Prinzip jeder Teil der Prozesskette, welcher den WRS aufruft, den alten User Agent verwenden. Man solle also keine vorzeitigen Schlüsse aus der Angabe des User Agents ziehen:
Also nicht wundern, wenn in den Logfiles nach wie vor unterschiedliche User Agents für den Googlebot auftauchen. Vermutlich wird dies noch eine Weile so bleiben.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
