Obwohl Google inzwischen zum Rendern von Webseiten eine aktuelle Version des Googlebots verwendet, erfolgt der initiale Abruf des HTML-Codes noch immer mit dem alten User Agent.
Im letzten Monat war der Googlebot auf Chrome 79 aktualisiert worden, was einige Webmaster in den Logfiles bemerkt hatten. Allerdings gab es nach wie vor auch noch Aufrufe des Googlebots unter Chrome 41. Johannes Müller hatte erklärt, der alte User Agent würde weiterhin zum Abrufen von Ressourcen genutzt.
Martn Splitt von Google hat dies jetzt ein wenig präzisiert und auch in eine zeitliche Reihenfolge gebracht. Im ersten Schritt führt demnach der Googlebot einen HTTP-Request aus, um das HTML einer Seite abzurufen. Dieser Vorgang findet noch mit dem alten User Agent statt.
Der Web Rendering Service (WRS) kümmert sich danach um das Rendering der Seite und lädt das HTML und die damit verbundenen Ressourcen. Das alles wird mit dem neuen User Agent durchgeführt:
Wie Schmitt weiter schreibt, kann im Prinzip jeder Teil der Prozesskette, welcher den WRS aufruft, den alten User Agent verwenden. Man solle also keine vorzeitigen Schlüsse aus der Angabe des User Agents ziehen:
Also nicht wundern, wenn in den Logfiles nach wie vor unterschiedliche User Agents für den Googlebot auftauchen. Vermutlich wird dies noch eine Weile so bleiben.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
Verwandte Beiträge
Google verwendet neuen Crawler für URL Inspection Tool und Rich Results Test
Google hat einen neuen Crawler eingeführt, der für das URL Inspection Tool und den Rich Results Test verwendet wird. Der Name: Google-InspectionTool. Dient das dem Schutz von Websites mit...
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
Google hat Vorbereitungen zum Crawlen von außerhalb der USA getroffen
Bisher crawlt Google nur aus den USA heraus. Das könnte sich aber bald ändern, denn Google hat Vorbereitungen getroffen, die auch lokales Crawlen ermöglichen.
