Google hat angekündigt, ab Dezember neue User Agents für die Googlebots zu verwenden. Das kann sich auf Websites auswirken, die je nach User Agent unterschiedliche Inhalte ausspielen.
Seit diesem Jahr verwendet Google zum Crawlen die sogenannten Evergreen-Googlebots. Diese Bezeichnung leitet sich aus der von jetzt ab stetigen Aktualisierung der Googlebots ab - diese werden sich nach der jeweils verwendeten Chromium-Version richten.
Dies wird sich zukünftig auch in den User Agents der Googlebots widerspiegeln, also in der Kennung, welche die Googlebots bei Requests an Webserver schicken.
In den User Agents wird ab Dezember jeweils zu sehen sein, welche Chromium-Version der Googlebot verwendet.
Derzeit werden noch die folgenden User Agents geschickt. Darin ist noch die kürzlich verwendete Version Chrome 41 angegeben:
Mobile:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Desktop:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
oder
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
Ab Dezember enthält der User Agent der Googlebots die verwendete Chrome-Version im Muster "W.X.Y.Z", also zum Beispiel "76.0-3809.100"
Mobil sieht das dann so aus:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Für den Desktop lautet der User Agent so:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
oder
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Wie Google schreibt, werden die meisten Websites von diesen Änderungen nicht betroffen sein. Allerdings weist Google darauf hin, dass Feature Detection zum Einsatz kommen und keine Unterscheidung auf Basis des User Agents stattfinden sollte. Websites, die auf bestimmte User Agents reagieren, könnten betroffen sein. Falls man Feature Detection nicht verwenden könne und auf die Erkennung des User Agents angewiesen sei, solle man auf "Googlebot" im User Agent prüfen.
Vorsicht bei Websites mit Adblocker-Erkennung
Kritisch kann es für Websites werden, die eine Fehlermeldung statt der normalen Seiteninhalte liefern, wenn Nutzer einen aktivierten Adblocker in ihrem Browser verwenden. Hier könne es durch die Änderungen des User Agents dazu kommen, dass der Googlebot keine Inhalte mehr crawlen kann.
Ähnliches gelte, wenn Seiten zu einem gesperrten oder auf "noindex" gesetzten Dokument weiterleiten.
Zum Testen, wie eine Website auf die neuen User Agents reagiert, kann man entsprechende Einstellungen in Google Chrome vornehmen und die User Agents des Googlebots simulieren.
