Wenn Google neue Varianten des Googlebots einführt, wird dies zeitnah auf der entsprechenden Webseite veröffentlicht. Daher gilt es, bei neuen und noch nicht bekannten User Agents in den Logfiles vorsichtig zu sein: Es könnte sich um eine Fälschung handeln.
Immer wieder gibt es Meldungen über vermeintliche neue Googlebots - so zuletzt über "google-speakr", der für das Crawlen gesprochener Inhalte dienen soll.
Wer in seinen Logfiles Abfragen von einem bisher nicht bekannten Googlebot findet, sollte aber vorsichtig sein, denn es könnte sich um einen manipulierten User Agent handeln. Darauf wies Johannes Müller im Webmaster-Hangout vom 16. April hin. Laut Müller werden neue Googlebots zeitnah auf Googles entsprechender Hilfeseite veröffentlicht.
Wer sich unsicher ist, ob ein Aufruf tatsächlich von Google stammt, kann die IP-Adresse des User Agents mit der von Google zum Crawlen genutzten Liste von IP-Adressen abgleichen.
Verwandte Beiträge
Google: HTTP-Status 404 und 403 sind nicht geeignet zum Absenken der Crawl-Rate
Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.
Google hat Vorbereitungen zum Crawlen von außerhalb der USA getroffen
Bisher crawlt Google nur aus den USA heraus. Das könnte sich aber bald ändern, denn Google hat Vorbereitungen getroffen, die auch lokales Crawlen ermöglichen.
Google: Deutlicher Rückgang des Crawlens für manche Websites beobachtet
Google scheint einige Websites deutlich weniger zu crawlen als noch vor einigen Tagen. Dafür gibt es bestätigte Berichte.
