Mehrere Webmaster haben eine Häufung von Besuchen des Applebots beobachtet. Der Crawler, der nach bisherigem Wissensstand zur Erfassung von Apps und mit Apps in Beziehung stehender Inhalte genutzt wird, besuchte auch Webseiten ohne verbundene Apps. Arbeitet Apple doch an einer eigenen Suchmaschine?
Ein knappes Jahr ist es her, dass die Existenz eines eigenen Crawlers von Apple offiziell bestätigt wurde. Der Applebot soll nach bisher gültiger Auffassung vor allem dazu dienen, Inhalte für die Produkte Siri und Spotlight Suggestions zu erfassen. Die gecrawlten Inhalte stammen dabei entweder direkt aus Apps, oder sie werden aus Apps referenziert.
Wie es aussieht, hat Apple jetzt seine Crawling-Aktivitäten ausgeweitet und bezieht auch solche Inhalte mit ein, die nicht aus Apps referenziert werden. So schreibt beispielsweise ein Nutzer im Webmaster World-Forum:
"Anybobody got experience of massive apple.bot requests - seems official ?"
Ein anderer Nutzer schreibt:
"Um the bot was back again today. I have decided not to block it. Seems to go to a sub-directory and does about 8 pages then moves on. No idea why. We are a UK info site (for reference)"
Der Applebot lässt sich recht einfach identifizieren. Er reagiert auf dieselben Insruktionen der robots.txt, die auch für den Googlebot gelten:
"Applebot is the web crawler for Apple, used by products including Siri and Spotlight Suggestions. It respects customary robots.txt rules and robots meta tags. It originates in the 17.0.0.0 net block. User-agent strings will contain “Applebot” together with additional agent information. For example:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
If robots instructions don't mention Applebot but do mention Googlebot, the Apple robot will follow Googlebot instructions."
Baut Apple eigene Suchmaschine?
Sind das Anzeichen dafür, dass Apple doch am Aufbau einer eigenen Suchmaschine arbeiten könnte? Die Chancen dafür sind eher gering, wenn man die massiven Investitionen berücksichtigt, die dazu notwendig wären - vermutlich mehrere Milliarden US-Dollar. Zwar wäre das für Apple durchaus zu stemmen, doch liegt das Betreiben einer Suchmaschine außerhalb von Apples Kerngeschäft. Denkbar wäre jedoch ein kleinerer und dafür besonders aktueller und spezialisierter Index als Basis für eigene Dienste wie Siri, Spotlight oder Maps. Außerdem kann Apple von der Verzahnung von Index, Apps und Hardware profitieren.
Bild © Alexander Richter - Fotolia.com