Google crawlt fast ausschließlich aus den USA. Das kann zu Problemen führen, wenn Inhalte nur für bestimmte Regionen angeboten werden oder sogar Geoblocking zum Einsatz kommt.
Egal, aus welchem Land eine Webseite stammt: Google crawlt sie mit ziemlicher Sicherheit aus den USA. Google hatte auch schon Versuche unternommen, lokale Crawler einzusetzen. So zum Beispiel in Südkorea, weil dort oftmals US-Nutzer auf Webseiten geblockt sind. Allerdings wurde dieses Vorgehen nach recht kurzer Zeit wieder eingestellt, weil es keinen Mehrwert brachte. Das erzählte Johannes Müller in einem aktuellen Webmaster-Hangout. Zudem würde es einen enormen Traffic-Anstieg für die Webseiten bringen, wenn Google diese aus unterschiedlichen Ländern crawlen würde.
Das Crawlen aus den USA birgt jedoch auch Gefahren: Wenn sich auf einer Webseite nämlich lokalisierte Inhalte befinden, die nur für bestimmte Länder angezeigt werden, kann es sein, dass der Googlebot diese nicht erfasst. Das gilt insbesondere dann, wenn auf einer Webseite Geoblocking stattfindet und Inhalte - zum Beispiel aus rechtlichen Gründen - für US-Besucher nicht dargestellt werden.
Aus diesem Grund empfiehlt Müller, auf einer Webseite möglichst viele generische, von der Herkunft der Besucher unabhängige Inhalte anzuzeigen und auf die lokalisierten Inhalte zu verlinken.
Keine Lösung ist es übrigens, Inhalte speziell für den Googlebot anzuzeigen, denn das wäre Cloaking, das gegen die Google-Richtlinien verstößt und zu einer Penalty führen kann.
Titelbild © AKS - Fotolia.com