SEO-News

Studie: Jeder 25. Besuch eines Googlebots ist gefälscht

Eine neue Studie zeigt: Von 25 Besuchen eines vermeintlichen Googlebots ist einer gefälscht. Die dahinter liegenden Absichten sind oft, aber nicht immer auf Schaden ausgelegt. Wie man schädliche Angriffe erkennen und abwehren kann, zeigt der folgende Beitrag.

Fast jede Webseite wird mehrmals pro Tag von einer großen Zahl an Suchmaschinen-Bots bzw. Crawlern besucht. Meist stammen die Besucher aus dem Hause Google - aber eben nicht immer. Eine aktuelle Studie des Internet-Sicherheitsanbieters Incapsula zeigt, dass jeder 25. Besucher, der sich als Googlebot ausweist, in Wirklichkeit ein Betrüger ist. Die wichtigsten Fakten der Studie zuerst zusammengefasst:

  • 4 Prozent aller Googlebots sind gefälscht und haben die Absicht, Seiten zu hacken, mit Spam zu belasten oder Denial-of-Service-Angriffe durchzuführen.
  • Mehr als 23 Prozent aller gefälschten Googlebots werden für Distributed Denial of Service-Attacken (DDoS) genutzt.
  • Angriffe mit Hilfe gefälschter Googlebots stellen die dritthäufigste Art von DDoS-Attacken dar.
  • 25 Prozent aller gefälschten Googlebots stammen aus den USA, 14 Prozent aus der Türkei und 15 % aus China.
  • Eine durchschnittliche Webseite wird pro Tag von 187 Googlebots besucht.

Der Googlebot crawlt mit Abstand die meisten Seiten im Web - mehr als alle anderen Bots zusammen. Mehr als 60 Prozent aller Crawls gehen dabei auf Googles Konto. Dahinter rangiert mit weitem Abstand MSN / Bing, gefolgt von Baidu. Bemerkenswert ist, dass schon auf Platz vier mit Majestic12 ein Bot eines SEO-Tools folgt. Erstaunlich ist außerdem, dass der Yahoo-Bot nicht mehr in den Top-5 vertreten ist. Weitere interessante Erkenntnisse der Studie: Es gibt so gut wie keine Korrelation zwischen der Größe einer Webseite und der Crawlfrequenz, der Crawlrate, der Crawltiefe und der SEO-Performance.Anteil der Suchmaschinenbots am gesamten Crawlingaufkommen

Der Besuch eines Fake-Bots muss nicht immer auf Schaden ausgelegt sein. So kann es vorkommen, dass sich Suchmaschinen-Tools als Googlebot tarnen, um zu testen, wie eine Seite für Google ausgeliefert wird. Man kann jedoch anhand bestimmter Kriterien mit einiger Wahrscheinlichkeit gefälschte und - noch wichtiger - böswillige Besucher erkennen, um sie dann zukünftig auszusperren. Folgende Zwecke werden mit dem Einsatz von Fake-Bots verfolgt:Verwendungszwecke von gefälschten Googlebot-Besuchen


Fake-Bots erkennen und aussperren

Fake-Bots zu erkennen gelingt am besten durch Kombination mehrerer Schritte. Jeder Schritt für sich gäbe nur ein schwaches Signal, doch in Kombination lassen sich Betrügereien mit einer hohen Wahrscheinlichkeit aufdecken. Das Vorgehen und die Erkennung müssen so ausgelegt sein, dass harmlose Besucher unbehelligt bleiben. So genannte False Positives gilt es zu vermeiden, damit nicht aus Versehen der echte Googlebot ausgesperrt wird und die Webseite nicht mehr gecrawlt werden kann.

  • Schritt 1: Header-Daten ansehen. Auch wenn im Header Googles User-Agent steht, so können die anderen Daten doch untypisch sein. Abweichungen vom gewohnten Muster des Headers liefern einen ersten Verdachtsmoment.
  • Schritt 2: IP und Zugangsnetz überprüfen.  Wem gehören die IP und das Zugangsnetz (Access Service Network bzw. ASN)? Falls sie nicht Google bzw. einem anderen Suchmaschinenanbieter gehören, kann dies durch Verküpfung mit Schritt 1, den Header-Daten, schon hinreichende Verdachtsmomente für eine Einstufung als potentielle Gefahr dienen.    
  • Schritt 3: Verhalten prüfen. Liegen verdächtige Aktivitäten vor wie eine hohe Abfragefrequenz oder ein Zufallsverhalten? Eine hohe Abfragefrequenz kann für den Versuch einer DDoS-Attacke sprechen. Ein zufälliges "Durchprobieren" ist dagegen ein mögliches Indiz für einen Bot, der Sicherheitslücken aufspüren möchte.
  • Schritt 4: Neue Signatur erstellen. Sollte sich durch die vorherigen Schritte ein hinreichender Grund für eine Sperrung ergeben haben, wird eine entsprechende Signatur des Bots bzw. des Zugriffs erstellt und der Datenbank hinzugefügt. So kann der nächste Besuch gleich im Voraus verhindert werden.


Für die genannte Studie wurden mehr als 400 Millionen Besuche von Suchmaschinen-Bots auf 10.000 Seiten über 30 Tage ausgewertet. Das entspricht einer Menge von 2,19 Milliarden Page-Crawls.

 


Von Christian Kunz+ Mehr Informationen hier


 

 


 

 

 

 

 

SEO-Checkliste

SEO-Checkliste

 

Anzeigen












SEO-Beratung

Suchmaschinenoptimierung und SEO-Beratung für Karlsruhe, Baden und die Pfalz

 

06340/351-943

 

info(at)seo-suedwest.de

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Sprecher auf

Auszeichnungen

iBusiness Top-100-Liste SEO-Dienstleister

SEO Südwest: Platz 5 bei den SEO-Wahlen 2014 zum besten deutschen SEO-Blog

 

SEO-united.de Tipp 12/15

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Kalender 2018

SEO-Kalender 2018

 

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-Tipps und SEO-Tricks

IMAGE 'Noindex' oder robots.txt - wann ist welches Instrument das richtige?
Freitag, 09. Februar 2018
Um zu steuern, welche Seiten von Google und anderen Suchmaschinen gecrawlt und indexiert werden... Weiterlesen...
IMAGE Lighthouse: ein Top-Tool für die Performancemessung von Webseiten und PWAs
Montag, 16. Oktober 2017
Lighthouse ist ein Tool, mit dem man die Performance und die Nutzerfreundlichkeit von Progressive... Weiterlesen...
IMAGE Tipp: Reddit für den Aufbau von Backlinks nutzen
Samstag, 17. Januar 2015
Die Social-News-Plattform Reddit erlaubt den Aufbau von guten Backlinks - wenn man sich an... Weiterlesen...

News aus dem Blog

IMAGE Vielen Dank für die Glückwünsche, Google!
Dienstag, 07. November 2017
Google hat mich mit einem persönlichen Geburtstags-Doodle überrascht. Vielen Dank dafür! Weiterlesen...
IMAGE SEO: Können 'Ausverkauft'-Seiten in Online-Shops positive Rankingeffekte haben?
Sonntag, 01. Februar 2015
Wie geht Google eigentlich mit Seiten aus Online-Shops um, die nicht mehr lieferbare Produkte... Weiterlesen...
IMAGE AMP - Is GDPR-compliant usage possible?
Sonntag, 29. April 2018
The AMP framework was established to speed up mobile websites. Normally, AMP pages are served via... Weiterlesen...

 Eine Auswahl zufriedener Kunden

Rebel - Bad Küche Raum
Schöne Haare Karlsruhe
kr3m
feel-perfect.eu - Die Nährstoffexperten border=
Flintec IT GmbH
ESM Academy
Ringladen

Verbinden und Informationen zu SEO Südwest

Impressum und Datenschutz

Social Networks und RSS-Feed