SEO-News

SuchmaschinenbotGoogle hat eine Liste mit IP-Adressen veröffentlicht, die Google zum Crawlen verwendet. Damit ist es nicht mehr nötig, einen Reverse DNS Check zur Verifizierung von Googles Crawlern vorzunehmen.

Wer bisher prüfen wollte, ob ein Aufruf von einer bestimmten IP-Adresse von Google stammte, musste dazu einen Reverse DNS Lookup durchführen und nachsehen, ob die IP-Adresse auf eine Google-Domain zeigt, und zwar entweder auf google.com oder googlebot.com.

Das ist jetzt nicht mehr nötig, denn Google hat eine Liste von IP-Adressen zur Verfügung gestellt, die Google für den Googlebot verwendet. Eine Liste der IP-Adressen aller anderen Google-Crawler gibt es ebenfalls.

Leider hat Google diese Listen in der deutschsprachigen Dokumentation zum Prüfen des Googlebots und anderer Crawler noch nicht verlinkt. Die deutschsprachigen Hilfeseiten von Google sind leider oftmals nicht auf dem aktuellen Stand. In der englischsprachigen Dokumentation ist der Hinweis dagegen bereits enthalten.

Die Möglichkeit zum Prüfen der Herkunft von Seitenaufrufen ist wichtig für viele Websites, um Requests von Spam- und Fake-Crawlern einzudämmen. Durch das Eingrenzen der erlaubten Abrufe auf eine vorgegebene Liste von IP-Adressen lässt sich der Traffic reduzieren. Dabei ist aber zu beachten, dass sich die Listen täglich ändern können. Daher sollten entsprechende Filterregeln möglichst häufig geprüft und aktualisiert werden.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeigen

OSG

 

Senior SEO

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group




Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px