Google-Bot ohne gültige DNS-Verifikation

Wer bestimmte Bots von seinen Seiten ausschließt und dazu das Verfahren der umgekehrten DNS-Verifikation verwendet, hat in den vergangenen Tagen vielleicht aus Versehen den Google-Bot ausgesperrt.

Manche Webseiten sperren bestimmte unerwünschte Crawler oder Bots von ihren Seiten aus. Um gute von schlechten Bots unterscheiden zu können, wird häufig das Verfahren der umgekehrten DNS-Verifikation (Reverse DNS Lookup) verwendet, das zu einer bestimmten IP-Adresse den zugehörigen Hostnamen prüft. Dieser Prozess wird sogar von Google empfohlen.

Wie der Blog "Search Engine Round Table" unter Bezugnahme auf das Forum "WebmasterWorld" nun berichtet, gab es bei der Verfifizierung des Google-Bots für den IP-Bereich 66.249.270/24 Probleme. Man erhält in diesem Fall die Meldung "no such host is known." Durch die fehlgeschlagene Verifikation kann es sein, dass der Google-Bot ausgeschlossen wird und damit das Crawlen der Seiten nicht mehr möglich ist.

Google hat sich inzwischen auf Google+ zu dem Problem geäußert und mitgeteilt, dass man sich darum kümmere.

{extravote 1}