Bing hat es Google gleichgetan und seinerseits eine Liste der IP-Adressen veröffentlicht, die zum Crawlen genutzt werden.
Nur wenige Tage, nachdem Google eine Liste der IP-Adressen veröffentlicht hat, welche die Suchmaschine zum Crawlen verwendet, hat Bing nun nachgezogen. Bing Product Manager Fabrice Canel teilte dies per Twitter mit:
Die Liste der von Bing zum Crawlen genutzten IP-Adressen ist unter dieser Adresse zu finden. Beim Blick auf die Liste fällt auf, dass diese wesentlich kürzer ist als die IP-Liste, die Google bereitstellt.
Bing bietet außerdem eine Seite an, auf der Tools zum Verifizieren von Aufrufen des Bingbots bereitgestellt werden. So ist es zum Beispiel möglich, zu prüfende IP-Adressen einzugeben, um direkt als Ergebnis Auskunft darüber zu erhalten, ob es sich um eine von Bing genutzte IP-Adresse handelt.
Wer die Liste der IP-Adressen nutzt, um Crawling-Aufrufe zu beschränken bzw. um eine Whitelist für zulässige Abrufe zu erstellen, sollte darauf achten, die Liste regelmäßig auf Änderungen zu prüfen, um nicht aus Versehen legitime Abrufe zu blockieren.
SEO-Newsletter bestellen
