Die chinesische Suchmaschine setzt sein einigen Tagen einen neuen Crawler ein, der in der Lage ist, auch das CSS, JavaScript und die Bilder von Webseiten zu erfassen und damit die Darstellung der Seite zu prüfen.

Der neue Baidu-Crawler wurde bereits einige Tage getestet - laut einem Bericht auf Merkle begannen die Tests am 23. März. Ähnlich wie Google auch wird Baidu damit in der Lage sein, die Darstellung der gecrawlten Webseiten zu prüfen, weil das dort enthaltene JavaScript und CSS ausgeführt werden können.

Der Crawler wird durch folgende User Agents gekennzeichnet:

Desktop

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mobil

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Laut Baidu kann es durch den Einsatz des neuen Crawlers zu einer gestiegenen Last auf den Servern der Webseiten kommen. Webmastern wird aber empfohlen, den Crawler nicht zu blockieren.

Es wird erwartet, dass sich in den ersten Tagen nach dem Einsatz des neuen Crawlers stärkere Bewegungen in den Rankings von Baidu einstellen werden.

Titelbild "Baidu Tasse" © bfishadow

(Attribution 2.0 Generic (CC BY 2.0) creativecommons.org/licenses/by/2.0/)

Verwandte Beiträge

Google: Trotz HTTP/2 sollte das JavaScript einer Website aufgeteilt werden

Unabhängig von der Verwendung von HTTP/2 empfiehlt Google, das JavaScript von Websites sinnvoll aufzuteilen und keine zu großen Blöcke zu verwenden.

Google: So könnt Ihr testen, ob Links auf JavaScript-Seiten aus SEO-Sicht ok sind

Google hat einen Tipp dazu gegeben, wie man Links auf JavaScript-Seiten im Hinblick auf SEO testen kann.

Googlebot schickt in 'extrem seltenen Fällen' Formulare ab

Beim Crawlen kann der Googlebot auch Formulare abschicken. Allerdings passiert das laut Google sehr selten. Wenn es aber vorkommt, kann das Auswirkungen auf das Crawlen haben.