Bing hat ein neues Tool zum Testen von robots.txt-Dateien herausgebracht. Mit dem Tool lassen sich auch Änderungen vornehmen und die Auswirkungen der Änderungen überprüfen.
Bei Google gibt es ein solches Tool schon lange, und auch Bing bietet jetzt einen robots.txt Tester an. Damit kann man robots.txt-Dateien analysieren und mögliche Probleme betrachten. Zusätzlich unterstützt das Tool beim schrittweisen Optimieren der robots.txt, vom Herunterladen der aktuellen Datei über das Anpassen bis zum Hochladen der neuen robots.txt an den geeigneten Ort.
Das robots.txt Tool von Bing arbeitet so wie der Bingbot und der Bing AdsBot und prüft, ob eine angegebene URL gecrawlt werden darf, oder ob sie blockiert ist. Es ist auch möglich, Änderungen an der robots.txt im bereitgestellten Editor zu testen und die Auswirkungen der Änderungen auf die angegebene URL zu überprüfen.
Geprüft werden die verschiedenen allow- und disallow-Statements gegen bestimmte User Agents. Die robots.txt wird im Editor in vier verschiedenen Variationen angezeigt, mit http://, https://, http://www und https://www.
Das Tool bietet auch ein Schritt-für-Schritt-Vorgehen zum Aktualisieren der robots.txt. Dazu gehören das Herunterladen der bearbeiteten Datei, das Hochladen ins Root-Verzeichnis der Domain und eine Anfrage an Bing, die robots.txt zu aktualisieren.
SEO-Newsletter bestellen
