Google: Action-URLs besser per robots.txt für das Crawlen blockieren

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

 Anzeige

Wer sich um das Crawling-Budget seiner Website Gedanken macht, sollte diesen Hinweis von Gary Illyes (Google) beachten: Auf LinkedIn gab er den Rat, URLs, die bestimmte Aktionen auslösen, per robots.txt zu sperren. Dazu gehören zum Beispiel URLs, mit denen ein Produkt in den Warenkorb gelegt wird oder mit denen man Produkte einer Wunschliste hinzufügen kann.

Illyes schrieb, es werde immer wieder kritisiert, Google crawle zu viel, was zu viele Ressourcen des Webservers beanspruche (obwohl dies keine Probleme verursache). Bei der Prüfung der URLs, die von den Websites derjenigen gecrawlt werden, von denen die Beschwerden stammen, handele es sich oft um Action URLs. Diese seien für den Crawler nutzlos. Daher sollte man entsprechende Disallow-Regeln zur robots.txt hinzufügen oder auf POST-Requests für die entsprechenden Aktionen umstellen. Manche Crawler könnten allerdings auch solche Requests verarbeiten.

Insbesondere bei großen Websites mit vielen Tausenden URLs kann es sinnvoll sein, das Crawlen von solchen URLs auszuschließen, um die Ressourcen der eigenen Webserver und das Crawl-Budget zu schonen.