API-Aufrufe auf Webseiten sollten nicht per robots.txt blockiert werden, wenn die Aufrufe zum Rendern wichtiger Inhalte benötigt werden. Dabei ist zu beachten, dass API-Aufrufe zum Crawl-Budget gezählt werden können.
Wenn auf einer Webseite Daten über eine Schnittstelle bzw. eine API abgerufen werden, sind aus SEO-Sicht verschiedene Dinge zu beachten. Finden die API-Abrufe im Client, also normalerweise im Browser, statt, dann wird auch der Googlebot diese Abrufe durchführen - solange sie nicht per robots.txt gesperrt sind. Das bedeutet, dass die Abrufe auch zu Lasten des Crawl-Budgets der Website gehen.
John Müller erklärte in den Google Search Central SEO Office Hours vom 8. Oktober, solche API Calls sollten nicht per robots.txt gesperrt werden, wenn die abgerufenen Daten zum Rendern der Seite benötigt werden. Gehe es allerdings nur um ergänzende Inhalte wie zum Beispiel eine Karte oder eine Grafik, sei das weniger problematisch. Das Blockieren einer API per robots.txt könne zum Beispiel dann sinnvoll sein, wenn die Aufrufe teuer sind oder viele Ressourcen benötigen.
Vorsicht sei auch dann geboten, wenn das Blockieren einer API des Rendern einer Seite komplett verhindere. Das könne bei bestimmten Implementierungsarten passieren wie etwa bei der Verwendung von JavaScript. In einem solchen Fall könne Google keine verwertbaren Inhalte indexieren.
Zu beachten sei auch ein anderer Fall: Wenn man selbst eine API betreibe, die von anderen Webseiten genutzt wird, dann könne das Blockieren der API negative Effekte auf diese Webseiten haben. Auch das sollte nicht außer Acht gelassen werden.
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
