SEO-News

SuchmaschinenbotAPI-Aufrufe auf Webseiten sollten nicht per robots.txt blockiert werden, wenn die Aufrufe zum Rendern wichtiger Inhalte benötigt werden. Dabei ist zu beachten, dass API-Aufrufe zum Crawl-Budget gezählt werden können.

Wenn auf einer Webseite Daten über eine Schnittstelle bzw. eine API abgerufen werden, sind aus SEO-Sicht verschiedene Dinge zu beachten. Finden die API-Abrufe im Client, also normalerweise im Browser, statt, dann wird auch der Googlebot diese Abrufe durchführen - solange sie nicht per robots.txt gesperrt sind. Das bedeutet, dass die Abrufe auch zu Lasten des Crawl-Budgets der Website gehen.

John Müller erklärte in den Google Search Central SEO Office Hours vom 8. Oktober, solche API Calls sollten nicht per robots.txt gesperrt werden, wenn die abgerufenen Daten zum Rendern der Seite benötigt werden. Gehe es allerdings nur um ergänzende Inhalte wie zum Beispiel eine Karte oder eine Grafik, sei das weniger problematisch. Das Blockieren einer API per robots.txt könne zum Beispiel dann sinnvoll sein, wenn die Aufrufe teuer sind oder viele Ressourcen benötigen.

Vorsicht sei auch dann geboten, wenn das Blockieren einer API des Rendern einer Seite komplett verhindere. Das könne bei bestimmten Implementierungsarten passieren wie etwa bei der Verwendung von JavaScript. In einem solchen Fall könne Google keine verwertbaren Inhalte indexieren.

Zu beachten sei auch ein anderer Fall: Wenn man selbst eine API betreibe, die von anderen Webseiten genutzt wird, dann könne das Blockieren der API negative Effekte auf diese Webseiten haben. Auch das sollte nicht außer Acht gelassen werden.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeigen

OSG

 

Senior SEO

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen

sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group




Sprecher auf

Onsite-Optimierung

Onsite-Optimierung

 

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

SEO selber machen

SEO selber machen

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px