SuchmaschinenbotAPI-Aufrufe auf Webseiten sollten nicht per robots.txt blockiert werden, wenn die Aufrufe zum Rendern wichtiger Inhalte benötigt werden. Dabei ist zu beachten, dass API-Aufrufe zum Crawl-Budget gezählt werden können.

Wenn auf einer Webseite Daten über eine Schnittstelle bzw. eine API abgerufen werden, sind aus SEO-Sicht verschiedene Dinge zu beachten. Finden die API-Abrufe im Client, also normalerweise im Browser, statt, dann wird auch der Googlebot diese Abrufe durchführen - solange sie nicht per robots.txt gesperrt sind. Das bedeutet, dass die Abrufe auch zu Lasten des Crawl-Budgets der Website gehen.

John Müller erklärte in den Google Search Central SEO Office Hours vom 8. Oktober, solche API Calls sollten nicht per robots.txt gesperrt werden, wenn die abgerufenen Daten zum Rendern der Seite benötigt werden. Gehe es allerdings nur um ergänzende Inhalte wie zum Beispiel eine Karte oder eine Grafik, sei das weniger problematisch. Das Blockieren einer API per robots.txt könne zum Beispiel dann sinnvoll sein, wenn die Aufrufe teuer sind oder viele Ressourcen benötigen.

Vorsicht sei auch dann geboten, wenn das Blockieren einer API des Rendern einer Seite komplett verhindere. Das könne bei bestimmten Implementierungsarten passieren wie etwa bei der Verwendung von JavaScript. In einem solchen Fall könne Google keine verwertbaren Inhalte indexieren.

Zu beachten sei auch ein anderer Fall: Wenn man selbst eine API betreibe, die von anderen Webseiten genutzt wird, dann könne das Blockieren der API negative Effekte auf diese Webseiten haben. Auch das sollte nicht außer Acht gelassen werden.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte. Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier.



Anzeigen

Artikelveröffentlichungen auf starken Magazinen und Blogs

Wir kooperieren mit unzähligen Verlagen und Bloggern und können daher auf über 4000 Blogs zu fast allen Themengebieten Artikelplätze anbieten:

    - Nachhaltiger Linkaufbau, kein SEO-Netzwerk
    - Hohe Sichtbarkeitswerte, keine expired Domains
    - Einmalzahlung, keine Vertragsbindung

Für jede Artikelveröffentlichung erstellen wir hochwertigen Content mit mindestens 400 Wörtern und publizieren den Artikel mit einem DoFollow-Bachlink zu deiner Seite auf einem Magazin oder Blog deiner Wahl.

Frag uns unverbindlich nach Beispielen



SEO-Vergleich





Verwandte Beiträge

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

Search One