ChatGPT crawlt die llms.txt Datei

ChatGPT crawlt die llms.txt Datei. Das ist an Logfiles zu sehen. Die Datei gilt als eine Möglichkeit, neue Inhalte für KI-Anwendungen zur Verfügung zu stellen.

 Anzeige

Derzeit wird viel darüber diskutiert, ob es sinnvoll ist, für Websites eine llms.txt-Datei zur Verfügung zu stellen. Diese Datei ist in etwa vergleichbar mit einer XML-Sitemap für Suchmaschinen. Dort werden die wichtigsten und aktuellen Inhalte der Website aufgeführt. Die Hoffnung ist, dass KI-Tools wie ChatGPT oder Perplexity die Datei nutzen und Inhalte der Website in den Ergebnissen anzeigen. Damit gilt die llms.txt als ein mögliches Werkzeug für LLMO, also die Optimierung für die KI-Suche.

Jetzt gibt es klare Anzeichen dafür, dass zumindest ChatGPT Gebrauch von der llms.txt macht. Ray Martinez schrieb auf Twitter, dass OpenAI für einige seiner Websites die llms.txt crawle, und zwar mit dem OAI-SearchBot. Zudem prüfe OpenAI alle 15 Minuten per Ping, ob es Updates gibt:

Der OAI-SearchBot wird für Suchergebnisse in ChatGPTverwendet, nicht aber, um die KI-Modelle von OpenAI zu trainieren. OpenAI empfiehlt, den Zugriff des Crawlers in der robots.txt zu erlauben, damit eine Website in den Suchergebnissen von ChatGPT erscheinen kann.

Mit dieser Beobachtung dürften die Befürworter der Verwendung einer llms.txt Rückenwind erhalten - zumal sich die Datei heute recht einfach einrichten lässt, zum Beispiel mit Plugins wie Yoast.