Google: LLMS.txt auf 'noindex' setzen kann sinnvoll sein

Laut Google kann es sinnvoll sein, die LLMS.txt auf 'noindex' zu setzen, damit sie nicht in den Suchergebnissen erscheint.

 Anzeige

Ob die Verwendung einer LLMS.txt auf Websites sinnvoll ist, um KI-Bots beim Erfassen von Inhalten der Seiten zu unterstützen, darüber wird gerade viel diskutiert. Zumindest gibt es Anzeichen dafür, dass OpenAI diese Datei crawlt. Was damit passiert, ist allerdings unklar.

Wenn man sich jedoch für den Einsatz solch einer Datei entscheidet, dann sollte man erwägen, diese auf 'noindex' zu setzen. John Müller von Google schrieb dazu auf Anfrage per Bluesky, es würde sich bei der LLMS.txt nur dann um Duplicate Content handeln, wenn sie das Gleiche darstelle wie eine HTML-Seite, was aber keinen Sinn ergebe. Dennoch könne ein 'noindex' für die Datei sinnvoll sein, weil andere Websites darauf verlinken könnten. Wenn die Seite dann indexiert sei, könne das für die Nutzer verwirrend sein.

Auf die Frage, ob man dann auch die Markdown-Dateien (.md) auf 'noindex' setzen sollte, also die Dateien, in denen die Inhalte der einzelnen Seiten für die KI bereitgestellt werden, antwortete Müller, eine Kopie der kompletten Website für Bots vorzuhalten, wirke ambitioniert.