Vor dem Hintergrund von KI-Technologien und Generative AI hat Google dazu aufgerufen, Alternativen zur robots.txt zu entwickeln. Das Protokoll entspricht nicht mehr den Anforderungen der zukünftigen Entwicklung.
Seit mittlerweile fast 30 Jahren gibt es die robots.txt als zentrale Datei, mit der festgelegt werden kann, welche Seiten einer Website von Suchmaschinen und anderen Diensten gecrawlt werden dürfen und welche nicht. Mit dem Aufkommen von KI und Generative AI vor allem im Bereich der Suchmaschinen zeigt sich aber, dass die robots.txt nicht mehr allen Anforderungen genügt. So ist es zum Beispiel wichtig, steuern zu können, welche Inhalte für die klassische Suche gecrawlt werden dürfen, nicht aber zum Trainieren der Large Language Models (LLMs) der Chatbots gedacht sind.
Sie benötigen SEO-Beratung für Ihre Website?
Vor diesem Hintergrund hat Google jetzt einen Aufruf zum Entwickeln weiterer maschinenlesbarer Methoden gestartet, mit denen Publisher im Web steuern können, für welche Anwendungsfälle gerade auch im Zusammenhang mit KI ihre Inhalte genutzt werden dürfen. Damit soll eine öffentliche Diskussion begonnen werden, an der Betroffene aus dem Web und dem Bereich der KI teilnehmen sollen. Aber auch aus anderen Bereichen wie zum Beispiel der Wissenschaft und verschiedenen Gesellschaftsbereichen sind willkommen.
Wer sich an der Diskussion beteiligen möchte, kann sich dazu auf dieser Website anmelden.
