SEO-News

Google Logo

Vor dem Hintergrund von KI-Technologien und Generative AI hat Google dazu aufgerufen, Alternativen zur robots.txt zu entwickeln. Das Protokoll entspricht nicht mehr den Anforderungen der zukünftigen Entwicklung.


 Anzeige

Seit mittlerweile fast 30 Jahren gibt es die robots.txt als zentrale Datei, mit der festgelegt werden kann, welche Seiten einer Website von Suchmaschinen und anderen Diensten gecrawlt werden dürfen und welche nicht. Mit dem Aufkommen von KI und Generative AI vor allem im Bereich der Suchmaschinen zeigt sich aber, dass die robots.txt nicht mehr allen Anforderungen genügt. So ist es zum Beispiel wichtig, steuern zu können, welche Inhalte für die klassische Suche gecrawlt werden dürfen, nicht aber zum Trainieren der Large Language Models (LLMs) der Chatbots gedacht sind.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Vor diesem Hintergrund hat Google jetzt einen Aufruf zum Entwickeln weiterer maschinenlesbarer Methoden gestartet, mit denen Publisher im Web steuern können, für welche Anwendungsfälle gerade auch im Zusammenhang mit KI ihre Inhalte genutzt werden dürfen. Damit soll eine öffentliche Diskussion begonnen werden, an der Betroffene aus dem Web und dem Bereich der KI teilnehmen sollen. Aber auch aus anderen Bereichen wie zum Beispiel der Wissenschaft und verschiedenen Gesellschaftsbereichen sind willkommen.

Wer sich an der Diskussion beteiligen möchte, kann sich dazu auf dieser Website anmelden.

Verwandte Beiträge

Google hat eingeräumt, einen Teil der etwa 20 Milliarden verfügbaren YouTube Videos zum Trainieren von Gemini und Veo 3 zu verwenden. Das birgt Konfliktpotential und die Gefahr von...

Martin Splitt von Google hat sich auf einer aktuellen Veranstaltung zum Auseinanderdriften von Impressionen und Klicks in der Suche aufgrund der AI Overviews geäußert. Ein Teil der verlorenen Klicks...

Jetzt ist es soweit: Daten aus dem Google AI Mode landen auch in der Google Search Console. Interessant dabei: Eine Impression wird auch hier nur für einen angezeigten Link gewertet.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen Digitaleffects

Online Solutions Group

Farbentour

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px