SEOs können laut Google eine wichtige Rolle spielen, wenn es um den Zugriff auf Websites durch KI-Tools geht.
Während der Zugriff auf Websites durch die Crawler von Suchmaschinen, aber auch von anderen Bots wie zum Beispiel von SEO-Tools durch die robots.txt gesteuert wird, genügt das bereits heute schon längst nicht mehr. Der Grund: die steigende Nachfrage nach neuen Daten durch KI-Tools und die damit verbundenen Sprachmodelle. Die Anbieter dieser Tools crawlen Webseiten und versorgen ihre Modelle auf diese Weise mit zusätzlichen Informationen - und das oftmals, ohne die Quellen zu nennen oder gar zu kompensieren.
Sie benötigen SEO-Beratung für Ihre Website?
Daher ist es von entscheidender Bedeutung, die Zugriffe auf Websites besser zu kontrollieren und zu kanalisieren. Bei dieser Aufgabe kommt SEOs eine wichtige Rolle zu. Darauf wies jetzt John Müller von Google hin. Auf LinkedIn schrieb er, die Schnittstelle zwischen KI und SEO bringe technische SEOs in eine gute Position zur Gestaltung von Regeln und Entscheidungen für ihre Kunden. Sie wüssten, wie die Mechanismen funktionieren, sie können entscheiden und dabei erkennen helfen, was sinnvoll ist.
Die robots.txt ermögliche die Kontrolle über vernünftige Crawler und Anwendungen. Für alle anderen könne es nötig sein, zum Beispiel per CDN oder Hoster bestimmte Zugriffe zu blockieren. Man könne sogar standardmäßig alle Zugriffe per robots.txt blockieren. SEOs können Website-Betreibern bei deren Entscheidungen helfen und diese implementieren.
Die neuen Systeme würden in einer ähnlichen Weise wie Suchmaschinen funktionieren. Die Kontrollmechanismen seien daher ähnlich. Allerdings würden die neuen Systeme die Daten manchmal auf eine ganz andere Weise verwenden. Das sei erlernbar, auch wenn es sich schnell ändere. Ausgehend von dem, was man sich von Suchmaschinen verspreche, könne man sich überlegen, ob die neuen Systeme etwas Vergleichbares leisten und auf dieser Grundlage entscheiden, ob man mit ihnen interagieren möchte. Besonders als technischer SEO könne man bei diesen Entscheidungen unterstützen und passende Lösungen implementieren. Das könne es den neuen Tools zum Beispiel erleichtern zu crawlen. Dazu gehören zum Beispiel interne Links, sauberes HTML usw. Aufgrund von Erfahrung können SEOs auch dann sagen: "Es kommt darauf an".
SEOs haben also zukünftig und auch heute schon mehr zu tun, als sich nur mit Suchmaschinen zu beschäftigen. Durch die wachsende Bedeutung von KI-Tools und Generative AI und deren Datenhunger ergibt sich ein weiteres, vielleicht weitaus größeres Handlungsgebiet, das gerade auch in technischer Hinsicht besonders anspruchsvoll ist. Dabei stehen verschiedene technische Steuerungsmöglichkeiten zur Verfügung. So hatte zum Beispiel zuletzt der CDN-Anbieter Cloudflare eine Lösung vorgestellt, mit der man den Zugriff von KI-Tools auf Websites steuern kann.
