Cloudflare hat ‘AI Crawl Control’ zur allgemeinen Nutzung bereitgestellt. Das Tool zielt darauf ab, Urhebern mehr Kontrolle über den Zugriff und die Nutzung ihrer Inhalte durch KI-Bots zu geben.
Bisher standen viele Content Creators vor der Entscheidung, KI-Crawler entweder zu blockieren oder den Zugriff ohne Vergütung zu erlauben. Cloudflare möchte mit AI Crawl Control einen neuen Kommunikationsweg zwischen Urhebern und KI-Crawlern schaffen.
Ein wesentliches Feature von AI Crawl Control ist die Möglichkeit, anpassbare 402 HTTP-Statuscodes zu versenden. Der 402-Statuscode ("Payment Required") dient als Brücke für kommerzielle Vereinbarungen. Wenn ein KI-Crawler auf Inhalte zugreifen möchte, kann der Websitebetreiber eine individuelle 402-Nachricht senden, die Kontaktinformationen für Lizenzanfragen enthält. Beispiele hierfür sind Nachrichten wie "Um auf diesen Inhalt zuzugreifen, senden Sie eine E-Mail an
Sie benötigen SEO-Beratung für Ihre Website?
Jetzt unverbindlich anfragenZukünftig sollen weitere Parameter in die 402-Antworten integriert werden können, die Crawlern Informationen über den Wert, die Aktualität und die Lizenzbedingungen der Inhalte direkt übermitteln.
Die erweiterten Funktionen von AI Crawl Control stehen zahlenden Cloudflare-Kunden zur Verfügung. Diese Kunden können einzelne Bots auswählen, die sie blockieren möchten, und dabei die konfigurierbaren 402-Antworten senden. Das ist nicht auf Nutzer von Pay Per Crawl beschränkt. Diese Funktion von Cloudflare, die sich noch in der Beta-Phase befindet, bietet zusätzlich eine Infrastruktur zur automatischen Monetarisierung des Crawler-Zugriffs mit transparenten, nutzungsbasierten Preisen.
