Einführung des weltweit ersten Dienstes, der KI daran hindert, Websites ohne Erlaubnis zu crawlen

Cloudflare ist der erste Internet-Infrastrukturanbieter, der KI-Crawlern standardmäßig den Zugriff auf Inhalte ohne Erlaubnis oder Bezahlung verwehrt. (Foto: Cloudflare)

Dementsprechend wird ab Juli 2025 allen Domänen, die Cloudflare (US)-Dienste nutzen, standardmäßig der Zugriff von KI-Datensammlern verweigert, es sei denn, es liegt eine ausdrückliche Zustimmung des Site-Eigentümers vor.

Diese neue Richtlinie soll verhindern, dass Unternehmen im Bereich der künstlichen Intelligenz (KI) Text- und Bildinhalte von Websites willkürlich „scannen“, um KI-Modelle zu trainieren, ohne den Dateneigentümer um Erlaubnis zu fragen oder dafür zu bezahlen.

Zu dieser bahnbrechenden Entscheidung sagte Matthew Prince, Mitbegründer und CEO von Cloudflare: „Wenn das Internet im Zeitalter der KI überleben soll, muss es den Inhaltserstellern die Kontrolle zurückgeben und gleichzeitig KI-Unternehmen dabei helfen, Innovationen zu entwickeln und ein neues Wirtschaftsmodell aufzubauen, das für alle funktioniert – für die Ersteller, die Verbraucher, die zukünftigen KI-Gründer und die Zukunft des Webs selbst.“

Seit Jahrzehnten werden Inhalte im Internet in der Erwartung erstellt, dass Suchmaschinen sie indizieren und Benutzer zurück zur ursprünglichen Site leiten, wodurch Verkehr und Werbeeinnahmen generiert werden.

Cloudflare zufolge bricht dieses Modell jedoch zusammen, da viele moderne KI-Systeme Inhalte wie Texte, Artikel und Bilder „aussaugen“, um Antworten zu generieren, ohne die Besucher zur ursprünglichen Datenquelle zu führen. Dadurch verlieren die Entwickler sowohl an Umsatz als auch an Motivation zum Schaffen.

Mithilfe der Cloudflare-Richtlinie können Websites KI-Crawler nicht nur ganz einfach mit einem Klick blockieren, sondern KI-Unternehmen müssen auch transparent machen, wie sie die Daten verwenden, beispielsweise für Modelltraining, Suche oder Inferenz, bevor sie um Zugriff bitten.

Viele große Medien- und Technologieunternehmen weltweit haben Cloudflares Schritt unterstützt. Roger Lynch, CEO der Condé Nast Group, bezeichnete dies als wichtigen Schritt hin zu einem fairen Werteaustausch im Internet, der Urheber schützt, Qualitätsjournalismus fördert und KI-Unternehmen zur Verantwortung zieht.

Dem gesamten Ökosystem aus Entwicklern, Plattformen, Webbenutzern und Crawlern werde es besser gehen, wenn die Datenerfassung transparenter und besser kontrolliert werde, sagte Steve Huffman, Mitbegründer und CEO von Reddit.

Mit einem der größten Netzwerke der Welt verwaltet und schützt Cloudflare mittlerweile den Datenverkehr von 20 % der weltweiten Websites. Seit September 2024 bietet das Unternehmen über einer Million Kunden die Möglichkeit, KI-Crawler zu blockieren. Im nächsten Schritt, im Juli 2025, wird diese Option zum Standard für alle neuen Domains, sodass Inhaltseigentümer von Anfang an die Kontrolle haben.

Dementsprechend müssen KI-Unternehmen nun die ausdrückliche Erlaubnis von Websites einholen, bevor sie Daten sammeln. Bei der Anmeldung bei Cloudflare wird jede neue Domain gefragt, ob sie KI-Crawler zulassen möchte. Kunden haben so von Anfang an die Wahl, ob sie KI-Crawlern Zugriff gewähren oder nicht.

Diese Änderung bedeutet, dass alle neuen Domains standardmäßig kontrolliert werden und Websitebesitzer das Opt-out nicht mehr selbst konfigurieren müssen. Kunden können ihre Einstellungen jederzeit einfach überprüfen und die Datenerfassung zulassen, wenn sie den freien Zugriff auf ihre Inhalte wünschen.

Darüber hinaus arbeitet Cloudflare auch an der Entwicklung eines Standardprotokolls mit, das KI-Bots bei der Authentifizierung und Websites bei der Identifizierung dieser Bots unterstützt und so die Voraussetzungen für mehr Transparenz und Verantwortlichkeit im Content-Ökosystem schafft.

TRUNG HUNG

Quelle: https://nhandan.vn/ra-mat-dich-vu-dau-tien-tren-the-gioi-chan-ai-thu-thap-du-lieu-website-khi-chua-duoc-phep-post891533.html