Cloudflare blockiert KI-Crawler, die sich standardmäßig hinter Such-Bots verstecken

Cloudflares neue Standard-Crawler-Richtlinie trat am 15. September in Kraft und blockiert automatisch KI-Trainings- und Agenten-Bots auf jeder Seite mit Werbung, sofern der Crawler nicht klar erklärt, welchem der drei Zwecke er dient. Die Änderung schließt eine Lücke, die es Crawlern erlaubte, sich als Suchindexierer auszugeben und gleichzeitig Inhalte für das KI-Modelltraining zu sammeln – eine Praxis, über die sich Verlage beschweren, seit große Sprachmodelle begonnen haben, das offene Web in großem Maßstab zu durchforsten.

Drei Kategorien, eine Durchsetzungsregel

Cloudflare ordnet KI-Bot-Traffic nun drei Kategorien zu. Suche umfasst das Crawlen, das Inhalte indexiert, um später Fragen dazu zu beantworten – die Art von Aktivität, die Website-Betreiber seit Jahrzehnten im Austausch für Verweis-Traffic dulden. Agent umfasst automatisiertes Verhalten, das in Echtzeit im Auftrag einer Person handelt – Tools wie OpenAIs ChatGPT-User oder Anthropics Claude, wenn dieser direkt einen Browser für einen Nutzer steuert. Training umfasst Crawler, die Inhalte gezielt aufnehmen, um ein Modell zu trainieren oder feinabzustimmen, wobei die Daten dauerhaft in das System einfließen, statt nur bei Bedarf abgerufen zu werden.

Die Durchsetzungslogik macht das Ganze folgenreich: Erfüllt ein einzelner Crawler mehrere Funktionen – Googles eigener Crawler etwa kombiniert Suche mit Training –, wendet Cloudflare nun durchgehend die jeweils restriktivste Regel an. Ein Bot, der Suchindexierung mit dem Sammeln von Trainingsdaten vermischt, wird zu Blockierungszwecken durchgängig als Trainings-Crawler behandelt, selbst bei Anfragen, bei denen er nominell nur indexiert.

Was Website-Betreiber tatsächlich kontrollieren

Verlage können die Zugänglichkeit von Inhalten nun unabhängig von den Standardeinstellungen der Bot-Kategorie festlegen: Sofortzugriff erlaubt einem Crawler die Interaktion, ohne Inhalte zu speichern oder wiederzuverwenden, Referenzzugriff erlaubt Indexierung, Auszüge und Rückverlinkung (der neue Standard für werbefinanzierte Seiten), und Vollzugriff erlaubt Zusammenfassung und Reproduktion. Die granularen Einstellungen selbst wurden bereits am 1. Juli eingeführt; der 15. September ist der Tag, an dem die neue Standardhaltung – Trainings- und Agenten-Bots blockiert, Such-Bots erlaubt – automatisch für Neukunden, neu erstellte Websites und alle bestehenden Kunden im kostenlosen Tarif gilt. Zahlende Kunden, die bereits eigene Einstellungen konfiguriert haben, behalten diese unverändert.

Warum das über die Richtlinie eines einzelnen CDN hinaus wichtig ist

Cloudflare steht vor einem großen Teil der werbefinanzierten Verlagsinhalte im Web, weshalb diese Standardänderung faktisch zu einem Industriestandard wird statt zur Hausregel eines einzelnen Unternehmens – Websites, die ihre Cloudflare-Einstellungen nie anfassen, beginnen ab heute einfach automatisch, KI-Trainings-Crawler zu blockieren. Für KI-Labore erhöht das die praktischen Kosten der groß angelegten Sammlung von Web-Trainingsdaten: Crawler müssen ihren Zweck nun ehrlich deklarieren oder riskieren, komplett blockiert zu werden, statt sich unbemerkt im Suchindexierungs-Traffic mitzuschleichen. Es ist zudem eine Wette darauf, dass Verlage den dadurch entstehenden Hebel nutzen, um Zahlungen auszuhandeln – Cloudflares breiterer Pay-Per-Crawl-Marktplatz, der es Verlagen ermöglicht, für den KI-Zugriff auf ihre Inhalte Geld zu verlangen, wurde genau für diesen Moment gebaut.