Die kurze Antwort
Cloudflare hat „in der Suche auftauchen“ von „KI-Training füttern“ entkoppelt und das Blockieren zum Default für jene Crawler gemacht, die sich weigern, beides auseinanderzuhalten. Seit dem 15. September 2026 lässt eine neue Einstellung „KI-Training verbieten“ Website-Betreiber von Suchmaschinen indexiert bleiben und verhindert zugleich, dass Mehrzweck-Crawler ihre Inhalte zum Modell-Training nutzen. Auf neuen Domains, neuen Sites und Free-Tarif-Konten sind Training und Agenten-Abruf auf werbefinanzierten Seiten nun standardmäßig blockiert, und Mehrzweck-Crawler, die ihren Zweck nicht deklarieren, werden dort komplett blockiert.
Praktisch gelesen: Das Web bewegt sich von „ein Bot, eine Entscheidung“ hin zum Crawling mit deklariertem Zweck, bei dem Such-, Agenten- und Trainingszugriff getrennt verhandelbar sind. Gute Nachricht, wenn Sie Inhalte veröffentlichen — schlechte, wenn Ihr Produkt still auf das Scraping werbefinanzierter Publisher setzt. Teams, die KI-Agenten und RAG-Pipelines bauen, sollten annehmen, dass die Live-Web-Abdeckung weiter enger wird, und jetzt dafür entwerfen — nicht erst, wenn ein Retrieval-Index still veraltet.
Was Cloudflare geändert hat
Bislang hatte ein Website-Betreiber bei Cloudflare eine grobe Wahl: einen Crawler erlauben oder blockieren. Das funktionierte, solange ein Bot eine Aufgabe erledigte. Es zerbrach, als derselbe Crawler mehrere übernahm — eine Seite für die klassische Suche indexieren, sie live abrufen, um die Frage eines KI-Agenten zu beantworten, und sie zum Modell-Training einlesen. Einen solchen „Mehrzweck“-Crawler zu blockieren, um Training zu stoppen, hieß auch aus der Suche zu verschwinden; ihn für die Suche zuzulassen, hieß dem Training zuzustimmen. Publisher konnten zum einen nicht Ja und zum anderen nicht Nein sagen.
Das Update vom 15. September fügt diese fehlende Mitte hinzu. Eine neue Option „KI-Training verbieten“ veröffentlicht eine maschinenlesbare Präferenz — faktisch „indexiere mich, trainiere nicht auf mir“ —, die teilnehmende Crawler zu respektieren zusagen. Wählen Sie sie, crawlen Mehrzweck-Crawler von Betreibern, die das Signal ehren, weiter für die Suche, während reine Trainings-Crawler von Firmen, die diese Funktionen getrennt halten, blockiert werden, ohne Ihr Ranking anzutasten. Cloudflare nennt ausdrücklich Trainings-Crawler von Amazon, Anthropic, Meta und OpenAI als solche, die es sauber blockieren kann, weil diese Betreiber getrennte Such- und Trainings-Bots betreiben.
Cloudflare hat außerdem die Defaults verschärft. Die bestehenden Steuerungen „Blockieren“ und „Auf Seiten mit Werbung blockieren“ gelten nun für Mehrzweck-Crawler — darunter Applebot, Bingbot und Googlebot —, was zuvor nicht der Fall war. Für neue Cloudflare-Kunden, neu hinzugefügte Sites und jede Free-Tarif-Site, die ihr Dashboard nicht geändert hat, sind Trainings- und Agenten-Crawler auf werbefinanzierten Seiten standardmäßig blockiert, während Such-Crawler erlaubt bleiben. Zahlende Bestandskunden behalten ihre aktuelle Konfiguration und können bei Bedarf zustimmen. Werbefinanzierte Seiten stehen aus einem einfachen Grund im Fokus: Dort leben News, Reviews, Preise und Produktberichte — genau die Inhalte, die KI-Agenten am meisten wollen.
Der „Accountable“-Deal
Der Mechanismus, der „in der Suche bleiben, Training überspringen“ praktikabel macht, ist eine neue Kennzeichnung, die Cloudflare „Accountable“ nennt. Ein Betreiber verdient sie, indem er vier Zusagen erfüllt: Website-Betreiber dem KI-Training per robots.txt oder ähnlichem Standard widersprechen lassen; ihnen erlauben, KI-Zusammenfassungen abzulehnen, direkt oder über Cloudflare, mit Ziel Anfang 2027; Transparenz auf URL-Ebene bieten, welche Seiten fürs Training genutzt wurden, samt Suchmetriken; und garantieren, dass ein Widerspruch gegen das Training dem Suchranking nicht schadet. Apple, Google und Microsoft haben sich zu diesen Prinzipien verpflichtet, sodass Applebot, Bingbot und Googlebot als Accountable gelten und ihren Suchzugriff unter der neuen Einstellung behalten.
Diese letzte Zusage ist der Kern. Der Grund, warum Publisher Mehrzweck-Crawling so lange duldeten, war Angst: Verweigere Training, und du könntest still Suchtraffic derselben Firma verlieren. Die beiden zu entkoppeln — und ein benanntes Versprechen dahinterzusetzen — beseitigt die Geiselsituation. Es drängt außerdem jeden Crawler-Betreiber zu einem Standard: deklariere, wofür jede Anfrage ist, und ehre die daran geknüpfte Präferenz. Betreiber, die ihre Funktionen nicht trennen wollen, sind den neuen Default-Sperren am stärksten ausgesetzt.
Neben den Crawl-Steuerungen ändert Cloudflare, wie Geld fließt. Das frühere „Pay Per Crawl“ berechnete KI-Firmen jeden Seitenabruf eines Bots. Der Ersatz, „Pay Per Use“, der mit Partnern wie Ceramic.ai und You.com ausrollt, bezahlt Publisher, wenn ihr Inhalt tatsächlich in einer KI-Antwort oder einem Ergebnis genutzt wird, statt bloß abgerufen. Cloudflare sagt, mehr als die Hälfte des KI-Crawler-Traffics rufe unveränderte Seiten erneut ab und verbrenne Publisher-Bandbreite ohne Wert; Zahlung an Nutzung statt Abruf zu koppeln, soll das beheben. CEO Matthew Prince formulierte die Dringlichkeit unverblümt: „Nun, da der Großteil des Internet-Traffics nicht-menschlich ist, müssen wir weiter gehen und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann.“
Was das für Softwareteams im DACH-Raum bedeutet
Wenn Sie Produkte bauen, die das Live-Web lesen, lautet die Schlagzeile: freies, stilles, pauschales Scraping werbefinanzierter Inhalte endet. Cloudflare sitzt vor einem großen Teil des Webs, und seine Defaults setzen Normen. Ein RAG-System oder Agent, der still von Nachrichtenseiten, Marktplätzen und Bewertungsseiten zieht, wird eine erodierende Abdeckung erleben, je mehr Domains die strengeren Einstellungen erben. Das belastbare Design ist Retrieval mit deklariertem Zweck: getrennte, identifizierbare Crawler für Suche, Agent und Training betreiben; robots.txt und die neuen Präferenzen lesen und ehren; und Fallbacks auf lizenzierte Feeds, First-Party-Daten und Partner-APIs für Quellen bauen, die widersprechen. Genau diese Resilienz backen wir in Web- und Plattform-Builds ein, statt sie zu entdecken, wenn ein Index veraltet.
Betreiben Sie eine inhaltsstarke Site oder SaaS hinter Cloudflare, ist die Nachricht überwiegend Hebelwirkung — aber nur, wenn Sie sie nutzen. Sie können jetzt in Google, Bing und der Apple-Suche sichtbar bleiben und Trainings-Crawlern zugleich Nein sagen, und Sie können die KI-Nutzung Ihrer Inhalte abrechnen, statt sie zu verschenken. Der Haken: Neue Sites und Free-Tarif-Properties erben nun strengere Defaults; ein Team, das eine frische Domain hochzieht, sollte prüfen, dass die gewünschten Such-Crawler weiter erlaubt sind und kein wirklich benötigter KI-Zugriff standardmäßig abgeschaltet wurde. Eine fünfminütige Einstellungs-Prüfung schlägt einen überraschenden Traffic-Einbruch.
Es gibt auch eine Governance-Ebene, und im DACH-Raum ist sie besonders greifbar. Zu erklären und durchzusetzen, wie Dritte Ihre Inhalte nutzen dürfen, greift ineinander mit den Erwartungen an Einwilligung, Transparenz und Datenherkunft aus DSGVO und EU-KI-Verordnung (AI Act). Die Stellungnahme 28/2024 des Europäischen Datenschutzausschusses (EDSA) zu KI-Modellen und die Prüfungen deutscher Aufsichtsbehörden zum Web-Scraping fürs KI-Training machen eine dokumentierte Crawler-Policy zur verteidigbaren Position statt zum Nice-to-have — und passen zur BSI-Linie, Zulieferketten und Datenflüsse nachweisbar zu kontrollieren. Für deutsche Verlage kommt das Leistungsschutzrecht für Presseverleger hinzu, das die kommerzielle Nutzung ihrer Inhalte ohnehin schon absteckt. „Wir wissen, welche Bots unsere Inhalte anfassen und zu welchen Bedingungen“ wird zur Standard-Antwort, die Sie geben können sollten.
Was jetzt zu tun ist
- Prüfen Sie Ihre Cloudflare-Bot- und KI-Crawler-Einstellungen. Entscheiden Sie bewusst zwischen Such-, Agenten- und Trainingszugriff. Erben Sie den Default nicht aus Versehen — und wenn Sie neue Domains oder Free-Tarif-Sites betreiben, bestätigen Sie, dass die strengeren Defaults Ihrer Absicht entsprechen.
- Trennen und kennzeichnen Sie Ihre eigenen Crawler. Ruft Ihr Produkt das Web ab, betreiben Sie getrennte Such-, Agenten- und Trainings-Bots mit klaren User-Agents, damit Publisher — und Cloudflare — die Nutzungen erlauben können, zu denen Sie berechtigt sind, und Sie nicht als nicht rechenschaftspflichtiger Mehrzweck-Crawler erfasst werden.
- Auditieren Sie Ihre Daten-Lieferkette. Kartieren Sie, von welchen Quellen Ihr RAG-Index und Ihre Agenten abhängen, markieren Sie die werbefinanzierten Publisher, die den Zugriff am ehesten einschränken, und stellen Sie lizenzierte Feeds, Partner-APIs oder First-Party-Daten als Fallbacks bereit, bevor die Abdeckung sinkt.
- Ehren Sie deklarierte Präferenzen im Code. Lesen Sie robots.txt und die neuen Trainings-/Zusammenfassungs-Signale in Ihren Fetchern, cachen Sie sie und schließen Sie im Zweifel (fail closed), wenn eine Quelle widerspricht. Behandeln Sie Compliance als Feature, nicht als nachträglichen Gedanken.
- Schreiben Sie Ihre Crawler-Policy nieder. Dokumentieren Sie, wie Ihr Produkt crawlt und wie Ihre Properties Crawling erlauben. Es ist das Artefakt, nach dem Prüfer, Aufsichtsbehörden und Enterprise-Käufer fragen — und jenes, das diesen Wandel von einem Risiko in ein Vertrauenssignal verwandelt.
Häufig gestellte Fragen
Was hat sich am 15. September 2026 bei Cloudflare geändert?
Cloudflare hat das Standardverhalten seiner KI-Crawler-Steuerung geändert. Eine neue Einstellung „KI-Training verbieten“ lässt eine Seite für die Suche indexiert bleiben und verhindert zugleich, dass Mehrzweck-Crawler ihre Inhalte zum Modell-Training nutzen. Die bestehenden Optionen „Blockieren“ und „Auf Seiten mit Werbung blockieren“ gelten nun auch für Mehrzweck-Crawler wie Applebot, Bingbot und Googlebot, was zuvor nicht der Fall war. Die neuen Defaults gelten für neue Kunden, neue Sites und alle Free-Tarif-Sites, die ihre Einstellungen nicht geändert haben; zahlende Bestandskunden behalten ihre Konfiguration.
Was ist Cloudflares Label „Accountable“ für Crawler?
Es ist ein Label für Crawler-Betreiber, die vier Bedingungen erfüllen: Sie lassen Website-Betreiber dem KI-Training per robots.txt oder ähnlichem Standard widersprechen; sie lassen den Widerspruch gegen KI-Zusammenfassungen zu (direkt oder über Cloudflare, angepeilt für Anfang 2027); sie bieten Transparenz auf URL-Ebene, welche Seiten fürs Training genutzt wurden, plus Suchmetriken; und sie garantieren, dass ein Widerspruch gegen das Training das Suchranking nicht beeinträchtigt. Apple, Google und Microsoft erfüllen die Kriterien, sodass Applebot, Bingbot und Googlebot den Suchzugriff behalten, auch wenn eine Seite „KI-Training verbieten“ wählt.
Wie wirkt sich das auf KI-Agenten und RAG-Systeme aus, die Webseiten abrufen?
Agenten- und Trainings-Crawler werden am ehesten eingeschränkt. Auf neuen Domains und Free-Tarif-Sites sind Training und Agenten-Abruf auf werbefinanzierten Seiten standardmäßig blockiert, und Mehrzweck-Crawler, die ihren Zweck nicht deklarieren, werden dort vollständig blockiert. Baut Ihr Produkt einen RAG-Index oder betreibt Agenten, die Live-Webinhalte ziehen, rechnen Sie mit sinkender Abdeckung werbefinanzierter Publisher, trennen Sie Ihre Such-, Agenten- und Trainings-Crawler, sodass jeder identifizierbar ist, respektieren Sie robots.txt-Präferenzen und planen Sie lizenzierte oder First-Party-Daten, wo Live-Crawling blockiert ist.
Was ist Pay Per Use und wie unterscheidet es sich von Pay Per Crawl?
Pay Per Crawl berechnete KI-Firmen jeden Seitenabruf durch einen Crawler. Pay Per Use, das mit Partnern wie Ceramic.ai und You.com ausrollt, bezahlt Publisher stattdessen, wenn ihr Inhalt tatsächlich in einer KI-Antwort oder einem Ergebnis genutzt wird, nicht bloß abgerufen. Der Wechsel spiegelt Cloudflares Daten wider, wonach mehr als die Hälfte des KI-Crawler-Traffics unveränderte Seiten erneut abruft und Publisher-Bandbreite verbrennt, und koppelt die Zahlung an den Moment, in dem Inhalt Wert fürs KI-Produkt schafft.
Muss ich meine Cloudflare-Einstellungen jetzt sofort ändern?
Sind Sie zahlender Bestandskunde, bleiben Ihre Einstellungen unverändert und nichts bricht automatisch, aber Sie sollten Ihre Bot- und KI-Crawler-Steuerung dennoch prüfen und bewusst zwischen Such-, Agenten- und Trainingszugriff wählen. Neue Domains, neue Sites und Free-Tarif-Sites erben die strengeren Defaults; prüfen Sie also, ob die gewünschten Such-Crawler weiter erlaubt sind und kein KI-Zugriff blockiert wurde, auf den Sie angewiesen sind. Teams auf beiden Seiten der Crawl-Beziehung sollten prüfen, welche eigenen Crawler identifizierbar sind und welche Publisher, von denen sie abhängen, den Zugriff einzuschränken begonnen haben.
Quellen
Cloudflare Blog — Have it both ways: stay discoverable in search while disallowing AI training (15. September 2026)
TechCrunch — Cloudflare’s new policy pushes AI companies to pay for publishers’ content
Help Net Security — Cloudflare changes AI crawler access rules