La risposta breve
Cloudflare ha disaccoppiato «comparire in ricerca» da «alimentare l'addestramento IA» e ha reso il blocco l'impostazione predefinita per i crawler che si rifiutano di distinguere i due. Dal 15 settembre 2026 una nuova impostazione «Vieta l'addestramento IA» consente ai proprietari dei siti di restare indicizzati dai motori di ricerca impedendo al contempo ai crawler a uso misto di usare i loro contenuti per addestrare i modelli. Su nuovi domini, nuovi siti e account del piano gratuito, addestramento e recupero da agenti sono ora bloccati per impostazione predefinita sulle pagine finanziate dalla pubblicità, e i crawler a uso misto che non dichiarano la finalità vi sono bloccati del tutto.
Lettura pratica: il web passa da «un bot, una decisione» alla scansione a finalità dichiarata, dove accesso di ricerca, di agenti e di addestramento sono negoziabili separatamente. Buona notizia se pubblichi contenuti, cattiva se il tuo prodotto dipende silenziosamente dallo scraping di editori finanziati dalla pubblicità. I team che costruiscono agenti IA e pipeline RAG dovrebbero presumere che la copertura del web in tempo reale continuerà a restringersi e progettare per questo ora, non dopo che un indice di recupero si è silenziosamente obsoleto.
Cosa ha cambiato Cloudflare
Finora un proprietario di sito su Cloudflare aveva una scelta grossolana: consentire un crawler o bloccarlo. Funzionava quando un bot faceva un solo lavoro. Si è rotta quando lo stesso crawler ne ha svolti diversi — indicizzare una pagina per la ricerca classica, recuperarla in tempo reale per rispondere alla domanda di un agente IA e acquisirla per addestrare un modello. Bloccare un tale crawler «a uso misto» per fermare l'addestramento significava anche sparire dalla ricerca; consentirlo per restare in ricerca significava acconsentire all'addestramento. Gli editori non avevano modo di dire sì a uno e no all'altro.
L'aggiornamento del 15 settembre aggiunge quell'anello mancante. Una nuova opzione «Vieta l'addestramento IA» pubblica una preferenza leggibile dalle macchine — in pratica «indicizzami, non addestrarti su di me» — che i crawler partecipanti si impegnano a rispettare. Scegliendola, i crawler a uso misto degli operatori che onorano il segnale continuano a scansionare per la ricerca, mentre i crawler di solo addestramento delle aziende che tengono separate queste funzioni vengono bloccati senza toccare il tuo posizionamento. Cloudflare nomina esplicitamente i crawler di addestramento di Amazon, Anthropic, Meta e OpenAI come quelli che può bloccare in modo pulito, perché questi operatori gestiscono bot distinti per ricerca e addestramento.
Cloudflare ha anche irrigidito le impostazioni predefinite. I controlli esistenti «Blocca» e «Blocca sulle pagine con pubblicità» ora si applicano ai crawler a uso misto — tra cui Applebot, Bingbot e Googlebot —, cosa che prima non avveniva. Per i nuovi clienti Cloudflare, i siti aggiunti di recente e ogni sito del piano gratuito che non ha modificato la propria dashboard, i crawler di addestramento e di agenti sono bloccati per impostazione predefinita sulle pagine finanziate dalla pubblicità, mentre i crawler di ricerca restano consentiti. I clienti paganti esistenti mantengono la configurazione attuale e possono attivarla quando vogliono. Le pagine pubblicitarie sono al centro per una ragione semplice: è lì che vivono notizie, recensioni, prezzi e coperture di prodotto — esattamente i contenuti che gli agenti IA vogliono di più.
Il patto «Accountable»
Il meccanismo che rende praticabile «restare in ricerca, saltare l'addestramento» è una nuova designazione che Cloudflare chiama «Accountable». Un operatore la conquista rispettando quattro impegni: consentire ai proprietari dei siti di rifiutare l'addestramento IA tramite robots.txt o uno standard simile; consentire loro di rifiutare i riassunti IA, direttamente o tramite Cloudflare, con obiettivo inizio 2027; fornire visibilità a livello di URL sulle pagine usate per l'addestramento, accanto alle metriche di ricerca; e garantire che rifiutare l'addestramento non danneggerà il posizionamento in ricerca di un sito. Apple, Google e Microsoft si sono impegnate su questi principi, così Applebot, Bingbot e Googlebot contano come Accountable e mantengono l'accesso di ricerca sotto la nuova impostazione.
Quest'ultimo impegno è il nodo. La ragione per cui gli editori hanno tollerato così a lungo la scansione a uso misto era la paura: rifiuta l'addestramento e potresti perdere silenziosamente traffico di ricerca della stessa azienda. Disaccoppiare i due — e mettervi dietro una promessa nominata — elimina la situazione di ostaggio. Spinge inoltre ogni operatore di crawler verso uno standard: dichiara la finalità di ogni richiesta e onora la preferenza a essa collegata. Gli operatori che non vogliono separare le proprie funzioni sono i più esposti ai nuovi blocchi predefiniti.
Accanto ai controlli di scansione, Cloudflare cambia il modo in cui il denaro si muove. Il precedente «Pay Per Crawl» addebitava alle aziende di IA ogni recupero di pagina da parte di un bot. Il sostituto, «Pay Per Use», lanciato con partner tra cui Ceramic.ai e You.com, paga gli editori quando il loro contenuto viene effettivamente usato in una risposta o in un risultato IA anziché semplicemente recuperato. Cloudflare afferma che oltre la metà del traffico dei crawler IA recupera di nuovo pagine invariate, bruciando banda degli editori senza valore; legare il pagamento all'uso anziché al recupero dovrebbe risolverlo. L'AD Matthew Prince ha inquadrato l'urgenza senza mezzi termini: «Ora che la maggioranza del traffico su Internet non è umana, dobbiamo andare oltre e agire più in fretta perché possa emergere un ecosistema sostenibile.»
Cosa significa per i team software in Italia
Se costruisci prodotti che leggono il web in tempo reale, il titolo è che lo scraping gratuito, silenzioso e generalizzato dei contenuti finanziati dalla pubblicità sta finendo. Cloudflare sta davanti a una grande fetta del web e le sue impostazioni predefinite fanno norma. Un sistema RAG o un agente che attinge in silenzio da siti di notizie, marketplace e pagine di recensioni vedrà la copertura erodersi man mano che più domini ereditano le impostazioni più severe. Il design durevole è il recupero a finalità dichiarata: gestire crawler separati e identificabili per ricerca, agenti e addestramento; leggere e onorare robots.txt e le nuove preferenze; e costruire ripieghi verso feed su licenza, dati di prima parte e API di partner per le fonti che rifiutano. È esattamente questa resilienza che integriamo nei nostri sviluppi web e di piattaforma, invece di scoprirla quando un indice si obsoleta.
Se gestisci un sito ricco di contenuti o un SaaS dietro Cloudflare, la notizia è soprattutto leva — ma solo se la usi. Ora puoi restare visibile in Google, Bing e nella ricerca Apple dicendo al contempo no ai crawler di addestramento, e puoi misurare l'uso IA dei tuoi contenuti invece di regalarlo. Il rovescio: i nuovi siti e le proprietà del piano gratuito ereditano ora impostazioni più severe; un team che avvia un dominio nuovo dovrebbe verificare che i crawler di ricerca desiderati siano ancora consentiti e che nessun accesso IA realmente necessario sia stato disattivato per impostazione predefinita. Una revisione delle impostazioni di cinque minuti batte un calo di traffico a sorpresa.
C'è anche un livello di governance, e in Italia è particolarmente concreto. Poter dichiarare e far rispettare come terze parti usano i tuoi contenuti si intreccia con le aspettative di consenso, trasparenza e tracciabilità dei dati che attraversano il GDPR e il regolamento europeo sull'IA (AI Act). Il Garante per la protezione dei dati personali è stato tra le autorità più attive in Europa sull'IA — ha avviato istruttorie e sanzionato l'uso non trasparente di dati per addestrare i modelli — e il parere 28/2024 del Comitato europeo per la protezione dei dati (EDPB) sui modelli di IA rende una policy di scansione documentata una posizione difendibile, non un optional. A ciò si aggiunge il diritto d'autore sui contenuti editoriali, che disciplina già l'uso commerciale del materiale degli editori. «Sappiamo quali bot toccano i nostri contenuti e a quali condizioni» diventa la risposta standard che dovresti poter dare.
Cosa fare ora
- Rivedi le tue impostazioni Cloudflare su bot e crawler IA. Decidi in modo consapevole tra accesso di ricerca, di agenti e di addestramento. Non ereditare l'impostazione predefinita per caso — e se gestisci nuovi domini o siti del piano gratuito, conferma che le impostazioni più severe corrispondano alla tua intenzione.
- Separa e identifica i tuoi crawler. Se il tuo prodotto recupera il web, gestisci bot distinti per ricerca, agenti e addestramento con user-agent chiari, così che editori — e Cloudflare — possano consentire gli usi a cui hai diritto e tu non venga confuso con un crawler a uso misto non responsabile.
- Verifica la tua catena di fornitura dei dati. Mappa da quali fonti dipendono il tuo indice RAG e i tuoi agenti, segnala gli editori finanziati dalla pubblicità più propensi a limitare l'accesso e predisponi feed su licenza, API di partner o dati di prima parte come ripieghi prima che la copertura cali.
- Onora le preferenze dichiarate nel codice. Leggi robots.txt e i nuovi segnali di addestramento/riassunto nei tuoi fetcher, mettili in cache e fallisci in modo chiuso (fail closed) quando una fonte rifiuta. Tratta la conformità come una funzionalità, non un ripensamento.
- Metti per iscritto la tua policy di scansione. Documenta come il tuo prodotto scansiona e come le tue proprietà consentono la scansione. È l'artefatto che chiederanno revisori, autorità e acquirenti enterprise — e quello che trasforma questa svolta da rischio a segnale di fiducia.
Domande frequenti
Cosa è cambiato in Cloudflare il 15 settembre 2026?
Cloudflare ha modificato il comportamento predefinito dei suoi controlli sui crawler IA. Una nuova impostazione «Vieta l'addestramento IA» consente a un sito di restare indicizzato per la ricerca impedendo al contempo ai crawler a uso misto di usare i suoi contenuti per addestrare i modelli. Le opzioni esistenti «Blocca» e «Blocca sulle pagine con pubblicità» ora si applicano anche ai crawler a uso misto come Applebot, Bingbot e Googlebot, cosa che prima non avveniva. Le nuove impostazioni predefinite riguardano i nuovi clienti, i nuovi siti e tutti i siti del piano gratuito che non hanno cambiato le impostazioni; i clienti paganti esistenti mantengono la configurazione.
Che cos'è la designazione «Accountable» di Cloudflare?
È un'etichetta per gli operatori di crawler che soddisfano quattro condizioni: consentono ai proprietari dei siti di rifiutare l'addestramento IA tramite robots.txt o uno standard simile; consentono di rifiutare i riassunti IA (direttamente o tramite Cloudflare, previsto per inizio 2027); forniscono visibilità a livello di URL sulle pagine usate per l'addestramento, oltre alle metriche di ricerca; e garantiscono che rifiutare l'addestramento non influirà sul posizionamento in ricerca. Apple, Google e Microsoft sono idonei, così Applebot, Bingbot e Googlebot mantengono l'accesso di ricerca anche quando un sito seleziona «Vieta l'addestramento IA».
Che impatto ha su agenti IA e sistemi RAG che recuperano pagine web?
I crawler di agenti e di addestramento sono i più esposti a limitazioni. Su nuovi domini e siti del piano gratuito, addestramento e recupero da agenti sono bloccati per impostazione predefinita sulle pagine finanziate dalla pubblicità, e i crawler a uso misto che non dichiarano la finalità vi sono bloccati del tutto. Se il tuo prodotto costruisce un indice RAG o esegue agenti che attingono a contenuti web in tempo reale, aspettati una copertura in calo degli editori finanziati dalla pubblicità, separa i tuoi crawler di ricerca, di agenti e di addestramento così che ciascuno sia identificabile, rispetta le preferenze di robots.txt e pianifica dati su licenza o di prima parte dove la scansione in tempo reale è bloccata.
Che cos'è il Pay Per Use e in cosa differisce dal Pay Per Crawl?
Il Pay Per Crawl addebitava alle aziende di IA ogni recupero di pagina da parte di un crawler. Il Pay Per Use, lanciato con partner tra cui Ceramic.ai e You.com, paga invece gli editori quando il loro contenuto viene effettivamente usato in una risposta o in un risultato IA, non semplicemente recuperato. Il cambiamento riflette i dati di Cloudflare secondo cui oltre la metà del traffico dei crawler IA recupera di nuovo pagine invariate, sprecando banda degli editori, e lega il pagamento al momento in cui il contenuto crea valore per il prodotto IA.
Devo modificare subito le mie impostazioni Cloudflare?
Se sei un cliente pagante esistente, le tue impostazioni restano invariate e nulla si rompe automaticamente, ma dovresti comunque rivedere i controlli su bot e crawler IA e scegliere in modo consapevole tra accesso di ricerca, di agenti e di addestramento. Nuovi domini, nuovi siti e siti del piano gratuito ereditano le impostazioni predefinite più severe; verifica quindi che i crawler di ricerca desiderati siano ancora consentiti e che nessun accesso IA da cui dipendi sia stato bloccato. I team su entrambi i lati della relazione di scansione dovrebbero verificare quali dei propri crawler sono identificabili e quali editori da cui dipendono hanno iniziato a limitare l'accesso.
Fonti
Cloudflare Blog — Have it both ways: stay discoverable in search while disallowing AI training (15 settembre 2026)
TechCrunch — Cloudflare’s new policy pushes AI companies to pay for publishers’ content
Help Net Security — Cloudflare changes AI crawler access rules