Strumento gratuito

Generatore gratuito di regole per crawler basate sull'intelligenza artificiale per il file robots.txt

Il generatore crea le regole del file robots.txt per ogni crawler basato sull'intelligenza artificiale, dai bot di addestramento alla ricerca basata sull'intelligenza artificiale, e include il testo leggibile da macchine e l'opzione di rinuncia al data mining richiesta dai tribunali dell'UE.

Crea le regole per il tuo crawler basato sull'intelligenza artificiale Genera una politica di utilizzo accettabile
  • Regole del file robots.txt
  • Deroga UE (TDMRep)
  • Segnali di contenuto
  • Clausola relativa alle condizioni

Crea le regole per il tuo crawler basato sull'intelligenza artificiale.

Completa i 3 passaggi e copia i risultati al passaggio 4.

Raccontaci del tuo sito web

Uno per riga, ad esempio /admin/ o /cart/. Anche i motori di ricerca li ignorano.

Scegli quali azioni possono compiere i crawler basati sull'intelligenza artificiale

Formazione sull'intelligenza artificiale

Crawler che raccolgono pagine per addestrare modelli di intelligenza artificiale.

Scegli i crawler uno per uno
Ricerca e risposte basate sull'intelligenza artificiale

Crawler che indicizzano le pagine affinché gli assistenti basati sull’intelligenza artificiale possano citarle e inserire i relativi link nelle risposte.

Scegli i crawler uno per uno
Recupera i dati quando una persona ne fa richiesta

Programmi che aprono una pagina perché qualcuno ha chiesto informazioni al riguardo a un assistente IA.

Scegli i crawler uno per uno

Scegli dove applicare le regole

I crawler bloccati non possono accedere a
Chi visita il tuo sito web?

Ogni crawler AI, in base alle regole da te impostate. I crawler bloccati sono contrassegnati.

Copia le regole del tuo crawler basato sull'intelligenza artificiale

Controlla le regole prima di pubblicarle. Si trovano dopo le tue risposte qui sopra.

Inserisci l'URL del tuo sito web per visualizzare le regole del file robots.txt.

Il generatore elabora le regole sulla base delle risposte fornite dall'utente, della documentazione sui crawler pubblicata da ciascuna azienda specializzata in IA, del protocollo TDMRep del W3C e della Content Signals Policy di Cloudflare. Non si tratta di una consulenza legale. Il file robots.txt rappresenta una richiesta che i crawler "ben educati" rispettano, e i tribunali non hanno ancora raggiunto un accordo su cosa costituisca un valido opt-out.

Dove aggiungere le regole del tuo crawler basato sull'intelligenza artificiale.

I crawler leggono le regole presenti a indirizzi fissi sul tuo sito web. Aggiungi ogni file una sola volta, poi controllalo ogni pochi mesi.

  1. robots.txt. Carica il file nella directory principale del tuo sito web, all'indirizzo /robots.txt. Se disponi già di un file, aggiungi i gruppi relativi all'intelligenza artificiale e mantieni un unico gruppo User-agent: *.

  2. La piattaforma del tuo sito web. Su WordPress, Shopify, Wix o Squarespace, modifica il file robots.txt nelle impostazioni SEO o tramite un plugin SEO, poiché è la piattaforma a generare il file.

  3. tdmrep.json. Carica il file in /.well-known/tdmrep.json. Su alcuni host devi creare tu stesso la cartella .well-known.

  4. Le tue condizioni. Aggiungi la clausola ai tuoi Termini e condizioni, in modo che la prenotazione sia riportata sia per esteso che nei file.

  5. Il tuo CDN o il tuo host. Attiva le impostazioni relative ai bot del tuo host o del tuo CDN, come Cloudflare, per bloccare i crawler che ignorano il file robots.txt.

  6. Un promemoria. Controlla l'elenco dei crawler ogni pochi mesi: le aziende che si occupano di intelligenza artificiale aggiungono nuovi crawler e ne rinominano alcuni.

Le regole

Cosa prevedono le regole.

Ogni riga indica una legge, una sentenza o una norma, quando è applicabile, e cosa comporta per la tua rinuncia.

Leggi, sentenze e norme relative alla possibilità di rinunciare all’addestramento dell’IA, i casi in cui ciascuna di esse si applica e cosa comporta tale rinuncia
Legge, sentenza o norma Quando si applica Cosa significa per te
Direttiva UE sul diritto d’autore (2019/790), articolo 4, paragrafo 3 Analisi testuale e dei dati relativi ai contenuti pubblicati online nell’UE, compreso l’addestramento dell’intelligenza artificiale. La legge consente a chiunque di estrarre contenuti legalmente accessibili, a meno che il titolare dei diritti non si riservi tale diritto in modo adeguato, ad esempio tramite mezzi leggibili da macchina per i contenuti online.
Legge dell'UE sull'IA (2024/1689), articolo 53, e Codice di condotta sull'IA per scopi generici Fornitori di modelli di IA per uso generico immessi sul mercato dell'UE a partire dal 2 agosto 2025. I fornitori devono adottare una politica volta a individuare e rispettare le riserve di diritti. I firmatari del Codice utilizzano crawler che rispettano il file robots.txt e compiono ogni ragionevole sforzo per attenersi ad altri protocolli leggibili da macchine.
Kneschke contro LAION, Tribunale regionale superiore di Amburgo, 10 dicembre 2025 Una riserva formulata esclusivamente nei termini del sito web. È pendente un ricorso dinanzi alla Corte federale di giustizia. Il tribunale ha ritenuto che, al momento della copia delle immagini, non fosse stato dimostrato che la riserva formulata in linguaggio naturale fosse leggibile da una macchina. Utilizzate il file robots.txt o TDMRep, non solo parole.
DPG Media contro HowardsHome, Tribunale distrettuale di Amsterdam, 30 ottobre 2024 Un file robots.txt che elenca alcuni crawler basati sull'intelligenza artificiale. È in corso un ricorso. Il blocco dei bot specificati non garantiva alcuna protezione nei confronti di un crawler non menzionato nel file. Una clausola di esclusione generale, come TDMRep, copre i crawler di cui non si è a conoscenza.
Like Company contro Google, Corte di giustizia dell’Unione europea, causa C-250/25 In sospeso. Rinviato da un tribunale ungherese nel 2025. Sarà il tribunale a stabilire se l'addestramento di un modello di intelligenza artificiale costituisca una copia di contenuti e se l'eccezione relativa al text mining e al data mining sia applicabile in tal caso.
Protocollo di esclusione dei robot (RFC 9309) Qualsiasi crawler che decida di seguirlo. I crawler leggono il file /robots.txt e seguono il gruppo indicato nel nome, oppure il gruppo *. Si tratta di una richiesta, non di un controllo degli accessi.

Generatore di politiche di utilizzo accettabile

Inserisci il divieto di scraping nella tua Politica di utilizzo accettabile.

Il generatore di politiche di utilizzo accettabile di TermsFeed prevede una regola facoltativa che vieta lo scraping, il crawling o l'estrazione di dati dal tuo sito web o servizio tramite mezzi automatizzati, salvo che attraverso le funzionalità da te fornite. Aggiungi la clausola relativa all'addestramento dell'IA come regola personalizzata.

Genera una politica di utilizzo accettabile

Domande frequenti.

Risposte alle domande più frequenti sul blocco dei crawler basati sull'intelligenza artificiale.

Come posso impedire ai crawler basati sull'intelligenza artificiale di accedere al mio sito web?

Aggiungi al tuo file robots.txt un gruppo per ciascun crawler AI con Disallow: / e mantieni aperto il gruppo User-agent: * per i motori di ricerca.

  • Assegna un nome a ciascun crawler, ad esempio GPTBot, ClaudeBot o CCBot.
  • Aggiungi l'opt-out dell'UE per il text and data mining (TDMRep), che copre i crawler che non hai specificato.
  • Utilizza le impostazioni dei bot del tuo host o CDN per i crawler che ignorano il file robots.txt.

Bloccare i crawler basati sull'intelligenza artificiale potrebbe influire negativamente sul mio posizionamento nei motori di ricerca?

No, bloccare i crawler utilizzati per l'addestramento dell'IA non influisce sui motori di ricerca.

  • Google afferma che Google-Extended non influisce su Google Search né sui posizionamenti.
  • Apple afferma che le pagine che bloccano Applebot-Extended continuano ad apparire nei suoi risultati di ricerca.
  • Il blocco dei crawler di ricerca basati sull’intelligenza artificiale, come OAI-SearchBot o PerplexityBot, comporta la rimozione delle tue pagine da tali risposte generate dall’intelligenza artificiale.

Il file robots.txt blocca i crawler basati sull'intelligenza artificiale?

Il file robots.txt è una richiesta. I crawler che si comportano correttamente la rispettano, mentre nulla obbliga gli altri a farlo.

  • OpenAI, Meta, Perplexity e Amazon affermano che i loro bot, che aprono una pagina per conto di un utente, non seguono sempre il file robots.txt.
  • Alcuni crawler nascondono il proprio nome.
  • Per bloccare davvero i crawler, usa le impostazioni relative ai bot del tuo host o del tuo CDN, oppure le regole del firewall.

Cosa sono Google-Extended e Applebot-Extended?

Si tratta di nomi presenti nel file robots.txt che controllano l'addestramento dell'IA, non di crawler distinti.

  • Googlebot e Applebot eseguono la scansione delle tue pagine come al solito.
  • Bloccando Google-Extended si impedisce che le pagine vengano utilizzate per l'addestramento e il grounding di Gemini.
  • Bloccando Applebot-Extended si impedisce che vengano incluse nell'addestramento dei modelli di Apple.

Che cos’è TDMRep?

TDMRep è un protocollo della comunità W3C per la riservazione dei diritti relativi al text mining e al data mining in formato leggibile da macchina.

  • Utilizza un file in /.well-known/tdmrep.json, un meta tag HTML o un'intestazione HTTP.
  • tdm-reservation: il valore 1 indica che i diritti sono riservati.
  • Si applica a tutte le aziende che si occupano di IA, quindi copre anche i crawler che non sono menzionati nel tuo file robots.txt.

Il generatore di regole per crawler basati sull'intelligenza artificiale è gratuito?

Sì, il generatore di regole AI Crawler è gratuito.

  • Il generatore non richiede la creazione di un account.
  • L'elenco dei crawler proviene dalla documentazione pubblicata da ciascuna azienda specializzata in IA.

Crea le tue regole con il generatore qui sopra.