Outil gratuit

Générateur gratuit de règles pour les robots d'indexation IA (fichier robots.txt)

Le générateur rédige les règles du fichier robots.txt pour chaque robot d'indexation basé sur l'IA, qu'il s'agisse de robots d'entraînement ou de recherche par IA, ainsi que le texte lisible par machine et la clause de refus de l'exploration de données que les tribunaux de l'UE exigent.

Définissez les règles de votre robot d'indexation basé sur l'IA Générer une politique d'utilisation acceptable
  • règles du fichier robots.txt
  • Clause d'exemption de l'UE (TDMRep)
  • Signaux de contenu
  • Clause relative aux conditions générales

Définissez les règles de votre robot d'indexation basé sur l'IA.

Suivez les 3 étapes et copiez les résultats à l'étape 4.

Parlez-nous de votre site web

Un par ligne, comme /admin/ ou /cart/. Les moteurs de recherche les ignorent également.

Choisissez ce que les robots d'indexation basés sur l'IA sont autorisés à faire

Formation à l'IA

Des robots d'indexation qui collectent des pages pour entraîner des modèles d'IA.

Sélectionnez les robots d'indexation un par un
Recherche et réponses basées sur l'IA

Des robots d'indexation qui répertorient des pages afin que les assistants IA puissent les citer et y renvoyer dans leurs réponses.

Sélectionnez les robots d'indexation un par un
Va chercher quand quelqu'un le demande

Des outils qui ouvrent une page parce qu'une personne a posé une question à ce sujet à un assistant IA.

Sélectionnez les robots d'indexation un par un

Choisissez où les règles s'appliquent

Les robots d'indexation bloqués ne peuvent pas accéder à
Qui consulte votre site web ?

Chaque robot d'indexation IA, tel que défini par vos règles. Les robots d'indexation bloqués sont signalés.

Copiez vos règles de crawl IA

Relisez les règles avant de les publier. Elles font suite à vos réponses ci-dessus.

Saisissez l'URL de votre site web pour consulter les règles de votre fichier robots.txt.

Le générateur élabore des règles à partir de vos réponses, de la documentation relative aux robots d'indexation publiée par chaque entreprise spécialisée dans l'IA, du protocole TDMRep du W3C et de la politique « Content Signals » de Cloudflare. Il ne s'agit pas d'un avis juridique. Le fichier robots.txt est une demande que les robots d'indexation « bien élevés » respectent, et les tribunaux ne s'accordent toujours pas sur ce qui constitue un refus valide.

Où ajouter vos règles de crawl IA.

Les robots d'indexation lisent les règles situées à des adresses fixes sur votre site web. Ajoutez chaque fichier une seule fois, puis vérifiez-le tous les quelques mois.

  1. robots.txt. Téléversez le fichier à la racine de votre site web, à l'emplacement /robots.txt. Ajoutez les groupes d'IA à votre fichier actuel si vous en avez un, et conservez un seul groupe « User-agent: * ».

  2. Votre plateforme de site web. Que ce soit sur WordPress, Shopify, Wix ou Squarespace, modifiez le fichier robots.txt dans les paramètres SEO ou à l'aide d'un plugin SEO, car c'est la plateforme qui génère ce fichier.

  3. tdmrep.json. Téléchargez le fichier dans le répertoire /.well-known/tdmrep.json. Sur certains serveurs, vous devez créer vous-même le dossier .well-known.

  4. Vos conditions. Ajoutez cette clause à vos Conditions générales, afin que la réservation soit consignée par écrit ainsi que dans les fichiers.

  5. Votre CDN ou votre hébergeur. Activez les paramètres anti-bot de votre hébergeur ou de votre CDN, comme Cloudflare, afin de bloquer les robots d'indexation qui ignorent le fichier robots.txt.

  6. Petit rappel : vérifiez la liste des robots d'indexation tous les quelques mois : les entreprises spécialisées dans l'IA ajoutent et renomment régulièrement leurs robots d'indexation.

Les règles

Ce que prévoient les règles.

Chaque ligne indique le nom d'une loi, d'une décision judiciaire ou d'une norme, le cas échéant, ainsi que ses implications pour votre droit de désinscription.

Lois, décisions judiciaires et normes relatives au refus de participer à l'entraînement des IA, dans quels cas chacune s'applique, et ce que signifie ce refus
Loi, décision ou norme Dans les cas où cela s'applique Ce que cela signifie pour vous
Directive européenne sur le droit d'auteur (2019/790), article 4, paragraphe 3 Exploration de textes et de données issus de contenus publiés en ligne dans l'UE, y compris l'entraînement des modèles d'IA. La loi autorise toute personne à extraire des contenus légalement accessibles, sauf si le titulaire des droits se réserve ce droit de manière appropriée, par exemple au moyen d'un support lisible par machine pour les contenus en ligne.
Loi européenne sur l'IA (2024/1689), article 53, et Code de bonnes pratiques relatif à l'IA à usage général Fournisseurs de modèles d'IA à usage général mis sur le marché de l'UE à compter du 2 août 2025. Les fournisseurs doivent disposer d'une politique leur permettant d'identifier et de respecter les réserves de droits. Les signataires du code utilisent des robots d'indexation qui respectent le fichier robots.txt et s'efforcent, dans la mesure du raisonnable, de se conformer aux autres protocoles lisibles par machine.
Kneschke c. LAION, Cour d'appel de Hambourg, 10 décembre 2025 Une réserve formulée uniquement dans les conditions générales du site web. Un recours est en instance devant la Cour fédérale de justice. Le tribunal a estimé qu'il n'avait pas été démontré que la mention en langage naturel était lisible par une machine au moment où les images ont été copiées. Utilisez le fichier robots.txt ou TDMRep, et pas seulement des mots.
DPG Media c. HowardsHome, Tribunal d'instance d'Amsterdam, 30 octobre 2024 Un fichier robots.txt qui mentionne certains robots d'indexation basés sur l'IA. Un recours est en cours. Le blocage de certains bots ne conférait pas de droits à l'encontre d'un robot d'indexation qui n'était pas mentionné dans le fichier. Une clause générale, telle que « TDMRep », couvre les robots d'indexation dont vous ignorez l'existence.
Affaire Like Company c. Google, Cour de justice de l'Union européenne, affaire C-250/25 En attente. Affaire renvoyée par un tribunal hongrois en 2025. C'est le tribunal qui décidera si l'entraînement d'un modèle d'IA constitue une copie de contenu, et si l'exception relative à l'exploration de textes et de données s'applique dans ce cas.
Protocole d'exclusion des robots (RFC 9309) Tout robot d'indexation qui choisit de le suivre. Les robots d'indexation lisent le fichier /robots.txt et suivent le groupe qui les désigne, ou le groupe *. Il s'agit d'une recommandation, et non d'un contrôle d'accès.

Générateur de politique d'utilisation acceptable

Interdisez le « scraping » dans votre politique d'utilisation acceptable.

Le générateur de politique d'utilisation acceptable de TermsFeed propose une règle facultative qui interdit le scraping, le crawling ou l'extraction de données de votre site web ou de votre service par des moyens automatisés, sauf par le biais des fonctionnalités que vous mettez à disposition. Ajoutez la clause relative à l'entraînement de l'IA en tant que règle personnalisée.

Générer une politique d'utilisation acceptable

Foire aux questions.

Réponses aux questions courantes sur le blocage des robots d'indexation basés sur l'IA.

Comment puis-je empêcher les robots d'indexation basés sur l'IA d'accéder à mon site web ?

Ajoutez un groupe pour chaque robot d'indexation IA dans votre fichier robots.txt avec la directive Disallow: /, et laissez le groupe User-agent: * ouvert pour les moteurs de recherche.

  • Donnez un nom à chaque robot d'indexation, par exemple GPTBot, ClaudeBot ou CCBot.
  • Ajoutez la clause d'exclusion relative à l'exploration de textes et de données dans l'UE (TDMRep), qui s'applique aux robots d'exploration que vous n'avez pas nommés.
  • Utilisez les paramètres de gestion des bots de votre hébergeur ou de votre CDN pour les robots d'indexation qui ignorent le fichier robots.txt.

Le fait de bloquer les robots d'indexation basés sur l'IA risque-t-il de nuire à mon classement dans les résultats de recherche ?

Non, le blocage des robots d'indexation utilisés pour l'entraînement des IA n'a aucune incidence sur les moteurs de recherche.

  • Google affirme que Google-Extended n'a aucune incidence sur Google Search ni sur le classement des résultats.
  • Apple précise que les pages qui bloquent Applebot-Extended apparaissent toujours dans ses résultats de recherche.
  • Le blocage des robots d'indexation basés sur l'IA, tels que OAI-SearchBot ou PerplexityBot, supprime vos pages de ces réponses générées par l'IA.

Le fichier robots.txt empêche-t-il les robots d'indexation basés sur l'IA d'accéder au site ?

Le fichier robots.txt est une recommandation. Les robots d'indexation bien élevés la respectent, mais rien n'oblige les autres à le faire.

  • OpenAI, Meta, Perplexity et Amazon indiquent que leurs robots d'indexation, qui ouvrent une page pour un utilisateur, ne respectent pas toujours le fichier robots.txt.
  • Certains robots d'indexation masquent leur identité.
  • Pour bloquer efficacement les robots d'indexation, utilisez les paramètres de gestion des bots de votre hébergeur ou de votre CDN, ou encore les règles de votre pare-feu.

Que sont « Google-Extended » et « Applebot-Extended » ?

Il s'agit de noms figurant dans le fichier robots.txt qui contrôlent l'entraînement de l'IA, et non de robots d'exploration distincts.

  • Googlebot et Applebot explorent vos pages comme d'habitude.
  • Le blocage de « Google-Extended » empêche ces pages d'être utilisées pour l'entraînement et l'ancrage de Gemini.
  • Le blocage d’Applebot-Extended empêche ces pages d’être utilisées pour l’entraînement des modèles chez Apple.

Qu'est-ce que TDMRep ?

TDMRep est un protocole communautaire du W3C permettant de réserver des droits d'exploration de textes et de données sous une forme lisible par machine.

  • Il utilise un fichier situé à l'emplacement /.well-known/tdmrep.json, une balise méta HTML ou un en-tête HTTP.
  • La valeur « tdm-reservation: 1 » signifie que les droits sont réservés.
  • Il s'applique à toutes les entreprises spécialisées dans l'IA ; il couvre donc les robots d'exploration que votre fichier robots.txt ne mentionne pas.

Le générateur de règles AI Crawler est-il gratuit ?

Oui, le générateur de règles AI Crawler est gratuit.

  • Le générateur ne nécessite pas de compte.
  • La liste des robots d'indexation provient de la documentation publiée par chaque entreprise spécialisée dans l'IA.

Créez vos règles à l'aide du générateur ci-dessus.