Gratis tool

Gratis AI-crawler-regelsgenerator voor robots.txt

De generator genereert de robots.txt-regels voor elke AI-crawler, van trainingsbots tot AI-zoekmachines, inclusief de machinaal leesbare tekst en de opt-out voor datamining waarnaar EU-rechtbanken op zoek zijn.

Stel je regels voor de AI-crawler op Een beleid voor aanvaardbaar gebruik opstellen
  • regels in robots.txt
  • EU-opt-out (TDMRep)
  • Inhoudssignalen
  • Bepalingen

Stel je regels voor de AI-crawler op.

Voer de 3 stappen uit en kopieer de resultaten in stap 4.

Vertel ons eens iets over je website

Eén per regel, zoals /admin/ of /cart/. Zoekmachines negeren deze ook.

Kies wat AI-crawlers mogen doen

AI-training

Crawlers die pagina’s verzamelen om AI-modellen te trainen.

Kies de crawlers één voor één
Zoeken en antwoorden met AI

Crawlers die pagina’s indexeren zodat AI-assistenten deze in hun antwoorden kunnen citeren en ernaar kunnen linken.

Kies de crawlers één voor één
Haal het op als iemand erom vraagt

Fetchers die een pagina openen omdat iemand er een AI-assistent naar heeft gevraagd.

Kies de crawlers één voor één

Kies waar de regels van toepassing zijn

Geblokkeerde crawlers blijven buiten
Wie bekijkt je website?

Elke AI-crawler wordt behandeld volgens uw regels. Geblokkeerde crawlers worden gemarkeerd.

Kopieer de regels van je AI-crawler

Lees de regels nog eens door voordat je ze publiceert. Ze staan onder je antwoorden hierboven.

Voer de URL van je website in om de regels in je robots.txt-bestand te bekijken.

De generator stelt regels op op basis van uw antwoorden, de crawlerdocumentatie die elk AI-bedrijf publiceert, het W3C TDMRep-protocol en het Cloudflare Content Signals-beleid. Dit is geen juridisch advies. robots.txt is een verzoek waaraan zich goed functionerende crawlers houden, en rechtbanken zijn het nog steeds niet eens over wat als een geldige opt-out geldt.

Waar u de regels voor uw AI-crawler kunt toevoegen.

Crawlers lezen de regels op vaste adressen op uw website. Voeg elk bestand één keer toe en controleer het vervolgens om de paar maanden.

  1. robots.txt. Plaats het bestand in de hoofdmap van je website, onder /robots.txt. Voeg de AI-groepen toe aan je huidige bestand, als je dat hebt, en behoud één enkele User-agent: *-groep.

  2. Je websiteplatform. Op WordPress, Shopify, Wix of Squarespace kun je het bestand robots.txt bewerken via de SEO-instellingen of met een SEO-plug-in, aangezien het platform dit bestand aanmaakt.

  3. tdmrep.json. Upload het bestand naar /.well-known/tdmrep.json. Op sommige hosts moet je de map .well-known zelf aanmaken.

  4. Uw voorwaarden. Voeg de clausule toe aan uw Algemene Voorwaarden, zodat de reservering zowel in tekstvorm als in de bestanden wordt vastgelegd.

  5. Je CDN of hostingprovider. Schakel de bot-instellingen van je hostingprovider of CDN, zoals Cloudflare, in om crawlers te blokkeren die het robots.txt-bestand negeren.

  6. Even ter herinnering: controleer de lijst met crawlers om de paar maanden, want AI-bedrijven voegen crawlers toe en geven ze een andere naam.

De regels

Wat de regels voorschrijven.

In elke rij staat de naam van een wet, een uitspraak of een norm, wanneer deze van toepassing is, en wat dit betekent voor uw recht op afmelding.

Wetten, uitspraken en normen met betrekking tot het zich onttrekken aan AI-training, wanneer deze van toepassing zijn en wat dit betekent voor iemand die zich onttrekt
Wet, uitspraak of norm Wanneer dit van toepassing is Wat dit voor u betekent
EU-richtlijn inzake auteursrecht (2019/790), artikel 4, lid 3 Tekst- en datamining van online gepubliceerde inhoud in de EU, inclusief het trainen van AI. De wet staat iedereen toe om legaal toegankelijke inhoud te minen, tenzij de rechthebbende zich dit recht op passende wijze voorbehoudt, bijvoorbeeld via machinaal leesbare middelen voor online inhoud.
EU-AI-wet (2024/1689), artikel 53, en de gedragscode voor AI voor algemene doeleinden Aanbieders van AI-modellen voor algemene doeleinden die vanaf 2 augustus 2025 op de EU-markt worden gebracht. Aanbieders moeten een beleid hebben om voorbehouden van rechten op te sporen en te respecteren. Ondertekeners van de code maken gebruik van crawlers die de robots.txt-bestanden volgen en doen redelijke inspanningen om andere machinaal leesbare protocollen na te leven.
Kneschke tegen LAION, Hooggerechtshof van Hamburg, 10 december 2025 Een voorbehoud dat uitsluitend in de gebruiksvoorwaarden van de website is opgenomen. Er loopt een beroep bij het Federale Hof van Justitie. De rechtbank oordeelde dat niet was aangetoond dat de reservering in natuurlijke taal machinaal leesbaar was op het moment dat de afbeeldingen werden gekopieerd. Gebruik robots.txt of TDMRep, niet alleen woorden.
DPG Media tegen HowardsHome, Rechtbank Amsterdam, 30 oktober 2024 Een robots.txt-bestand waarin enkele AI-crawlers worden genoemd. Er loopt een beroepsprocedure. Het blokkeren van specifiek genoemde bots hield geen voorbehoud in ten aanzien van een crawler die niet in het bestand werd genoemd. Een algemeen voorbehoud, zoals TDMRep, geldt ook voor crawlers waarvan je het bestaan niet kent.
Like Company tegen Google, Hof van Justitie van de EU, zaak C-250/25 In behandeling. Doorverwezen door een Hongaarse rechtbank in 2025. De rechtbank zal uitspraak doen over de vraag of het trainen van een AI-model neerkomt op het kopiëren van inhoud, en of de uitzondering inzake tekst- en datamining hierop van toepassing is.
Robots Exclusion Protocol (RFC 9309) Elke crawler die ervoor kiest om deze te volgen. Crawlers lezen het bestand /robots.txt en volgen de groep die daarin wordt genoemd, of de *-groep. Het is een verzoek, geen toegangscontrole.

Generator voor een beleid inzake aanvaardbaar gebruik

Neem een verbod op scraping op in uw beleid inzake aanvaardbaar gebruik.

De TermsFeed-generator voor beleidsregels inzake aanvaardbaar gebruik bevat een optionele regel die het met geautomatiseerde middelen scrapen, crawlen of extraheren van gegevens van uw website of dienst verbiedt, behalve via de functies die u zelf aanbiedt. Voeg de clausule inzake AI-training toe als uw eigen regel.

Een beleid voor aanvaardbaar gebruik opstellen

Veelgestelde vragen.

Antwoorden op veelgestelde vragen over het blokkeren van AI-crawlers.

Hoe kan ik AI-crawlers van mijn website weren?

Voeg voor elke AI-crawler een groep toe aan je robots.txt-bestand met Disallow: /, en laat de groep User-agent: * open voor zoekmachines.

  • Geef elke crawler een naam, zoals GPTBot, ClaudeBot of CCBot.
  • Voeg de EU-opt-out voor tekst- en datamining (TDMRep) toe, die geldt voor crawlers die je niet specifiek noemt.
  • Gebruik de botinstellingen van je host of CDN voor crawlers die robots.txt negeren.

Heeft het blokkeren van AI-crawlers een negatieve invloed op mijn positie in de zoekresultaten?

Nee, het blokkeren van crawlers voor AI-training heeft geen invloed op zoekmachines.

  • Google zegt dat Google-Extended geen invloed heeft op Google Search of de rangschikking.
  • Apple zegt dat pagina's die Applebot-Extended blokkeren nog steeds in de zoekresultaten verschijnen.
  • Het blokkeren van AI-zoekcrawlers, zoals OAI-SearchBot of PerplexityBot, zorgt ervoor dat uw pagina's niet meer in die AI-antwoorden worden weergegeven.

Houdt robots.txt AI-crawlers tegen?

robots.txt is een verzoek. Crawlers die zich netjes gedragen, houden zich eraan, maar de anderen worden daar niet toe gedwongen.

  • OpenAI, Meta, Perplexity en Amazon zeggen dat hun fetchers, die een pagina voor een gebruiker openen, zich niet altijd aan robots.txt houden.
  • Sommige crawlers verbergen hun naam.
  • Om crawlers daadwerkelijk te blokkeren, gebruik je de bot-instellingen van je host of CDN, of firewallregels.

Wat zijn Google-Extended en Applebot-Extended?

Het zijn robots.txt-vermeldingen die de training van AI regelen, geen afzonderlijke crawlers.

  • Googlebot en Applebot crawlen uw pagina's zoals gewoonlijk.
  • Door Google-Extended te blokkeren, worden de pagina's uitgesloten van de Gemini-training en -grounding.
  • Door Applebot-Extended te blokkeren, worden ze uitgesloten van de modeltraining bij Apple.

Wat is TDMRep?

TDMRep is een W3C-gemeenschapsprotocol voor het reserveren van rechten op tekst- en datamining in een machinaal leesbare vorm.

  • Het maakt gebruik van een bestand in /.well-known/tdmrep.json, een HTML-metatag of een HTTP-header.
  • tdm-reservation: 1 betekent dat de rechten zijn voorbehouden.
  • Dit geldt voor elk AI-bedrijf, dus het omvat ook crawlers die niet in uw robots.txt-bestand worden genoemd.

Is de AI Crawler Rules Generator gratis?

Ja, de AI Crawler Rules Generator is gratis.

  • Voor de generator is geen account nodig.
  • De lijst met crawlers is afkomstig uit de documentatie die elk AI-bedrijf publiceert.

Stel je regels samen met de bovenstaande generator.