Gratis værktøj

Gratis AI-generator til crawler-regler til robots.txt

Generatoren udarbejder robots.txt-reglerne for hver enkelt AI-crawler – lige fra træningsbots til AI-søgning – samt den maskinlæsbare tekst og fravalgsmuligheden for datamining, som EU-domstolene lægger vægt på.

Opret dine regler for AI-crawleren Udarbejd retningslinjer for acceptabel brug
  • regler i robots.txt
  • EU-undtagelse (TDMRep)
  • Indholdssignaler
  • Bestemmelser

Opret dine regler for AI-crawleren.

Udfør de 3 trin, og kopier resultaterne i trin 4.

Fortæl os om din hjemmeside

Én pr. linje, f.eks. /admin/ eller /cart/. Søgemaskinerne springer dem også over.

Vælg, hvad AI-crawlere må gøre

AI-træning

Webcrawlere, der indsamler sider til træning af AI-modeller.

Vælg crawlere én ad gangen
AI-søgning og svar

Webcrawlere, der indekserer sider, så AI-assistenter kan citere dem og linke til dem i deres svar.

Vælg crawlere én ad gangen
Henter, når en person beder om det

Fetchers, der åbner en side, fordi en person har spurgt en AI-assistent om den.

Vælg crawlere én ad gangen

Vælg, hvor reglerne skal gælde

Blokerede crawlere holdes ude af
Hvem får lov til at læse din hjemmeside?

Hver AI-crawler, som dine regler definerer den. Blokerede crawlere er markeret.

Kopier dine AI-crawler-regler

Gennemgå reglerne, inden du offentliggør dem. De følger efter dine svar ovenfor.

Indtast din webadresses URL for at se dine robots.txt-regler.

Generatoren udarbejder regler på baggrund af dine svar, den dokumentation om webcrawlere, som de enkelte AI-virksomheder offentliggør, W3C’s TDMRep-protokol og Cloudflares politik for indholdssignaler. Dette udgør ikke juridisk rådgivning. robots.txt er en anmodning, som velopdragne webcrawlere følger, og domstolene er stadig uenige om, hvad der regnes for en gyldig fravalgsmulighed.

Hvor skal du tilføje dine AI-crawler-regler?

Webcrawlere læser reglerne på faste adresser på din hjemmeside. Tilføj hver fil én gang, og tjek den derefter med et par måneders mellemrum.

  1. robots.txt. Upload filen til rodmappen på dit websted, under /robots.txt. Tilføj AI-grupperne til din nuværende fil, hvis du har en, og behold kun én User-agent: *-gruppe.

  2. Din hjemmesideplatform. Uanset om du bruger WordPress, Shopify, Wix eller Squarespace, skal du redigere robots.txt i SEO-indstillingerne eller via et SEO-plugin, da det er platformen, der opretter filen.

  3. tdmrep.json. Upload filen til /.well-known/tdmrep.json. På nogle servere skal du selv oprette mappen .well-known.

  4. Dine vilkår. Indsæt bestemmelsen i dine vilkår og betingelser, så reservationen fremgår både i tekstform og i filerne.

  5. Dit CDN eller din host. Aktiver bot-indstillingerne hos din host eller dit CDN, f.eks. Cloudflare, for at blokere crawlere, der ignorerer robots.txt.

  6. En påmindelse. Tjek listen over crawlere med et par måneders mellemrum: AI-virksomheder tilføjer og omdøber crawlere.

Reglerne

Hvad reglerne kræver.

Hver række angiver en lov, en afgørelse eller en standard, hvornår den finder anvendelse, og hvad den betyder for din mulighed for at fravælge.

Love, afgørelser og standarder for at fravælge AI-træning, hvornår de hver især finder anvendelse, og hvad en fravalg betyder
Lov, afgørelse eller standard Hvornår det finder anvendelse Hvad det betyder for dig
EU’s ophavsretsdirektiv (2019/790), artikel 4, stk. 3 Tekst- og datamining af indhold, der offentliggøres online i EU, herunder træning af kunstig intelligens. Loven tillader enhver at udtrække lovligt tilgængeligt indhold, medmindre rettighedshaveren forbeholder sig retten hertil på en passende måde, f.eks. ved hjælp af maskinlæsbare midler for onlineindhold.
EU’s AI-lov (2024/1689), artikel 53, og adfærdskodeksen for generel kunstig intelligens Udbydere af generelle AI-modeller, der markedsføres i EU, fra den 2. august 2025. Udbydere skal have en politik, der sikrer, at de finder og respekterer forbehold af rettigheder. Underskriverne af kodeksen anvender crawlere, der følger robots.txt, og gør en rimelig indsats for at overholde andre maskinlæsbare protokoller.
Kneschke mod LAION, Hamborgs højere landsret, 10. december 2025 Et forbehold, der udelukkende er angivet i hjemmesidens vilkår. Der verserer en appel ved Forbundsdomstolen. Retten fastslog, at det ikke var påvist, at forbeholdet formuleret i naturligt sprog var maskinlæsbart, da billederne blev kopieret. Brug robots.txt eller TDMRep – ikke kun ord.
DPG Media mod HowardsHome, Amsterdam Byret, 30. oktober 2024 En robots.txt-fil, der nævner nogle AI-crawlere. Der verserer en klagesag. At blokere navngivne bots gav ikke nogen beskyttelse mod en crawler, der ikke var nævnt i filen. En generel undtagelse, såsom TDMRep, dækker crawlere, man ikke kender til.
Sagen »Like Company mod Google«, EU-Domstolen, sag C-250/25 Under behandling. Henvist af en ungarsk domstol i 2025. Retten skal afgøre, om træning af en AI-model udgør kopiering af indhold, og om undtagelsen vedrørende tekst- og datamining finder anvendelse i dette tilfælde.
Robots Exclusion Protocol (RFC 9309) Enhver crawler, der vælger at følge den. Webcrawlere læser /robots.txt og følger den gruppe, der er angivet i filen, eller *-gruppen. Det er en anmodning, ikke en adgangskontrol.

Generator til retningslinjer for acceptabel brug

Forbyd scraping i jeres retningslinjer for acceptabel brug.

TermsFeeds generator til retningslinjer for acceptabel brug indeholder en valgfri regel, der forbyder scraping, crawling eller udtrækning af data fra din hjemmeside eller tjeneste ved hjælp af automatiserede midler, medmindre det sker via de funktioner, du stiller til rådighed. Tilføj klausulen om AI-træning som din egen regel.

Udarbejd retningslinjer for acceptabel brug

Ofte stillede spørgsmål.

Svar på almindelige spørgsmål om blokering af AI-crawlere.

Hvordan forhindrer jeg AI-crawlere i at indhente data fra min hjemmeside?

Tilføj en gruppe for hver AI-crawler til din robots.txt-fil med Disallow: /, og lad gruppen User-agent: * være åben for søgemaskiner.

  • Giv hver crawler et navn, f.eks. GPTBot, ClaudeBot eller CCBot.
  • Tilføj EU's fravalg for tekst- og datamining (TDMRep), som dækker crawlere, du ikke navngiver.
  • Brug botindstillingerne hos din host eller dit CDN til crawlere, der ignorerer robots.txt.

Vil det skade min placering i søgeresultaterne, hvis jeg blokerer AI-crawlere?

Nej, det har ingen indflydelse på søgemaskinerne at blokere AI-træningscrawlere.

  • Google siger, at Google-Extended ikke påvirker Google-søgningen eller placeringerne.
  • Apple siger, at sider, der blokerer Applebot-Extended, stadig vises i søgeresultaterne.
  • Hvis du blokerer AI-søge-crawlere, såsom OAI-SearchBot eller PerplexityBot, fjernes dine sider fra disse AI-svar.

Stopper robots.txt AI-crawlere?

robots.txt er en anmodning. Velopdragne crawlere følger den, og der er intet, der tvinger de andre til det.

  • OpenAI, Meta, Perplexity og Amazon oplyser, at deres fetchers, der åbner en side for en bruger, ikke altid følger robots.txt.
  • Nogle crawlere skjuler deres navn.
  • For virkelig at blokere crawlere skal du bruge bot-indstillingerne hos din host eller dit CDN eller bruge firewall-regler.

Hvad er Google-Extended og Applebot-Extended?

Det er navne i robots.txt, der styrer AI-træningen, ikke separate crawlere.

  • Googlebot og Applebot crawler dine sider som normalt.
  • Hvis du blokerer Google-Extended, holdes siderne ude af Gemini-træningen og -grundlæggelsen.
  • Ved at blokere Applebot-Extended holdes de ude af modeltræningen hos Apple.

Hvad er TDMRep?

TDMRep er en W3C-fællesskabsprotokol til reservering af rettigheder til tekst- og datamining i maskinlæsbar form.

  • Den bruger en fil i /.well-known/tdmrep.json, et HTML-metatag eller en HTTP-header.
  • tdm-reservation: 1 betyder, at rettighederne er forbeholdt.
  • Det gælder for alle AI-virksomheder, så det dækker også crawlere, der ikke er nævnt i din robots.txt-fil.

Er AI Crawler Rules Generator gratis?

Ja, AI Crawler Rules Generator er gratis.

  • Generatoren kræver ingen konto.
  • Crawlerlisten stammer fra den dokumentation, som de enkelte AI-virksomheder offentliggør.

Opret dine regler med generatoren ovenfor.