Gratis verktøy

Gratis AI-generator for crawler-regler til robots.txt

Generatoren skriver «robots.txt»-reglene for hver AI-crawler, fra opplæringsboter til AI-søk, samt den maskinlesbare teksten og muligheten til å velge bort datamining – noe EU-domstolene legger vekt på.

Opprett regler for AI-crawleren din Opprett retningslinjer for akseptabel bruk
  • regler i robots.txt
  • EU-unntak (TDMRep)
  • Innholdssignaler
  • Bestemmelser

Opprett regler for AI-crawleren din.

Gjennomfør de tre trinnene og kopier resultatene i trinn 4.

Fortell oss om nettstedet ditt

Én per linje, for eksempel /admin/ eller /cart/. Søkemotorer hopper også over dem.

Velg hva AI-crawlere har lov til å gjøre

AI-opplæring

Nettkravlere som samler inn sider for å trene AI-modeller.

Velg søkeroboter én etter én
AI-søk og svar

Søkeroboter som indekserer sider slik at AI-assistenter kan sitere og lenke til dem i svarene sine.

Velg søkeroboter én etter én
Henter når noen spør

Søkemotorer som åpner en side fordi noen har spurt en AI-assistent om den.

Velg søkeroboter én etter én

Velg hvor reglene skal gjelde

Blokkerte søkeroboter holdes utenfor
Hvem får lese nettsiden din?

Hver AI-crawler, slik reglene dine definerer den. Blokkerte crawlere er merket.

Kopier reglene for AI-crawleren din

Gå gjennom reglene før du publiserer dem. De følger etter svarene dine ovenfor.

Skriv inn nettadressen til nettstedet ditt for å se reglene i robots.txt-filen.

Generatoren utarbeider regler basert på dine svar, dokumentasjonen om nettkravlere som hvert AI-selskap publiserer, W3C TDMRep-protokollen og Cloudflares retningslinjer for innholdssignaler. Dette utgjør ikke juridisk rådgivning. robots.txt er en forespørsel som nettkravlere som oppfører seg korrekt følger, og domstolene er fortsatt uenige om hva som regnes som en gyldig avmelding.

Hvor du skal legge inn reglene for AI-crawleren.

Søkeroboter leser reglene på faste adresser på nettstedet ditt. Legg til hver fil én gang, og sjekk den deretter med noen måneders mellomrom.

  1. robots.txt. Last opp filen til rotkatalogen på nettstedet ditt, under /robots.txt. Legg til AI-gruppene i den eksisterende filen din, hvis du har en, og behold én enkelt «User-agent: *»-gruppe.

  2. Nettstedplattformen din. På WordPress, Shopify, Wix eller Squarespace kan du redigere robots.txt i SEO-innstillingene eller ved hjelp av et SEO-plugin, siden det er plattformen som oppretter filen.

  3. tdmrep.json. Last opp filen til /.well-known/tdmrep.json. På enkelte servere må du opprette mappen .well-known selv.

  4. Dine vilkår. Legg til klausulen i dine vilkår og betingelser, slik at reservasjonen er nedfelt både skriftlig og i filene.

  5. CDN-tjenesten eller webhotellet ditt. Aktiver bot-innstillingene hos webhotellet eller CDN-tjenesten din, for eksempel Cloudflare, for å blokkere søkeroboter som ignorerer robots.txt.

  6. En påminnelse. Sjekk listen over nettkravlere med noen måneders mellomrom: AI-selskaper legger til og omdøper nettkravlere.

Reglene

Hva reglene krever.

Hver rad angir en lov, en rettsavgjørelse eller en standard, når den gjelder, og hva den innebærer for din rett til å melde deg ut.

Lover, rettsavgjørelser og standarder for å velge bort AI-trening, når de gjelder, og hva det innebærer å velge bort
Lov, rettsavgjørelse eller standard Når det gjelder Hva dette betyr for deg
EU-direktivet om opphavsrett (2019/790), artikkel 4 nr. 3 Tekst- og datamining av innhold publisert på nettet i EU, inkludert opplæring av kunstig intelligens. Loven tillater enhver å utvinne lovlig tilgjengelig innhold, med mindre rettighetshaveren forbeholder seg retten på en hensiktsmessig måte, for eksempel ved hjelp av maskinlesbare midler for innhold på nettet.
EU-loven om kunstig intelligens (2024/1689), artikkel 53, og retningslinjene for allmenn kunstig intelligens Leverandører av generelle AI-modeller som markedsføres i EU fra og med 2. august 2025. Tjenesteleverandører må ha retningslinjer for å identifisere og respektere forbehold om rettigheter. Underskriverne av kodeksen bruker søkeroboter som følger robots.txt og gjør rimelige anstrengelser for å følge andre maskinlesbare protokoller.
Kneschke mot LAION, Hamburgs høyere landsrett, 10. desember 2025 Et forbehold som kun er nedfelt i nettstedets vilkår. Det er anlagt sak ved Forbundsdomstolen. Retten kom frem til at det ikke var påvist at reservasjonen i naturlig språk var maskinlesbar da bildene ble kopiert. Bruk robots.txt eller TDMRep, ikke bare ord.
DPG Media mot HowardsHome, Amsterdam tingrett, 30. oktober 2024 En robots.txt-fil som nevner noen AI-crawlere. Det er anlagt klage. Å blokkere navngitte boter ga ikke rettigheter overfor en crawler som ikke var nevnt i filen. En generelt gyldig unntaksregel, som for eksempel TDMRep, omfatter crawlere du ikke kjenner til.
Like Company mot Google, EU-domstolen, sak C-250/25 Under behandling. Henvist av en ungarsk domstol i 2025. Retten vil avgjøre om opplæring av en AI-modell utgjør kopiering av innhold, og om unntaket for tekst- og datamining gjelder i dette tilfellet.
Robots Exclusion Protocol (RFC 9309) Enhver søkerobot som velger å følge den. Søkeroboter leser /robots.txt og følger den gruppen som er angitt der, eller *-gruppen. Dette er en anbefaling, ikke en tilgangskontroll.

Generator for retningslinjer for akseptabel bruk

Forby skraping i retningslinjene for akseptabel bruk.

TermsFeed-generatoren for retningslinjer for akseptabel bruk har en valgfri regel som forbyr skraping, crawling eller uthenting av data fra nettstedet eller tjenesten din ved hjelp av automatiserte metoder, med unntak av funksjonene du selv tilbyr. Legg til klausulen om AI-opplæring som din egen regel.

Opprett retningslinjer for akseptabel bruk

Ofte stilte spørsmål.

Svar på vanlige spørsmål om blokkering av AI-crawlere.

Hvordan kan jeg blokkere AI-crawlere fra nettstedet mitt?

Legg til en gruppe for hver AI-crawler i robots.txt-filen din med Disallow: /, og la gruppen User-agent: * være åpen for søkemotorer.

  • Gi hver crawler et navn, for eksempel GPTBot, ClaudeBot eller CCBot.
  • Legg til EUs fravalg for tekst- og datamining (TDMRep), som dekker crawlere du ikke gir navn.
  • Bruk botinnstillingene til verten eller CDN-en din for crawlere som ignorerer robots.txt.

Vil det å blokkere AI-crawlere påvirke søkerangeringene mine negativt?

Nei, å blokkere AI-treningsroboter påvirker ikke søkemotorene.

  • Google sier at Google-Extended ikke påvirker Google-søk eller rangeringer.
  • Apple sier at sider som blokkerer Applebot-Extended fortsatt vises i søkeresultatene.
  • Å blokkere AI-søkecrawlere, som OAI-SearchBot eller PerplexityBot, fjerner sidene dine fra disse AI-svarene.

Stopper robots.txt AI-crawlere?

robots.txt er en anmodning. Veloppdragne søkeroboter følger den, mens ingenting tvinger de andre til det.

  • OpenAI, Meta, Perplexity og Amazon sier at deres hentere, som åpner en side for en person, ikke alltid følger robots.txt.
  • Noen søkeroboter skjuler navnet sitt.
  • For å blokkere søkeroboter på ordentlig må du bruke bot-innstillingene hos webhotellet eller CDN-tjenesten din, eller bruke brannmurregler.

Hva er Google-Extended og Applebot-Extended?

Det er navn i robots.txt-filen som styrer AI-opplæringen, ikke separate søkeroboter.

  • Googlebot og Applebot gjennomsøker sidene dine som vanlig.
  • Hvis du blokkerer Google-Extended, holdes sidene utenfor Gemini-opplæringen og -grunnleggingen.
  • Hvis du blokkerer Applebot-Extended, holdes de utenfor modellopplæringen hos Apple.

Hva er TDMRep?

TDMRep er en W3C-standard for å reservere rettigheter til tekst- og datamining i maskinlesbar form.

  • Den bruker en fil i /.well-known/tdmrep.json, en HTML-metatag eller en HTTP-header.
  • tdm-reservation: 1 betyr at rettighetene er reservert.
  • Dette gjelder alle AI-selskaper, så det omfatter også søkeroboter som ikke er nevnt i robots.txt-filen din.

Er AI Crawler Rules Generator gratis?

Ja, AI Crawler Rules Generator er gratis.

  • Generatoren krever ingen konto.
  • Crawlerlisten hentes fra dokumentasjonen som hvert AI-selskap publiserer.

Lag dine egne regler med generatoren ovenfor.