Gratis verktyg

Gratis AI-generator för crawlerregler för robots.txt

Generatorn skapar robots.txt-regler för varje AI-crawler, från träningsbotar till AI-sökning, samt den maskinläsbara texten och möjligheten att välja bort datamining som EU-domstolarna kräver.

Skapa regler för din AI-crawler Skapa riktlinjer för godtagbar användning
  • regler i robots.txt
  • EU-undantag (TDMRep)
  • Innehållssignaler
  • Villkorsklausul

Skapa regler för din AI-crawler.

Följ de tre stegen och kopiera resultaten i steg 4.

Berätta om din webbplats

En per rad, till exempel /admin/ eller /cart/. Sökmotorerna hoppar också över dem.

Välj vad AI-crawlarna får göra

AI-träning

Webbkravlar som samlar in sidor för att träna AI-modeller.

Välj sökrobotar en efter en
AI-sökning och svar

Webbkrabbor som indexerar sidor så att AI-assistenter kan citera och länka till dem i sina svar.

Välj sökrobotar en efter en
Hämtar när någon frågar

Sökrobotar som öppnar en sida efter att någon har ställt en fråga om den till en AI-assistent.

Välj sökrobotar en efter en

Välj var reglerna ska gälla

Blockerade sökrobotar hålls borta från
Vem läser din webbplats?

Varje AI-crawler behandlas enligt dina regler. Blockerade crawlers är markerade.

Kopiera reglerna för din AI-crawler

Läs igenom reglerna innan du publicerar dem. De följer efter dina svar ovan.

Ange webbadressen till din webbplats för att se reglerna i robots.txt.

Generatorn skapar regler utifrån dina svar, den dokumentation om sökrobotar som varje AI-företag publicerar, W3C:s TDMRep-protokoll och Cloudflares policy för innehållssignaler. Detta utgör inte juridisk rådgivning. robots.txt är en begäran som välfungerande sökrobotar följer, och domstolarna är fortfarande oeniga om vad som räknas som ett giltigt undantag.

Var du ska lägga till dina regler för AI-crawlern.

Sökrobotar läser reglerna på fasta adresser på din webbplats. Lägg till varje fil en gång och kontrollera den sedan med några månaders mellanrum.

  1. robots.txt. Ladda upp filen till rotkatalogen på din webbplats, under /robots.txt. Lägg till AI-grupperna i din befintliga fil om du har en sådan, och behåll endast en enda User-agent: *-grupp.

  2. Din webbplatsplattform. Oavsett om du använder WordPress, Shopify, Wix eller Squarespace ska du redigera robots.txt i SEO-inställningarna eller med hjälp av ett SEO-plugin, eftersom det är plattformen som skapar filen.

  3. tdmrep.json. Ladda upp filen till /.well-known/tdmrep.json. På vissa servrar måste du själv skapa mappen .well-known.

  4. Dina villkor. Lägg till klausulen i dina allmänna villkor, så att bokningen finns nedtecknad både i skrift och i filerna.

  5. Ditt CDN eller din webbhotellleverantör. Aktivera botinställningarna hos din webbhotellleverantör eller ditt CDN, till exempel Cloudflare, för att blockera sökrobotar som ignorerar robots.txt.

  6. En påminnelse. Kontrollera listan över sökrobotar med några månaders mellanrum: AI-företag lägger till och byter namn på sökrobotar.

Reglerna

Vad reglerna kräver.

I varje rad anges en lag, ett avgörande eller en standard, när den är tillämplig, samt vad den innebär för din möjlighet att välja bort.

Lagar, domar och riktlinjer för att välja bort AI-träning, när dessa är tillämpliga och vad det innebär att välja bort
Lag, dom eller standard När det gäller Vad det innebär för dig
EU:s upphovsrättsdirektiv (2019/790), artikel 4.3 Text- och datamining av innehåll som publiceras online inom EU, inklusive träning av artificiell intelligens. Enligt lagen får vem som helst utvinna lagligt tillgängligt innehåll, såvida inte rättighetsinnehavaren på lämpligt sätt förbehåller sig rätten till detta, till exempel genom maskinläsbara metoder för innehåll på nätet.
EU:s AI-lag (2024/1689), artikel 53, och uppförandekoden för AI för allmänna ändamål Leverantörer av AI-modeller för allmänt bruk som släpps ut på EU-marknaden från och med den 2 augusti 2025. Tjänsteleverantörer måste ha riktlinjer för att identifiera och respektera förbehåll avseende rättigheter. De som undertecknat koden använder sökrobotar som följer robots.txt och vidtar rimliga åtgärder för att följa andra maskinläsbara protokoll.
Kneschke mot LAION, Högre regionaldomstolen i Hamburg, 10 december 2025 Ett förbehåll som endast anges i webbplatsens användarvillkor. Ett överklagande är anhängigt vid Förbundsdomstolen. Domstolen konstaterade att det inte hade visats att reservationen i naturligt språk var maskinläsbar när bilderna kopierades. Använd robots.txt eller TDMRep, inte bara ord.
DPG Media mot HowardsHome, tingsrätten i Amsterdam, 30 oktober 2024 En robots.txt-fil där vissa AI-crawlers anges. Ett överklagande är under behandling. Att blockera specifika botar innebar inte att man förbehöll sig rätten att blockera en sökrobot som inte nämndes i filen. Ett förbehåll som gäller alla, till exempel TDMRep, omfattar även sökrobotar som man inte känner till.
Like Company mot Google, EU-domstolen, mål C-250/25 Pågående. Hänskickat av en ungersk domstol år 2025. Domstolen kommer att avgöra om träning av en AI-modell innebär kopiering av innehåll, och om undantaget för text- och datamining omfattar detta.
Robots Exclusion Protocol (RFC 9309) Varje sökrobot som väljer att följa den. Sökrobotar läser /robots.txt och följer den grupp som anges där, eller gruppen *. Det är en rekommendation, inte en åtkomstkontroll.

Verktyg för att skapa riktlinjer för godtagbar användning

Förbjud skrapning i dina riktlinjer för godtagbar användning.

TermsFeeds verktyg för att skapa riktlinjer för godtagbar användning innehåller en valfri regel som förbjuder skrapning, genomsökning eller utvinning av data från din webbplats eller tjänst med automatiserade metoder, med undantag för de funktioner som du själv tillhandahåller. Lägg till klausulen om AI-träning som en egen regel.

Skapa riktlinjer för godtagbar användning

Vanliga frågor.

Svar på vanliga frågor om hur man blockerar AI-webbcrawlers.

Hur hindrar jag AI-crawlers från att besöka min webbplats?

Lägg till en grupp för varje AI-crawler i din robots.txt-fil med Disallow: /, och låt gruppen User-agent: * vara öppen för sökmotorer.

  • Ge varje sökrobot ett namn, till exempel GPTBot, ClaudeBot eller CCBot.
  • Lägg till EU:s undantag för text- och datamining (TDMRep), som omfattar crawlers som du inte namnger.
  • Använd botinställningarna hos din värd eller ditt CDN för sökrobotar som ignorerar robots.txt.

Kommer det att påverka mina sökresultat negativt om jag blockerar AI-crawlers?

Nej, att blockera AI-träningsrobotar påverkar inte sökmotorerna.

  • Google säger att Google-Extended inte påverkar Google-sökningen eller rankningarna.
  • Apple säger att sidor som blockerar Applebot-Extended fortfarande visas i deras sökresultat.
  • Om du blockerar AI-sökrobotar, såsom OAI-SearchBot eller PerplexityBot, tas dina sidor bort från dessa AI-svar.

Hindrar robots.txt AI-crawlers?

robots.txt är en begäran. Välfungerande sökrobotar följer den, men inget tvingar de andra att göra det.

  • OpenAI, Meta, Perplexity och Amazon uppger att deras sökrobotar, som öppnar en sida åt en användare, inte alltid följer robots.txt.
  • Vissa sökrobotar döljer sitt namn.
  • För att verkligen blockera sökrobotar ska du använda botinställningarna hos din värd eller ditt CDN, eller brandväggsregler.

Vad är Google-Extended och Applebot-Extended?

Det är robot.txt-namn som styr AI-träningen, inte separata sökrobotar.

  • Googlebot och Applebot indexerar dina sidor som vanligt.
  • Om du blockerar Google-Extended undviker sidorna att ingå i Gemini-träningen och -grundläggningen.
  • Genom att blockera Applebot-Extended undviker du att de ingår i modellträningen hos Apple.

Vad är TDMRep?

TDMRep är ett W3C-protokoll för att reservera rättigheter till text- och datamining i maskinläsbar form.

  • Det använder en fil i /.well-known/tdmrep.json, en HTML-metatagg eller en HTTP-header.
  • tdm-reservation: 1 betyder att rättigheterna är reserverade.
  • Det gäller alla AI-företag, så det omfattar även sökrobotar som inte nämns i din robots.txt-fil.

Är AI Crawler Rules Generator gratis?

Ja, AI Crawler Rules Generator är gratis.

  • Generatorn kräver inget konto.
  • Listan över crawlers hämtas från den dokumentation som varje AI-företag publicerar.

Skapa dina regler med hjälp av generatorn ovan.