Brezplačno orodje

Brezplačni generator pravil za AI-iskalnik za datoteko robots.txt

Generator ustvari pravila v datoteki robots.txt za vsakega AI-iskalnika, od botov za usposabljanje do AI-iskanja, ter strojno berljivo besedilo in možnost izključitve iz rudarjenja podatkov, ki jo zahtevajo sodišča EU.

Oblikovajte pravila za svoj AI-iskalnik Ustvarjanje pravilnika o sprejemljivi rabi
  • pravila v datoteki robots.txt
  • Izključitev iz EU (TDMRep)
  • Signali vsebine
  • Ključni pogoji

Oblikovajte pravila za svoj AI-iskalnik.

Opravite 3 korake in v 4. koraku prepišite rezultate.

Povejte nam kaj več o vaši spletni strani

Ena na vrstico, na primer /admin/ ali /cart/. Tudi iskalniki jih preskočijo.

Izberite, kaj smejo početi iskalniki z umetno inteligenco

Usposabljanje umetne inteligence

Spletni pajki, ki zbirajo spletne strani za usposabljanje modelov umetne inteligence.

Izberite iskalnike enega po enega
Iskanje in odgovori z umetno inteligenco

Spletni pajki, ki indeksirajo strani, da jih lahko umetna inteligenca navaja in povezuje v odgovorih.

Izberite iskalnike enega po enega
Prinese, ko nekdo prosi

Programi za pridobivanje podatkov, ki odprejo stran, ker je nekdo o njej vprašal AI-pomočnika.

Izberite iskalnike enega po enega

Izberite, kje naj se pravila uporabljajo

Blokirani iskalniki nimajo dostopa do
Kdo si ogleduje vašo spletno stran

Vsak AI-iskalnik je obravnavan v skladu z vašimi pravili. Blokirani iskalniki so označeni.

Kopirajte pravila svojega AI-iskalnika

Preden jih objavite, si še enkrat preglejte pravila. Sledijo vašim odgovorom zgoraj.

Vnesite URL naslova svoje spletne strani, da si ogledate pravila v datoteki robots.txt.

Generator sestavlja pravila na podlagi vaših odgovorov, dokumentacije o iskalnih robotih, ki jo objavljajo posamezna podjetja za umetno inteligenco, protokola W3C TDMRep ter politike Cloudflare Content Signals. To ni pravno svetovanje. Datoteka robots.txt je zahteva, ki jo upoštevajo »vzorno« delujoči iskalni roboti, sodišča pa se še vedno ne strinjajo glede tega, kaj velja za veljavno izključitev.

Kje dodati pravila za AI-iskalnik.

Iskalniki berejo pravila na fiksnih naslovih na vaši spletni strani. Vsako datoteko dodajte enkrat, nato pa jo preverite vsakih nekaj mesecev.

  1. robots.txt. Datoteko naložite v korensko mapo vaše spletne strani, v mapo /robots.txt. Če že imate datoteko, vanjo dodajte skupine AI, pri tem pa ohranite le eno skupino User-agent: *.

  2. Vaša spletna platforma. Na platformah WordPress, Shopify, Wix ali Squarespace datoteko robots.txt uredite v nastavitvah za optimizacijo za iskalnike (SEO) ali s pomočjo vtičnika za SEO, saj datoteko ustvari sama platforma.

  3. tdmrep.json. Datoteko naložite v mapo /.well-known/tdmrep.json. Na nekaterih strežnikih morate mapo .well-known ustvariti sami.

  4. Vaši pogoji. Dodajte to klavzulo v svoje splošne pogoje, da bo rezervacija zapisana tako v besedilu kot tudi v datotekah.

  5. Vaš CDN ali gostitelj. Vklopite nastavitve za bote pri vašem gostitelju ali CDN-ju, na primer Cloudflare, da blokirate iskalnike, ki ne upoštevajo datoteke robots.txt.

  6. Opomnik. Vsake nekaj mesecev preverite seznam iskalnikov: podjetja, ki se ukvarjajo z umetno inteligenco, dodajajo nove iskalnike in jih preimenujejo.

Pravila

Kaj zahtevajo pravila.

V vsaki vrstici je naveden zakon, sodba ali standard, kdaj se uporablja ter kaj to pomeni za vašo možnost izključitve.

Zakonodaja, sodne odločbe in standardi glede izključitve iz usposabljanja umetne inteligence, kdaj se posamezni ukrepi uporabljajo ter kaj izključitev pomeni
Zakon, odločba ali standard Kdaj se uporablja Kaj to pomeni za vas
Direktiva EU o avtorskih pravicah (2019/790), člen 4(3) Analiza besedila in podatkov v spletnih vsebinah, objavljenih v EU, vključno z usposabljanjem umetne inteligence. Zakon dovoljuje vsakomur, da izkorišča zakonito dostopne vsebine, razen če si imetnik pravic to pravico ustrezno pridržuje, na primer z uporabo strojno berljivih sredstev za spletne vsebine.
Zakon EU o umetni inteligenci (2024/1689), člen 53, in Kodeks ravnanja za umetno inteligenco splošnega namena Ponudniki modelov umetne inteligence za splošno rabo, ki se od 2. avgusta 2025 dajejo na trg EU. Ponudniki morajo imeti politiko za odkrivanje in upoštevanje pridržkov pravic. Podpisniki kodeksa uporabljajo iskalnike, ki upoštevajo datoteko robots.txt, ter si razumno prizadevajo za upoštevanje drugih protokolov, ki jih lahko berejo stroji.
Kneschke proti LAION, Višje deželno sodišče v Hamburgu, 10. december 2025 Pridržek je naveden izključno v pogojih uporabe spletne strani. Pri Zveznem vrhovnem sodišču je v teku pritožbeni postopek. Sodišče je ugotovilo, da ni bilo dokazano, da je bila rezervacija v naravnem jeziku ob kopiranju slik berljiva za računalnik. Uporabite datoteko robots.txt ali TDMRep, ne le besed.
DPG Media proti HowardsHome, Okrožno sodišče v Amsterdamu, 30. oktober 2024 Datoteka robots.txt, v kateri so navedeni nekateri iskalniki z umetno inteligenco. Pritožba je v obravnavi. Blokiranje imenovanih botov ni zagotovilo pravic proti iskalniku, ki ni bil naveden v datoteki. Rezervacija za vse, kot je na primer TDMRep, zajema tudi iskalnike, o katerih ne veste.
Zadeva Like Company proti Googlu, Sodišče Evropske unije, zadeva C-250/25 V obravnavi. Zadevo je leta 2025 predložilo madžarsko sodišče. Sodišče bo odločilo, ali usposabljanje modela umetne inteligence pomeni kopiranje vsebine in ali to dejanje spada v izjemo v zvezi z rudarjenjem besedil in podatkov.
Protokol za izključitev robotov (RFC 9309) Vsak iskalnik, ki se odloči, da ga bo sledil. Spletni pajki berejo datoteko /robots.txt in upoštevajo navedbo skupine, ki jih imenuje, ali skupino *. Gre za priporočilo, ne za nadzor dostopa.

Orodje za pripravo pravilnika o sprejemljivi rabi

V svojih pravilih o sprejemljivi rabi prepovedajte »scraping«.

Generator pravilnikov o sprejemljivi rabi TermsFeed vsebuje neobvezno pravilo, ki prepoveduje avtomatsko pridobivanje, indeksiranje ali izpisovanje podatkov z vaše spletne strani ali storitve, razen prek funkcij, ki jih ponujate. Dodajte klavzulo o usposabljanju umetne inteligence kot svoje lastno pravilo.

Ustvarjanje pravilnika o sprejemljivi rabi

Pogosta vprašanja.

Odgovori na pogosta vprašanja o blokiranju iskalnikov z umetno inteligenco.

Kako lahko na svoji spletni strani blokiram iskalnike z umetno inteligenco?

V datoteko robots.txt dodajte skupino za vsakega AI-indeksirnika z navedbo Disallow: /, skupino User-agent: * pa pustite odprto za iskalnike.

  • Vsakemu iskalniku dodelite ime, na primer GPTBot, ClaudeBot ali CCBot.
  • Dodajte izključitev za rudarjenje besedila in podatkov v EU (TDMRep), ki zajema iskalnike, ki jih niste poimenovali.
  • Za iskalnike, ki ne upoštevajo datoteke robots.txt, uporabite nastavitve za robote svojega gostitelja ali CDN-ja.

Ali bo blokiranje iskalnih robotov umetne inteligence negativno vplivalo na moje uvrstitve v iskalnikih?

Ne, blokiranje iskalnikov za usposabljanje umetne inteligence ne vpliva na iskalnike.

  • Google pravi, da Google-Extended ne vpliva na iskanje v Googlu ali uvrstitve.
  • Apple pravi, da se strani, ki blokirajo Applebot-Extended, še vedno pojavljajo v njegovih rezultatih iskanja.
  • Blokiranje iskalnih pajkov za umetno inteligenco, kot sta OAI-SearchBot ali PerplexityBot, vaše strani odstrani iz teh odgovorov umetne inteligence.

Ali datoteka robots.txt prepreči delovanje iskalnikov na podlagi umetne inteligence?

Datoteka robots.txt je prošnja. Pravilno delujoči iskalni roboti jo upoštevajo, ostale pa k temu nič ne sili.

  • OpenAI, Meta, Perplexity in Amazon trdijo, da njihovi iskalniki, ki odpirajo strani za uporabnike, ne upoštevajo vedno datoteke robots.txt.
  • Nekateri iskalniki skrivajo svoje ime.
  • Če želite iskalnike resnično blokirati, uporabite nastavitve za robote pri svojem gostitelju ali v omrežju CDN ali pa pravila požarnega zidu.

Kaj sta Google-Extended in Applebot-Extended?

To so imena v datoteki robots.txt, ki nadzorujejo usposabljanje umetne inteligence, ne pa ločeni iskalniki.

  • Googlebot in Applebot indeksirata vaše strani kot običajno.
  • Z blokiranjem Google-Extended preprečite, da bi bile strani vključene v usposabljanje in temeljno obdelavo v sistemu Gemini.
  • Z blokiranjem Applebot-Extended preprečite, da bi bile vključene v usposabljanje modelov pri Apple.

Kaj je TDMRep?

TDMRep je protokol skupnosti W3C za pridržanje pravic do rudarjenja besedila in podatkov v strojno berljivi obliki.

  • Uporablja datoteko v mapi /.well-known/tdmrep.json, HTML-metaoznako ali HTTP-glavo.
  • tdm-reservation: 1 pomeni, da so pravice pridržane.
  • Velja za vsako podjetje, ki se ukvarja z umetno inteligenco, zato zajema tudi iskalnike, ki niso navedeni v vaši datoteki robots.txt.

Ali je AI Crawler Rules Generator brezplačen?

Da, AI Crawler Rules Generator je brezplačen.

  • Za uporabo generatorja ni potreben račun.
  • Seznam iskalnikov izhaja iz dokumentacije, ki jo objavlja vsako podjetje za umetno inteligenco.

S pomočjo zgornjega generatorja sestavite svoja pravila.