Bezplatný nástroj

Bezplatný generátor pravidiel pre AI Crawler pre súbor robots.txt

Generátor vytvára pravidlá súboru robots.txt pre každý robot s umelou inteligenciou, od trénovacích robotov až po vyhľadávanie s umelou inteligenciou, vrátane strojovo čitateľného textu a možnosti odmietnutia ťažby údajov, na ktoré kladú dôraz súdy EÚ.

Vytvorte si pravidlá pre svoj AI-crawler Vytvoriť zásady prijateľného používania
  • pravidlá súboru robots.txt
  • Výnimka EÚ (TDMRep)
  • Signály obsahu
  • Ustanovenie o podmienkach

Vytvorte si pravidlá pre svoj AI-crawler.

Vykonajte 3 kroky a výsledky skopírujte v kroku 4.

Povedzte nám niečo o vašej webovej stránke

Jeden na riadok, napríklad /admin/ alebo /cart/. Aj vyhľadávače ich ignorujú.

Vyberte, čo môžu roboty s umelou inteligenciou robiť

Trénovanie umelej inteligencie

Vyhľadávače, ktoré zbierajú stránky na účely trénovania modelov umelej inteligencie.

Vyberajte vyhľadávače jeden po druhom
Vyhľadávanie a odpovede pomocou umelej inteligencie

Vyhľadávače, ktoré indexujú stránky, aby ich umelá inteligencia mohla citovať a odkazovať na ne v odpovediach.

Vyberajte vyhľadávače jeden po druhom
Načíta sa, keď o to niekto požiada

Nástroje, ktoré otvárajú stránku na základe otázky, ktorú používateľ položil asistentovi umelej inteligencie.

Vyberajte vyhľadávače jeden po druhom

Vyberte, kde sa majú pravidlá uplatňovať

Zablokované vyhľadávacie roboty nemajú prístup do
Kto si prečíta vašu webovú stránku

Každý AI robot je spracovaný podľa vašich pravidiel. Blokované roboty sú označené.

Skopírujte pravidlá svojho AI-crawlera

Pred zverejnením si pravidlá prečítajte. Nachádzajú sa pod vašimi odpoveďami vyššie.

Zadajte adresu URL svojej webovej stránky, aby ste si mohli prezrieť pravidlá súboru robots.txt.

Generátor vytvára pravidlá na základe vašich odpovedí, dokumentácie k prehliadačom, ktorú zverejňuje každá spoločnosť zaoberajúca sa umelou inteligenciou, protokolu W3C TDMRep a smernice Cloudflare Content Signals Policy. Nejedná sa o právne poradenstvo. Súbor robots.txt predstavuje žiadosť, ktorú dodržiavajú prehliadače, ktoré sa správajú korektne, a súdy sa stále nezhodujú v tom, čo sa považuje za platné odmietnutie.

Kde môžete pridať pravidlá pre svoj AI-crawler.

Vyhľadávače čítajú pravidlá na pevne stanovených adresách na vašej webovej stránke. Každý súbor pridajte len raz a potom ho každých pár mesiacov skontrolujte.

  1. robots.txt. Nahrajte súbor do koreňového adresára vašej webovej stránky do adresára /robots.txt. Ak už máte súbor, pridajte do neho skupiny AI a ponechajte len jednu skupinu User-agent: *.

  2. Vaša webová platforma. Na WordPresse, Shopify, Wixe alebo Squarespace upravte súbor robots.txt v nastaveniach SEO alebo pomocou pluginu pre SEO, keďže tento súbor vytvára samotná platforma.

  3. tdmrep.json. Nahrajte súbor do adresára /.well-known/tdmrep.json. Na niektorých serveroch si adresár .well-known musíte vytvoriť sami.

  4. Vaše podmienky. Doplňte túto klauzulu do svojich Všeobecných obchodných podmienok, aby bola rezervácia zaznamenaná nielen v elektronickej podobe, ale aj v písomnej forme.

  5. Vaša služba CDN alebo poskytovateľ hostingu. Aktivujte nastavenia pre roboty vo vašom poskytovateľovi hostingu alebo službe CDN, napríklad Cloudflare, aby ste zablokovali vyhľadávače, ktoré ignorujú súbor robots.txt.

  6. Pripomienka. Zoznam robotov si prezerajte každých pár mesiacov: spoločnosti zaoberajúce sa umelou inteligenciou pridávajú a premenúvajú roboty.

Pravidlá

Čo sa vyžaduje podľa pravidiel.

V každom riadku je uvedený názov zákona, rozhodnutia alebo normy, prípadná oblasť jej uplatnenia a čo to znamená pre vaše právo na odmietnutie.

Zákony, rozhodnutia a normy týkajúce sa možnosti odmietnuť účasť na trénovaní umelej inteligencie, kedy sa ktoré z nich uplatňujú a čo táto možnosť odmietnutia znamená
Zákon, rozhodnutie alebo norma Kedy sa to uplatňuje Čo to pre vás znamená
Smernica EÚ o autorských právach (2019/790), článok 4 ods. 3 Textová a dátová analýza obsahu zverejneného online v EÚ, vrátane trénovania umelej inteligencie. Zákon umožňuje komukoľvek ťažiť legálne dostupný obsah, pokiaľ si nositeľ práv nevyhradí toto právo vhodným spôsobom, napríklad prostredníctvom strojovo čitateľných prostriedkov v prípade online obsahu.
Zákon EÚ o umelej inteligencii (2024/1689), článok 53, a Kódex osvedčených postupov pre umelú inteligenciu všeobecného účelu Poskytovatelia všeobecne použiteľných modelov umelej inteligencie uvádzaných na trh EÚ od 2. augusta 2025. Poskytovatelia musia mať zavedenú politiku, na základe ktorej budú vyhľadávať a rešpektovať výhrady týkajúce sa práv. Signatári kódexu používajú vyhľadávacie roboty, ktoré dodržiavajú súbor robots.txt, a vynakladajú primerané úsilie na dodržiavanie ďalších protokolov čitateľných strojovo.
Kneschke proti LAION, Vyšší krajský súd v Hamburgu, 10. decembra 2025 Výhrada je uvedená iba v podmienkach používania webovej stránky. Na Spolkovom najvyššom súde prebieha konanie o odvolaní. Súd konštatoval, že v čase kopírovania obrázkov nebolo preukázané, že rezervácia v prirodzenom jazyku bola strojovo čitateľná. Používajte súbor robots.txt alebo TDMRep, nie len slová.
DPG Media proti HowardsHome, Okresný súd v Amsterdame, 30. október 2024 Súbor robots.txt, v ktorom sú uvedené niektoré vyhľadávacie roboty využívajúce umelú inteligenciu. Odvolanie je v konaní. Blokovanie konkrétnych botov nezaručovalo ochranu pred robotom, ktorý nebol v súbore uvedený. Všeobecná výnimka, ako napríklad TDMRep, sa vzťahuje aj na roboty, o ktorých neviete.
Podobne ako vo veci Company proti Google, Súdny dvor EÚ, vec C-250/25 V riešení. Prípad bol postúpený maďarským súdom v roku 2025. Súd rozhodne, či trénovanie modelu umelej inteligencie predstavuje kopírovanie obsahu a či sa naň vzťahuje výnimka týkajúca sa textového a dátového ťaženia.
Protokol na vylúčenie robotov (RFC 9309) Akýkoľvek vyhľadávač, ktorý sa rozhodne sledovať túto stránku. Vyhľadávače čítajú súbor /robots.txt a riadia sa skupinou, ktorá je v ňom uvedená, alebo skupinou *. Ide o odporúčanie, nie o obmedzenie prístupu.

Generátor zásad prijateľného používania

Vo svojich zásadách prijateľného používania zakážte scraping.

Generátor zásad prijateľného používania TermsFeed obsahuje voliteľné pravidlo, ktoré zakazuje automatizované zbieranie, prehľadávanie alebo extrahovanie údajov z vašej webovej stránky alebo služby, s výnimkou funkcií, ktoré poskytujete. Pridajte klauzulu o trénovaní umelej inteligencie ako svoje vlastné pravidlo.

Vytvoriť zásady prijateľného používania

Najčastejšie kladené otázky.

Odpovede na časté otázky týkajúce sa blokovania robotov umelej inteligencie.

Ako môžem zabrániť robotom umelej inteligencie v prehľadávaní mojej webovej stránky?

Do súboru robots.txt pridajte pre každý AI crawler skupinu s nastavením Disallow: / a skupinu User-agent: * ponechajte otvorenú pre vyhľadávače.

  • Každému robotovi priraďte názov, napríklad GPTBot, ClaudeBot alebo CCBot.
  • Pridajte možnosť odhlásenia sa z ťažby textu a dát v EÚ (TDMRep), ktorá sa vzťahuje na roboty, ktoré ste neoznačili.
  • Pre roboty, ktoré ignorujú súbor robots.txt, použite nastavenia botov vášho hostiteľa alebo CDN.

Ovplyvní blokovanie robotov umelej inteligencie moje umiestnenie vo výsledkoch vyhľadávania?

Nie, blokovanie robotov slúžiacich na trénovanie umelej inteligencie nemá vplyv na vyhľadávače.

  • Spoločnosť Google uvádza, že Google-Extended nemá vplyv na vyhľadávanie Google ani na poradie výsledkov.
  • Spoločnosť Apple uvádza, že stránky, ktoré blokujú Applebot-Extended, sa naďalej zobrazujú vo výsledkoch vyhľadávania.
  • Blokovanie vyhľadávacích robotov umelej inteligencie, ako sú OAI-SearchBot alebo PerplexityBot, odstráni vaše stránky z týchto odpovedí umelej inteligencie.

Zastaví súbor robots.txt roboty umelej inteligencie?

Súbor robots.txt je žiadosť. Slušné vyhľadávacie roboty ju rešpektujú, ostatné k tomu však nič nenúti.

  • Spoločnosti OpenAI, Meta, Perplexity a Amazon uvádzajú, že ich roboty, ktoré otvárajú stránky pre používateľov, sa ne vždy riadia súborom robots.txt.
  • Niektoré vyhľadávače skrývajú svoje meno.
  • Ak chcete roboty skutočne zablokovať, použite nastavenia pre roboty u vášho poskytovateľa hostingu alebo CDN, prípadne pravidlá firewallu.

Čo sú Google-Extended a Applebot-Extended?

Ide o názvy v súbore robots.txt, ktoré riadia trénovanie umelej inteligencie, nie o samostatné vyhľadávacie roboty.

  • Googlebot a Applebot prehľadávajú vaše stránky ako zvyčajne.
  • Blokovanie Google-Extended zabráni tomu, aby sa stránky dostali do tréningu a základného výcviku Gemini.
  • Blokovanie Applebot-Extended zabráni ich zaradeniu do trénovania modelov v spoločnosti Apple.

Čo je TDMRep?

TDMRep je protokol komunity W3C určený na rezerváciu práv na ťažbu textu a dát v strojovo čitateľnej forme.

  • Používa súbor v adresári /.well-known/tdmrep.json, meta tag HTML alebo hlavičku HTTP.
  • Hodnota „tdm-reservation: 1“ znamená, že práva sú vyhradené.
  • Platí to pre každú spoločnosť zaoberajúcu sa umelou inteligenciou, takže sa to vzťahuje aj na vyhľadávače, ktoré nie sú uvedené vo vašom súbore robots.txt.

Je nástroj AI Crawler Rules Generator zadarmo?

Áno, generátor pravidiel AI Crawler je zadarmo.

  • Generátor nevyžaduje žiadny účet.
  • Zoznam crawlerov pochádza z dokumentácie, ktorú zverejňuje každá spoločnosť zaoberajúca sa umelou inteligenciou.

Vytvorte si svoje pravidlá pomocou generátora uvedeného vyššie.