Bezplatný nástroj

Bezplatný generátor pravidel pro AI crawler pro soubor robots.txt

Generátor vytváří pravidla souboru robots.txt pro každý AI-prohledávač, od trénovacích botů až po AI-vyhledávání, včetně strojově čitelného textu a možnosti odhlášení z datového dolování, na které kladou důraz soudy EU.

Vytvořte pravidla pro svůj AI crawler Vytvořit zásady přijatelného používání
  • pravidla souboru robots.txt
  • Výjimka z pravidel EU (TDMRep)
  • Signály obsahu
  • Ustanovení o podmínkách

Vytvořte pravidla pro svůj AI crawler.

Proveďte 3 kroky a zkopírujte výsledky v kroku 4.

Povězte nám něco o vašem webu

Jeden na řádek, například /admin/ nebo /cart/. Vyhledávače je také ignorují.

Vyberte, co mohou AI prohledávače dělat

Trénování umělé inteligence

Prohledávače, které shromažďují stránky za účelem trénování modelů umělé inteligence.

Vyberte prohledávače jeden po druhém
Vyhledávání a odpovědi pomocí umělé inteligence

Prohledávače, které indexují stránky, aby je umělá inteligence mohla citovat a odkazovat na ně v odpovědích.

Vyberte prohledávače jeden po druhém
Nažádá, když se někdo zeptá

Roboty, které otevírají stránku na základě dotazu, který uživatel položil asistentovi s umělou inteligencí.

Vyberte prohledávače jeden po druhém

Vyberte, kde se pravidla mají uplatňovat

Zablokované vyhledávací roboty se drží stranou od
Kdo si přečte vaši webovou stránku

Každý AI crawler je zpracován podle vašich pravidel. Blokované crawlery jsou označeny.

Zkopírujte pravidla svého AI crawleru

Než pravidla zveřejníte, zkontrolujte je. Následují po vašich odpovědích výše.

Zadejte adresu URL svého webu a zobrazte si pravidla souboru robots.txt.

Generátor vytváří pravidla na základě vašich odpovědí, dokumentace k prohledávačům, kterou zveřejňují jednotlivé společnosti zabývající se umělou inteligencí, protokolu W3C TDMRep a zásad Cloudflare Content Signals Policy. Nejedná se o právní radu. Soubor robots.txt představuje žádost, kterou by se měli řádně fungující prohledávače řídit, a soudy se stále neshodují na tom, co lze považovat za platné odmítnutí.

Kam přidat pravidla pro váš AI crawler.

Prohledávače čtou pravidla na pevně daných adresách na vašem webu. Každý soubor přidejte pouze jednou a poté jej každých několik měsíců zkontrolujte.

  1. robots.txt. Nahrajte soubor do kořenového adresáře svého webu do složky /robots.txt. Pokud již máte tento soubor, přidejte do něj skupiny AI a ponechte pouze jednu skupinu User-agent: *.

  2. Vaše platforma pro webové stránky. Ať už používáte WordPress, Shopify, Wix nebo Squarespace, upravte soubor robots.txt v nastavení SEO nebo pomocí pluginu pro SEO, protože tento soubor vytváří daná platforma.

  3. tdmrep.json. Nahrajte soubor do adresáře /.well-known/tdmrep.json. Na některých serverech si složku .well-known musíte vytvořit sami.

  4. Vaše podmínky. Přidejte tuto klauzuli do svých obchodních podmínek, aby byla rezervace zaznamenána jak v písemné podobě, tak i v souborech.

  5. Vaše CDN nebo poskytovatel hostingu. Zapněte nastavení pro roboty u svého poskytovatele hostingu nebo CDN, například u Cloudflare, abyste zablokovali prohledávače, které ignorují soubor robots.txt.

  6. Připomínka. Každých několik měsíců zkontrolujte seznam prohledávačů: společnosti zabývající se umělou inteligencí přidávají nové prohledávače a přejmenovávají stávající.

Pravidla

Co pravidla vyžadují.

V každém řádku je uveden název zákona, rozhodnutí nebo normy, v jakých případech se uplatňuje a co to znamená pro vaše právo na odmítnutí.

Zákony, rozhodnutí a normy týkající se možnosti odmítnout účast na trénování umělé inteligence, kdy se jednotlivé předpisy uplatňují a co odmítnutí účasti znamená
Zákon, rozhodnutí nebo norma Kdy se to vztahuje Co to pro vás znamená
Směrnice EU o autorském právu (2019/790), čl. 4 odst. 3 Textová a datová analýza obsahu zveřejněného online v EU, včetně trénování umělé inteligence. Zákon umožňuje komukoli provádět těžbu legálně přístupného obsahu, pokud si držitel práv toto právo výslovně nevyhrazuje, například prostřednictvím strojově čitelných prostředků v případě online obsahu.
Zákon EU o umělé inteligenci (2024/1689), článek 53, a Kodex osvědčených postupů pro umělou inteligenci všeobecného určení Poskytovatelé modelů umělé inteligence pro všeobecné účely uváděných na trh EU od 2. srpna 2025. Poskytovatelé musí mít zavedenou politiku, která jim umožní identifikovat a respektovat výhrady k právům. Signatáři kodexu používají vyhledávací roboty, které se řídí souborem robots.txt, a vynakládají přiměřené úsilí k dodržování dalších strojově čitelných protokolů.
Kneschke proti LAION, Vrchní zemský soud v Hamburku, 10. prosince 2025 Výhrada je uvedena pouze v podmínkách webových stránek. U Spolkového soudního dvora je v současné době projednáváno odvolání. Soud shledal, že v době kopírování obrázků nebylo prokázáno, že by rezervace v přirozeném jazyce byla strojově čitelná. Používejte soubor robots.txt nebo TDMRep, ne pouze slova.
DPG Media proti HowardsHome, Okresní soud v Amsterdamu, 30. října 2024 Soubor robots.txt, v němž jsou uvedeny některé AI-prohledávače. Probíhá odvolací řízení. Blokování konkrétních botů nezaručovalo výjimku pro prohledávače, které v souboru nebyly výslovně uvedeny. Výjimka platná pro všechny, jako je například TDMRep, se vztahuje i na prohledávače, o kterých nevíte.
Věc „Like Company proti Google“, Soudní dvůr Evropské unie, věc C-250/25 V řízení. Případ byl postoupen maďarským soudem v roce 2025. Soud rozhodne, zda trénování modelu umělé inteligence představuje kopírování obsahu a zda se na něj vztahuje výjimka týkající se textového a datového dolování.
Protokol pro vyloučení robotů (RFC 9309) Jakýkoli robot, který se rozhodne tento odkaz sledovat. Prohledávače čtou soubor /robots.txt a řídí se skupinou, která je v něm uvedena, případně skupinou *. Jedná se o doporučení, nikoli o řízení přístupu.

Generátor zásad přijatelného používání

Ve svých zásadách přijatelného používání zakážte scraping.

Generátor zásad přijatelného používání TermsFeed obsahuje volitelné pravidlo, které zakazuje automatizované stahování, procházení nebo extrahování dat z vaší webové stránky či služby, s výjimkou funkcí, které sami poskytujete. Přidejte klauzuli o trénování umělé inteligence jako své vlastní pravidlo.

Vytvořit zásady přijatelného používání

Často kladené otázky.

Odpovědi na časté dotazy týkající se blokování robotů umělé inteligence.

Jak mohu zablokovat přístup robotů využívajících umělou inteligenci na svůj web?

Do souboru robots.txt přidejte pro každého AI crawlera skupinu s příkazem Disallow: / a skupinu User-agent: * nechte otevřenou pro vyhledávače.

  • Každému prohledávači přiřaďte název, například GPTBot, ClaudeBot nebo CCBot.
  • Přidejte možnost odhlášení z textového a datového dolování v EU (TDMRep), která se vztahuje na crawlery, které nejmenujete.
  • Pro roboty, kteří ignorují soubor robots.txt, využijte nastavení botů u svého poskytovatele hostingu nebo CDN.

Ovlivní blokování robotů umělé inteligence moje umístění ve výsledcích vyhledávání?

Ne, blokování robotů pro trénování umělé inteligence nemá žádný vliv na vyhledávače.

  • Google uvádí, že Google-Extended nemá vliv na vyhledávání Google ani na pořadí ve výsledcích.
  • Apple uvádí, že stránky, které blokují Applebot-Extended, se i nadále zobrazují ve výsledcích vyhledávání.
  • Blokování vyhledávacích robotů pro umělou inteligenci, jako jsou OAI-SearchBot nebo PerplexityBot, vyřadí vaše stránky z těchto odpovědí generovaných umělou inteligencí.

Zastaví soubor robots.txt roboty využívající umělou inteligenci?

Soubor robots.txt představuje žádost. Slušně se chovající prohledávače ji respektují, ostatní k tomu však nic nenutí.

  • Společnosti OpenAI, Meta, Perplexity a Amazon uvádějí, že jejich roboty, které otevírají stránky pro uživatele, se ne vždy řídí souborem robots.txt.
  • Některé prohledávače skrývají své jméno.
  • Chcete-li prohledávače skutečně zablokovat, použijte nastavení pro roboty u svého poskytovatele hostingu nebo CDN, případně pravidla firewallu.

Co jsou Google-Extended a Applebot-Extended?

Jsou to názvy v souboru robots.txt, které řídí trénování umělé inteligence, nejedná se o samostatné prohledávače.

  • Googlebot a Applebot procházejí vaše stránky jako obvykle.
  • Blokování Google-Extended zabrání tomu, aby se stránky dostaly do tréninku a testování Gemini.
  • Blokování Applebot-Extended zabrání jejich zařazení do trénování modelů u společnosti Apple.

Co je TDMRep?

TDMRep je protokol komunity W3C určený k rezervaci práv na těžbu textu a dat ve strojově čitelné podobě.

  • Využívá soubor v adresáři /.well-known/tdmrep.json, meta tag HTML nebo hlavičku HTTP.
  • Hodnota „tdm-reservation: 1“ znamená, že práva jsou vyhrazena.
  • Platí to pro všechny společnosti zabývající se umělou inteligencí, takže se vztahuje i na prohledávače, které váš soubor robots.txt neuvádí.

Je nástroj AI Crawler Rules Generator zdarma?

Ano, generátor pravidel AI Crawler je zdarma.

  • Generátor nevyžaduje žádné účty.
  • Seznam crawlerů pochází z dokumentace, kterou zveřejňují jednotlivé společnosti zabývající se umělou inteligencí.

Vytvořte si pravidla pomocí výše uvedeného generátoru.