Bezpłatne narzędzie

Darmowy generator reguł dla pliku robots.txt oparty na sztucznej inteligencji

Generator tworzy reguły pliku robots.txt dla każdego robota indeksującego opartego na sztucznej inteligencji – od botów szkoleniowych po wyszukiwarki oparte na sztucznej inteligencji – a także tekst w formacie nadającym się do odczytu maszynowego oraz opcję rezygnacji z eksploracji danych, na które zwracają uwagę sądy UE.

Utwórz reguły dla robota indeksującego opartego na sztucznej inteligencji Wygeneruj zasady dopuszczalnego użytkowania
  • zasady pliku robots.txt
  • Wyłączenie z zakresu UE (TDMRep)
  • Sygnały treściowe
  • Postanowienia

Utwórz reguły dla swojego robota indeksującego opartego na sztucznej inteligencji.

Wykonaj 3 kroki i skopiuj wyniki w kroku 4.

Opowiedz nam o swojej stronie internetowej

Po jednym w każdym wierszu, np. /admin/ lub /cart/. Wyszukiwarki również je pomijają.

Wybierz, na co mogą sobie pozwolić roboty indeksujące oparte na sztucznej inteligencji

Szkolenie z zakresu sztucznej inteligencji

Roboty indeksujące, które gromadzą strony w celu szkolenia modeli sztucznej inteligencji.

Wybieraj roboty indeksujące pojedynczo
Wyszukiwanie i odpowiedzi oparte na sztucznej inteligencji

Roboty indeksujące, które indeksują strony, aby asystenci AI mogli je cytować i umieszczać do nich linki w swoich odpowiedziach.

Wybieraj roboty indeksujące pojedynczo
Pobiera dane, gdy ktoś o to poprosi

Narzędzia pobierające, które otwierają stronę w odpowiedzi na zapytanie użytkownika skierowane do asystenta AI.

Wybieraj roboty indeksujące pojedynczo

Wybierz, gdzie mają obowiązywać te zasady

Zablokowane roboty indeksujące nie mają dostępu do
Kto odwiedza Twoją stronę internetową

Każdy robot indeksujący oparty na sztucznej inteligencji jest traktowany zgodnie z Twoimi regułami. Zablokowane roboty indeksujące są oznaczone.

Skopiuj reguły swojego robota indeksującego opartego na sztucznej inteligencji

Przed opublikowaniem zapoznaj się z zasadami. Znajdziesz je poniżej, po twoich odpowiedziach.

Wpisz adres URL swojej witryny, aby wyświetlić reguły zawarte w pliku robots.txt.

Generator tworzy reguły na podstawie udzielonych przez użytkownika odpowiedzi, dokumentacji dotyczącej robotów indeksujących publikowanej przez poszczególne firmy zajmujące się sztuczną inteligencją, protokołu W3C TDMRep oraz polityki Cloudflare Content Signals. Nie stanowi to porady prawnej. Plik robots.txt jest prośbą, której przestrzegają „grzeczne” roboty indeksujące, a sądy wciąż nie są zgodne co do tego, co należy uznać za ważne oświadczenie o rezygnacji.

Gdzie dodać reguły dla robota indeksującego opartego na sztucznej inteligencji.

Roboty indeksujące odczytują reguły z ustalonych adresów w Twojej witrynie. Dodaj każdy plik tylko raz, a następnie sprawdzaj go co kilka miesięcy.

  1. robots.txt. Umieść ten plik w katalogu głównym swojej witryny, pod ścieżką /robots.txt. Jeśli posiadasz już taki plik, dodaj do niego grupy AI i zachowaj tylko jedną grupę User-agent: *.

  2. Twoja platforma internetowa. Niezależnie od tego, czy korzystasz z WordPressa, Shopify, Wix czy Squarespace, edytuj plik robots.txt w ustawieniach SEO lub za pomocą wtyczki SEO, ponieważ to platforma generuje ten plik.

  3. tdmrep.json. Prześlij plik do katalogu /.well-known/tdmrep.json. Na niektórych serwerach folder .well-known należy utworzyć samodzielnie.

  4. Twoje warunki. Dodaj tę klauzulę do swoich Warunków korzystania z usługi, aby rezerwacja została zapisana zarówno w formie słownej, jak i w plikach.

  5. Twoja sieć CDN lub dostawca usług hostingowych. Włącz opcje związane z botami u swojego dostawcy usług hostingowych lub w sieci CDN, np. Cloudflare, aby zablokować roboty indeksujące, które ignorują plik robots.txt.

  6. Przypomnienie. Sprawdzaj listę robotów indeksujących co kilka miesięcy: firmy zajmujące się sztuczną inteligencją dodają nowe roboty i zmieniają nazwy istniejących.

Zasady

Czego wymagają przepisy.

W każdym wierszu podano nazwę ustawy, orzeczenia lub normy, zakres jej stosowania oraz jej znaczenie dla możliwości rezygnacji.

Przepisy, orzeczenia i standardy dotyczące rezygnacji z udziału w szkoleniu z zakresu sztucznej inteligencji, kiedy mają one zastosowanie oraz co oznacza taka rezygnacja
Przepis, orzeczenie lub norma Kiedy ma to zastosowanie Co to oznacza dla Ciebie
Dyrektywa UE w sprawie praw autorskich (2019/790), art. 4 ust. 3 Eksploracja tekstów i danych dotyczących treści publikowanych w Internecie w UE, w tym szkolenie modeli sztucznej inteligencji. Prawo zezwala każdemu na wykorzystywanie treści dostępnych zgodnie z prawem, chyba że właściciel praw zastrzega sobie to prawo w odpowiedni sposób, na przykład za pomocą środków nadających się do odczytu maszynowego w przypadku treści internetowych.
Ustawa UE o sztucznej inteligencji (2024/1689), art. 53 oraz Kodeks postępowania dotyczący sztucznej inteligencji ogólnego przeznaczenia Podmioty dostarczające modele sztucznej inteligencji ogólnego przeznaczenia wprowadzane do obrotu w UE od 2 sierpnia 2025 r. Dostawcy muszą dysponować polityką pozwalającą na identyfikację i przestrzeganie zastrzeżeń dotyczących praw. Sygnatariusze kodeksu korzystają z robotów indeksujących, które przestrzegają wytycznych zawartych w pliku robots.txt, oraz podejmują uzasadnione wysiłki w celu przestrzegania innych protokołów nadających się do odczytu maszynowego.
Sprawa Kneschke przeciwko LAION, Wyższy Sąd Okręgowy w Hamburgu, 10 grudnia 2025 r. Zastrzeżenie zawarte wyłącznie w warunkach korzystania ze strony internetowej. W Federalnym Sądzie Sprawiedliwości toczy się postępowanie odwoławcze. Sąd uznał, że nie wykazano, iż zastrzeżenie sformułowane w języku naturalnym było czytelne dla maszyn w momencie kopiowania obrazów. Należy stosować plik robots.txt lub TDMRep, a nie tylko słowa.
DPG Media przeciwko HowardsHome, Sąd Rejonowy w Amsterdamie, 30 października 2024 r. Plik robots.txt, w którym wymieniono niektóre roboty indeksujące oparte na sztucznej inteligencji. Trwa postępowanie odwoławcze. Zablokowanie konkretnych botów nie zapewniało wyłączenia z blokady robotów indeksujących, których nazwy nie zostały wymienione w pliku. Wyłączenie dotyczące wszystkich, takie jak TDMRep, obejmuje również roboty indeksujące, o których nie wiesz.
Sprawa Like Company przeciwko Google, Trybunał Sprawiedliwości Unii Europejskiej, sprawa C-250/25 Sprawa w toku. Przekazana przez węgierski sąd w 2025 r. Sąd rozstrzygnie, czy szkolenie modelu sztucznej inteligencji stanowi kopiowanie treści oraz czy obejmuje je wyjątek dotyczący eksploracji tekstów i danych.
Protokół wykluczania robotów (RFC 9309) Każdy robot indeksujący, który zdecyduje się podążać za nim. Roboty indeksujące odczytują plik /robots.txt i kierują się zaleceniami grupy, której nazwa jest w nim podana, lub grupy *. Jest to zalecenie, a nie mechanizm kontroli dostępu.

Generator zasad dopuszczalnego użytkowania

W swojej Polityce dopuszczalnego użytkowania należy wprowadzić zakaz scrapingu.

Generator zasad dopuszczalnego użytkowania serwisu TermsFeed zawiera opcjonalną zasadę, która zabrania pobierania, indeksowania lub wyodrębniania danych z Twojej witryny internetowej lub serwisu za pomocą środków zautomatyzowanych, z wyjątkiem funkcji udostępnianych przez Ciebie. Dodaj klauzulę dotyczącą szkolenia sztucznej inteligencji jako własną zasadę.

Wygeneruj zasady dopuszczalnego użytkowania

Najczęściej zadawane pytania.

Odpowiedzi na najczęściej zadawane pytania dotyczące blokowania robotów indeksujących opartych na sztucznej inteligencji.

Jak zablokować roboty indeksujące oparte na sztucznej inteligencji na mojej stronie internetowej?

Dodaj do pliku robots.txt grupę dla każdego robota indeksującego opartego na sztucznej inteligencji z wpisem Disallow: /, a grupę User-agent: * pozostaw otwartą dla wyszukiwarek.

  • Nadaj nazwę każdemu robotowi indeksującemu, np. GPTBot, ClaudeBot lub CCBot.
  • Dodaj opcję rezygnacji z eksploracji tekstu i danych w UE (TDMRep), która obejmuje roboty indeksujące, których nie nazwałeś.
  • W przypadku robotów indeksujących, które ignorują plik robots.txt, skorzystaj z ustawień botów udostępnionych przez dostawcę hostingu lub sieć CDN.

Czy blokowanie robotów indeksujących opartych na sztucznej inteligencji negatywnie wpłynie na moje pozycje w wynikach wyszukiwania?

Nie, blokowanie robotów indeksujących wykorzystywanych do szkolenia modeli AI nie ma wpływu na działanie wyszukiwarek.

  • Google twierdzi, że Google-Extended nie ma wpływu na wyszukiwarkę Google ani na pozycje w wynikach wyszukiwania.
  • Apple twierdzi, że strony blokujące Applebot-Extended nadal pojawiają się w wynikach wyszukiwania.
  • Blokowanie robotów indeksujących opartych na sztucznej inteligencji, takich jak OAI-SearchBot czy PerplexityBot, powoduje usunięcie Twoich stron z wyników generowanych przez te systemy.

Czy plik robots.txt blokuje roboty indeksujące oparte na sztucznej inteligencji?

Plik robots.txt stanowi prośbę. Prawidłowo działające roboty indeksujące stosują się do niego, a pozostałe nie są do tego w żaden sposób zobowiązane.

  • OpenAI, Meta, Perplexity i Amazon twierdzą, że ich roboty indeksujące, które otwierają stronę dla użytkownika, nie zawsze przestrzegają pliku robots.txt.
  • Niektóre roboty indeksujące ukrywają swoją nazwę.
  • Aby naprawdę zablokować roboty indeksujące, skorzystaj z ustawień botów u swojego dostawcy usług hostingowych lub w sieci CDN albo z reguł zapory sieciowej.

Czym są Google-Extended i Applebot-Extended?

Są to nazwy z pliku robots.txt, które sterują procesem uczenia się sztucznej inteligencji, a nie oddzielne roboty indeksujące.

  • Googlebot i Applebot indeksują Twoje strony jak zwykle.
  • Zablokowanie Google-Extended sprawia, że strony nie są wykorzystywane do szkolenia i ugruntowywania modelu Gemini.
  • Zablokowanie Applebot-Extended sprawia, że nie są one wykorzystywane do szkolenia modeli w Apple.

Czym jest TDMRep?

TDMRep to protokół społeczności W3C służący do rezerwacji praw do eksploracji tekstu i danych w formie nadającej się do odczytu maszynowego.

  • Wykorzystuje plik znajdujący się w lokalizacji /.well-known/tdmrep.json, metatag HTML lub nagłówek HTTP.
  • Wartość „tdm-reservation: 1” oznacza, że prawa są zastrzeżone.
  • Dotyczy to każdej firmy zajmującej się sztuczną inteligencją, więc obejmuje to również roboty indeksujące, których nie wymienia plik robots.txt.

Czy narzędzie AI Crawler Rules Generator jest bezpłatne?

Tak, generator reguł AI Crawler jest bezpłatny.

  • Generator nie wymaga zakładania konta.
  • Lista robotów indeksujących pochodzi z dokumentacji publikowanej przez poszczególne firmy zajmujące się sztuczną inteligencją.

Stwórz swoje reguły za pomocą powyższego generatora.