Ferramenta gratuita

Gerador gratuito de regras para o crawler de IA para o ficheiro robots.txt

O gerador cria as regras do ficheiro robots.txt para cada rastilho de IA, desde os bots de treino até à pesquisa por IA, bem como o texto legível por máquinas e a opção de exclusão da mineração de dados que os tribunais da UE exigem.

Crie as suas regras para o rastreador de IA Gerar Política de Utilização Aceitável
  • regras do robots.txt
  • Cláusula de autoexclusão da UE (TDMRep)
  • Sinais de conteúdo
  • Cláusula relativa aos termos

Crie as regras do seu rastreador de IA.

Siga os 3 passos e copie os resultados no passo 4.

Fale-nos sobre o seu site

Um por linha, como /admin/ ou /cart/. Os motores de busca também os ignoram.

Escolha o que os rastreadores de IA podem fazer

Formação em IA

Rastreadores que recolhem páginas para treinar modelos de IA.

Escolha os rastreadores um a um
Pesquisa e respostas com IA

Rastreadores que indexam páginas para que os assistentes de IA as citem e incluam links nas respostas.

Escolha os rastreadores um a um
Vai buscar quando alguém pede

Programas que abrem uma página porque alguém perguntou a um assistente de IA sobre ela.

Escolha os rastreadores um a um

Escolha onde as regras se aplicam

Os rastreadores bloqueados ficam fora de
Quem é que visita o teu site?

Cada rastreador de IA, conforme definido pelas suas regras. Os rastreadores bloqueados estão assinalados.

Copie as regras do seu rastreador de IA

Revê as regras antes de as publicares. Elas seguem-se às tuas respostas acima.

Introduza o URL do seu site para ver as regras do ficheiro robots.txt.

O gerador elabora regras com base nas suas respostas, na documentação sobre rastreadores publicada por cada empresa de IA, no protocolo TDMRep do W3C e na Política de Sinais de Conteúdo da Cloudflare. Não se trata de aconselhamento jurídico. O ficheiro robots.txt é um pedido que os rastreadores que cumprem as regras devem seguir, e os tribunais continuam a discordar sobre o que constitui uma recusa válida.

Onde adicionar as regras do seu rastreador de IA.

Os rastreadores leem as regras em endereços fixos no seu site. Adicione cada ficheiro uma vez e, depois, verifique-o de vez em quando.

  1. robots.txt. Carregue o ficheiro na raiz do seu site, na pasta /robots.txt. Adicione os grupos de IA ao seu ficheiro atual, caso já tenha um, e mantenha apenas um único grupo «User-agent: *».

  2. A plataforma do seu site. Se utilizar o WordPress, o Shopify, o Wix ou o Squarespace, edite o ficheiro robots.txt nas definições de SEO ou através de um plugin de SEO, uma vez que é a plataforma que cria esse ficheiro.

  3. tdmrep.json. Carregue o ficheiro para /.well-known/tdmrep.json. Em alguns servidores, terá de criar a pasta .well-known manualmente.

  4. Nos seus termos. Adicione a cláusula aos seus Termos e Condições, para que a reserva fique registada por escrito, tanto nos termos como nos ficheiros.

  5. A sua CDN ou fornecedor de alojamento. Ative as definições de bots do seu fornecedor de alojamento ou da sua CDN, como o Cloudflare, para bloquear os rastreadores que ignoram o ficheiro robots.txt.

  6. Um lembrete. Verifique a lista de rastreadores de vez em quando: as empresas de IA adicionam e renomeiam os rastreadores.

As regras

O que as regras exigem.

Cada linha indica uma lei, uma decisão ou uma norma, quando aplicável, e o que isso significa para a sua opção de exclusão.

Leis, decisões e normas relativas à recusa de participação na formação de IA, em que cada uma se aplica, e o que isso implica para quem opta por não participar
Lei, decisão ou norma Quando se aplica O que isso significa para si
Diretiva da UE relativa aos direitos de autor (2019/790), artigo 4.º, n.º 3 Mineração de texto e de dados de conteúdos publicados online na UE, incluindo o treino de IA. A lei permite que qualquer pessoa extraia conteúdos legalmente acessíveis, a menos que o titular dos direitos reserve esse direito de forma adequada, por exemplo, através de meios legíveis por máquina no caso de conteúdos em linha.
Lei da UE sobre a IA (2024/1689), artigo 53.º, e o Código de Conduta para a IA de uso geral Fornecedores de modelos de IA de uso geral colocados no mercado da UE, a partir de 2 de agosto de 2025. Os prestadores de serviços devem dispor de uma política que permita identificar e respeitar as reservas de direitos. Os signatários do código utilizam rastreadores que cumprem o ficheiro robots.txt e envidam esforços razoáveis para cumprir outros protocolos legíveis por máquinas.
Kneschke contra LAION, Tribunal Regional Superior de Hamburgo, 10 de dezembro de 2025 Uma reserva prevista apenas nos termos do site. Está pendente um recurso no Tribunal Federal de Justiça. O tribunal considerou que não ficou demonstrado que a reserva em linguagem natural fosse legível por máquinas no momento em que as imagens foram copiadas. Utilize o ficheiro robots.txt ou o TDMRep, e não apenas palavras.
DPG Media contra HowardsHome, Tribunal Distrital de Amesterdão, 30 de outubro de 2024 Um ficheiro robots.txt que identifica alguns rastreadores de IA. Está pendente um recurso. O bloqueio de bots específicos não garantia direitos contra um rastreador que não fosse mencionado no ficheiro. Uma restrição aplicável a todos, como o TDMRep, abrange os rastreadores que desconhece.
Like Company contra Google, Tribunal de Justiça da UE, processo C-250/25 Em pendência. Remetido por um tribunal húngaro em 2025. O tribunal irá decidir se o treino de um modelo de IA constitui uma cópia de conteúdo e se a exceção relativa à mineração de texto e de dados se aplica a esse caso.
Protocolo de Exclusão de Robôs (RFC 9309) Qualquer robô de indexação que decida segui-lo. Os rastreadores leem o ficheiro /robots.txt e seguem o grupo que lhes é indicado, ou o grupo *. Trata-se de um pedido, não de um controlo de acesso.

Gerador de Políticas de Utilização Aceitável

Proíba a prática de «scraping» na vossa Política de Utilização Aceitável.

O Gerador de Políticas de Utilização Aceitável da TermsFeed inclui uma regra opcional que proíbe a recolha, o rastreio ou a extração de dados do seu site ou serviço por meios automatizados, exceto através das funcionalidades que disponibiliza. Adicione a cláusula relativa à formação em IA como uma regra própria.

Gerar Política de Utilização Aceitável

Perguntas frequentes.

Respostas a perguntas frequentes sobre como bloquear os rastreadores de IA.

Como posso impedir que os rastreadores de IA acedam ao meu site?

Adicione um grupo para cada robô de rastreamento de IA ao seu ficheiro robots.txt com Disallow: / e mantenha o grupo User-agent: * aberto para os motores de busca.

  • Dê um nome a cada rastreador, como GPTBot, ClaudeBot ou CCBot.
  • Adicione a opção de exclusão da UE relativa à mineração de texto e dados (TDMRep), que abrange os rastreadores que não nomear.
  • Utilize as definições de bot do seu alojamento ou CDN para os rastreadores que ignoram o ficheiro robots.txt.

O facto de bloquear os rastreadores de IA prejudicará a minha classificação nos resultados de pesquisa?

Não, bloquear os rastreadores de treino de IA não afeta os motores de busca.

  • A Google afirma que o Google-Extended não afeta a Pesquisa Google nem as classificações.
  • A Apple afirma que as páginas que bloqueiam o Applebot-Extended continuam a aparecer nos seus resultados de pesquisa.
  • O bloqueio de rastreadores de pesquisa de IA, como o OAI-SearchBot ou o PerplexityBot, remove as suas páginas dessas respostas de IA.

O ficheiro robots.txt impede os rastreadores de IA?

O ficheiro robots.txt é um pedido. Os rastreadores que se comportam bem cumprem-no, mas nada obriga os outros a fazê-lo.

  • A OpenAI, a Meta, a Perplexity e a Amazon afirmam que os seus rastreadores, que abrem uma página para um utilizador, nem sempre seguem o ficheiro robots.txt.
  • Alguns rastreadores ocultam o seu nome.
  • Para bloquear os rastreadores de forma efetiva, utilize as definições de bots do seu alojamento ou CDN, ou as regras da firewall.

O que são o Google-Extended e o Applebot-Extended?

São nomes no ficheiro robots.txt que controlam o treino da IA, não são rastreadores distintos.

  • O Googlebot e o Applebot rastreiam as suas páginas como habitualmente.
  • Bloquear o Google-Extended impede que as páginas sejam incluídas no treino e na validação do Gemini.
  • O bloqueio do Applebot-Extended mantém-nas fora do treino de modelos na Apple.

O que é o TDMRep?

O TDMRep é um protocolo da comunidade W3C destinado a reservar direitos de mineração de texto e de dados num formato legível por máquina.

  • Utiliza um ficheiro em /.well-known/tdmrep.json, uma meta-etiqueta HTML ou um cabeçalho HTTP.
  • tdm-reservation: 1 significa que os direitos estão reservados.
  • Aplica-se a todas as empresas de IA, pelo que abrange os rastreadores que o seu ficheiro robots.txt não menciona.

O Gerador de Regras do AI Crawler é gratuito?

Sim, o Gerador de Regras AI Crawler é gratuito.

  • O gerador não requer a criação de uma conta.
  • A lista de crawlers provém da documentação publicada por cada empresa de IA.

Crie as suas regras com o gerador acima.