Herramienta gratuita

Generador gratuito de reglas para rastreadores de IA para el archivo robots.txt

El generador crea las reglas del archivo robots.txt para cada rastreador de IA, desde los bots de entrenamiento hasta la búsqueda mediante IA, así como el texto legible por máquina y la opción de exclusión de la minería de datos que exigen los tribunales de la UE.

Crea tus reglas para el rastreador de IA Generar una política de uso aceptable
  • Reglas del archivo robots.txt
  • Cláusula de exclusión voluntaria de la UE (TDMRep)
  • Señales de contenido
  • Cláusula sobre condiciones

Crea tus reglas para el rastreador de IA.

Sigue los 3 pasos y copia los resultados en el paso 4.

Cuéntanos algo sobre tu página web

Uno por línea, como /admin/ o /cart/. Los motores de búsqueda también los omiten.

Elige qué pueden hacer los rastreadores de IA

Formación en IA

Rastreadores que recopilan páginas para entrenar modelos de inteligencia artificial.

Selecciona los rastreadores uno por uno
Búsqueda y respuestas con IA

Rastreadores que indexan páginas para que los asistentes de IA las citen y incluyan enlaces a ellas en sus respuestas.

Selecciona los rastreadores uno por uno
Lo busca cuando alguien lo pide

Programas que abren una página porque alguien le ha preguntado al asistente de IA sobre ella.

Selecciona los rastreadores uno por uno

Elige dónde se aplican las normas

Los rastreadores bloqueados no pueden acceder a
¿Quién visita tu página web?

Cada rastreador de IA, tal y como lo definen tus reglas. Los rastreadores bloqueados aparecen marcados.

Copia las reglas de tu rastreador de IA

Revisa las normas antes de publicarlas. Se incluyen a continuación de tus respuestas anteriores.

Introduce la URL de tu sitio web para ver las reglas de tu archivo robots.txt.

El generador elabora normas a partir de tus respuestas, de la documentación sobre rastreadores que publica cada empresa de IA, del protocolo TDMRep del W3C y de la Política de señales de contenido de Cloudflare. No se trata de asesoramiento jurídico. El archivo robots.txt es una solicitud que deben respetar los rastreadores que se comportan correctamente, y los tribunales siguen sin ponerse de acuerdo sobre qué se considera una exclusión válida.

Dónde añadir las reglas de tu rastreador de IA.

Los rastreadores leen las reglas en direcciones fijas de tu página web. Añade cada archivo una sola vez y, después, compruébalo cada pocos meses.

  1. robots.txt. Sube el archivo a la raíz de tu sitio web, en la ruta /robots.txt. Añade los grupos de IA a tu archivo actual, si lo tienes, y mantén un único grupo «User-agent: *».

  2. Tu plataforma web. Ya sea en WordPress, Shopify, Wix o Squarespace, edita el archivo robots.txt en la configuración de SEO o mediante un plugin de SEO, ya que es la plataforma la que genera dicho archivo.

  3. tdmrep.json. Sube el archivo a /.well-known/tdmrep.json. En algunos servidores, debes crear tú mismo la carpeta .well-known.

  4. Tus condiciones. Añade la cláusula a tus Términos y condiciones, para que la reserva quede reflejada tanto por escrito como en los archivos.

  5. Tu CDN o proveedor de alojamiento. Activa la configuración de bots de tu proveedor de alojamiento o CDN, como Cloudflare, para bloquear los rastreadores que ignoran el archivo robots.txt.

  6. Un recordatorio. Revisa la lista de rastreadores cada pocos meses: las empresas de IA añaden nuevos rastreadores y cambian el nombre de los ya existentes.

Las normas

Lo que establecen las normas.

En cada fila se indica una ley, una resolución o una norma, cuando sea aplicable, y qué implica para tu derecho de exclusión voluntaria.

Leyes, resoluciones y normas relativas a la exclusión voluntaria del entrenamiento de la IA, cuándo se aplica cada una de ellas y qué implica dicha exclusión voluntaria
Ley, resolución o norma Cuando sea aplicable Qué significa esto para ti
Directiva de la UE sobre derechos de autor (2019/790), artículo 4, apartado 3 Minería de texto y datos de contenidos publicados en línea en la UE, incluido el entrenamiento de la inteligencia artificial. La ley permite a cualquier persona extraer contenido al que se pueda acceder legalmente, salvo que el titular de los derechos se reserve dicho derecho de forma adecuada, por ejemplo, mediante medios legibles por máquina en el caso del contenido en línea.
Ley de la UE sobre la IA (2024/1689), artículo 53, y el Código de buenas prácticas sobre la IA de uso general Proveedores de modelos de IA de uso general comercializados en el mercado de la UE a partir del 2 de agosto de 2025. Los proveedores deben contar con una política para detectar y respetar las reservas de derechos. Los signatarios del código utilizan rastreadores que respetan el archivo robots.txt y realizan esfuerzos razonables para cumplir con otros protocolos legibles por máquina.
Kneschke contra LAION, Tribunal Regional Superior de Hamburgo, 10 de diciembre de 2025 Una reserva que figura únicamente en las condiciones de la página web. Hay un recurso pendiente ante el Tribunal Federal de Justicia. El tribunal consideró que no se había demostrado que la reserva en lenguaje natural fuera legible por máquina en el momento en que se copiaron las imágenes. Utiliza el archivo robots.txt o TDMRep, no solo palabras.
DPG Media contra HowardsHome, Juzgado de Primera Instancia de Ámsterdam, 30 de octubre de 2024 Un archivo robots.txt en el que se mencionan algunos rastreadores de IA. Hay un recurso pendiente. El bloqueo de los bots mencionados no reservaba derechos frente a un rastreador que no figurara en el archivo. Una reserva para todos, como TDMRep, cubre a los rastreadores que no conoces.
Asunto «Like Company contra Google», Tribunal de Justicia de la UE, asunto C-250/25 Pendiente. Remitido por un tribunal húngaro en 2025. El tribunal determinará si el entrenamiento de un modelo de inteligencia artificial constituye una copia de contenidos y si la excepción relativa a la extracción de texto y datos lo ampara.
Protocolo de exclusión de robots (RFC 9309) Cualquier rastreador que decida seguirlo. Los rastreadores leen el archivo /robots.txt y siguen al grupo que se les indica, o al grupo *. Se trata de una recomendación, no de un control de acceso.

Generador de políticas de uso aceptable

Prohíbe el «scraping» en tu Política de uso aceptable.

El generador de políticas de uso aceptable de TermsFeed incluye una norma opcional que prohíbe el scraping, el rastreo o la extracción de datos de tu sitio web o servicio mediante medios automatizados, salvo a través de las funciones que tú mismo facilites. Añade la cláusula sobre entrenamiento de IA como una norma propia.

Generar una política de uso aceptable

Preguntas frecuentes.

Respuestas a preguntas frecuentes sobre cómo bloquear los rastreadores de IA.

¿Cómo puedo bloquear los rastreadores de IA en mi página web?

Añade un grupo para cada rastreador de IA a tu archivo robots.txt con la entrada Disallow: /, y mantén abierto el grupo User-agent: * para los motores de búsqueda.

  • Asigna un nombre a cada rastreador, como GPTBot, ClaudeBot o CCBot.
  • Añade la cláusula de exclusión de la UE sobre minería de datos y texto (TDMRep), que cubre los rastreadores a los que no hayas asignado un nombre.
  • Utiliza la configuración de bots de tu proveedor de alojamiento o CDN para los rastreadores que ignoren el archivo robots.txt.

¿Afectará negativamente a mi posicionamiento en los buscadores el hecho de bloquear los rastreadores de IA?

No, bloquear los rastreadores de entrenamiento de IA no afecta a los motores de búsqueda.

  • Google afirma que Google-Extended no afecta a la Búsqueda de Google ni a los rankings.
  • Apple afirma que las páginas que bloquean a Applebot-Extended siguen apareciendo en sus resultados de búsqueda.
  • Bloquear los rastreadores de búsqueda de IA, como OAI-SearchBot o PerplexityBot, hace que tus páginas dejen de aparecer en esas respuestas de IA.

¿El archivo robots.txt impide el acceso a los rastreadores de IA?

El archivo robots.txt es una solicitud. Los rastreadores que se comportan correctamente la respetan, pero nada obliga a los demás a hacerlo.

  • OpenAI, Meta, Perplexity y Amazon afirman que sus rastreadores, que abren una página para un usuario, no siempre respetan el archivo robots.txt.
  • Algunos rastreadores ocultan su nombre.
  • Para bloquear los rastreadores de verdad, utiliza la configuración de bots de tu proveedor de alojamiento o CDN, o las reglas del cortafuegos.

¿Qué son «Google-Extended» y «Applebot-Extended»?

Son nombres del archivo robots.txt que controlan el entrenamiento de la IA, no rastreadores independientes.

  • Googlebot y Applebot rastrean tus páginas como de costumbre.
  • Bloquear «Google-Extended» evita que las páginas se utilicen para el entrenamiento y la validación de Gemini.
  • Al bloquear «Applebot-Extended», se evita que se incluyan en el entrenamiento de modelos de Apple.

¿Qué es TDMRep?

TDMRep es un protocolo comunitario del W3C para reservar derechos de minería de texto y datos en formato legible por máquina.

  • Utiliza un archivo ubicado en /.well-known/tdmrep.json, una metaetiqueta HTML o un encabezado HTTP.
  • tdm-reservation: 1 significa que los derechos están reservados.
  • Se aplica a todas las empresas de IA, por lo que abarca a los rastreadores que no aparecen mencionados en tu archivo robots.txt.

¿El generador de reglas para rastreadores de IA es gratuito?

Sí, el generador de reglas AI Crawler es gratuito.

  • No es necesario crear una cuenta para utilizar el generador.
  • La lista de rastreadores procede de la documentación que publica cada empresa de IA.

Crea tus reglas con el generador anterior.