Kostenloses Tool

Kostenloser KI-Crawler-Regelgenerator für robots.txt

Der Generator erstellt die „robots.txt“-Regeln für jeden KI-Crawler – von Trainings-Bots bis hin zur KI-Suche – sowie den maschinenlesbaren Text und die Opt-out-Möglichkeit für Data Mining, auf die EU-Gerichte achten.

Erstellen Sie Ihre Regeln für den KI-Crawler Richtlinie zur zulässigen Nutzung erstellen
  • „robots.txt“-Regeln
  • EU-Opt-out (TDMRep)
  • Inhaltssignale
  • Bestimmungen

Erstellen Sie Ihre Regeln für den KI-Crawler.

Führen Sie die 3 Schritte aus und kopieren Sie die Ergebnisse in Schritt 4.

Erzählen Sie uns etwas über Ihre Website

Je eine pro Zeile, zum Beispiel /admin/ oder /cart/. Auch Suchmaschinen überspringen diese.

Legen Sie fest, was KI-Crawler tun dürfen

KI-Training

Crawler, die Seiten sammeln, um KI-Modelle zu trainieren.

Wählen Sie die Crawler nacheinander aus
KI-Suche und Antworten

Crawler, die Seiten indexieren, damit KI-Assistenten diese in ihren Antworten zitieren und verlinken können.

Wählen Sie die Crawler nacheinander aus
Holt etwas, wenn jemand danach fragt

Fetcher, die eine Seite öffnen, weil jemand einen KI-Assistenten danach gefragt hat.

Wählen Sie die Crawler nacheinander aus

Wählen Sie aus, wo die Regeln gelten sollen

Blockierte Crawler bleiben fern von
Wer liest Ihre Website?

Jeder KI-Crawler wird entsprechend Ihren Regeln behandelt. Gesperrte Crawler sind gekennzeichnet.

Kopieren Sie Ihre AI-Crawler-Regeln

Lesen Sie die Regeln noch einmal durch, bevor Sie sie veröffentlichen. Sie folgen auf Ihre obigen Antworten.

Geben Sie die URL Ihrer Website ein, um die Regeln in Ihrer robots.txt-Datei anzuzeigen.

Der Generator erstellt Regeln auf der Grundlage Ihrer Antworten, der Crawler-Dokumentation der einzelnen KI-Unternehmen, des W3C-TDMRep-Protokolls und der Cloudflare Content Signals Policy. Dies stellt keine Rechtsberatung dar. Die Datei „robots.txt“ ist eine Aufforderung, der sich ordnungsgemäß funktionierende Crawler halten, und die Gerichte sind sich nach wie vor uneinig darüber, was als gültige Opt-out-Möglichkeit gilt.

Wo Sie Ihre AI-Crawler-Regeln hinzufügen können.

Crawler lesen die Regeln unter festen Adressen auf Ihrer Website aus. Fügen Sie jede Datei einmal hinzu und überprüfen Sie sie dann alle paar Monate.

  1. robots.txt. Laden Sie die Datei in das Stammverzeichnis Ihrer Website unter /robots.txt hoch. Fügen Sie die KI-Gruppen zu Ihrer aktuellen Datei hinzu, falls Sie eine haben, und behalten Sie eine einzige „User-agent: *“-Gruppe bei.

  2. Ihre Website-Plattform. Bei WordPress, Shopify, Wix oder Squarespace bearbeiten Sie die Datei „robots.txt“ in den SEO-Einstellungen oder mithilfe eines SEO-Plugins, da die Plattform diese Datei erstellt.

  3. tdmrep.json. Laden Sie die Datei unter /.well-known/tdmrep.json hoch. Auf einigen Servern müssen Sie den Ordner .well-known selbst anlegen.

  4. Ihre Bedingungen. Fügen Sie die Klausel in Ihre Allgemeinen Geschäftsbedingungen ein, damit die Reservierung sowohl in Textform als auch in den Dateien festgehalten ist.

  5. Ihr CDN oder Ihr Hosting-Anbieter. Aktivieren Sie die Bot-Einstellungen Ihres Hosting-Anbieters oder CDNs, z. B. Cloudflare, um Crawler zu blockieren, die die Datei „robots.txt“ ignorieren.

  6. Zur Erinnerung: Überprüfen Sie die Crawler-Liste alle paar Monate, da KI-Unternehmen Crawler hinzufügen und umbenennen.

Die Regeln

Was die Regeln vorschreiben.

In jeder Zeile wird ein Gesetz, eine Entscheidung oder eine Vorschrift genannt, wann diese gilt und was dies für Ihr Widerspruchsrecht bedeutet.

Gesetze, Urteile und Standards zum Verzicht auf das Training mit KI, wann diese jeweils gelten und was ein Verzicht bedeutet
Gesetz, Rechtsprechung oder Norm Wann dies gilt Was das für Sie bedeutet
EU-Urheberrechtsrichtlinie (2019/790), Artikel 4 Absatz 3 Text- und Datenauswertung von online in der EU veröffentlichten Inhalten, einschließlich KI-Training. Das Gesetz erlaubt es jedem, rechtmäßig zugängliche Inhalte zu nutzen, es sei denn, der Rechteinhaber behält sich dieses Recht in geeigneter Weise vor, beispielsweise durch maschinenlesbare Mittel für Online-Inhalte.
EU-KI-Gesetz (2024/1689), Artikel 53, und der Verhaltenskodex für Allzweck-KI Anbieter von Allzweck-KI-Modellen, die seit dem 2. August 2025 auf dem EU-Markt in Verkehr gebracht werden. Anbieter benötigen Richtlinien, um Vorbehalte hinsichtlich von Rechten zu ermitteln und zu beachten. Die Unterzeichner des Kodex verwenden Crawler, die sich an die Datei „robots.txt“ halten, und unternehmen angemessene Anstrengungen, um auch andere maschinenlesbare Protokolle einzuhalten.
Kneschke gegen LAION, Oberlandesgericht Hamburg, 10. Dezember 2025 Ein Vorbehalt, der ausschließlich in den Nutzungsbedingungen der Website enthalten ist. Beim Bundesgerichtshof ist derzeit ein Rechtsmittelverfahren anhängig. Das Gericht stellte fest, dass nicht nachgewiesen wurde, dass der in natürlicher Sprache verfasste Vorbehalt zum Zeitpunkt des Kopierens der Bilder maschinenlesbar war. Verwenden Sie „robots.txt“ oder „TDMRep“ – nicht nur Worte.
DPG Media gegen HowardsHome, Amtsgericht Amsterdam, 30. Oktober 2024 Eine „robots.txt“-Datei, in der einige KI-Crawler namentlich genannt werden. Ein Einspruch ist anhängig. Das Blockieren bestimmter Bots gewährte keine Ausnahmeregelung für einen Crawler, der in der Datei nicht namentlich genannt wurde. Eine allgemeine Ausnahmeregelung wie „TDMRep“ gilt auch für Crawler, von denen Sie nichts wissen.
Like Company gegen Google, Gerichtshof der Europäischen Union, Rechtssache C-250/25 Noch anhängig. Im Jahr 2025 von einem ungarischen Gericht verwiesen. Das Gericht wird entscheiden, ob das Trainieren eines KI-Modells eine Vervielfältigung von Inhalten darstellt und ob die Ausnahme für Text- und Data-Mining in diesem Fall greift.
Robots-Exclusion-Protokoll (RFC 9309) Jeder Crawler, der ihm folgen möchte. Crawler lesen die Datei „/robots.txt“ und folgen der Gruppe, die darin genannt wird, oder der Gruppe „*“. Es handelt sich dabei um eine Empfehlung, nicht um eine Zugriffskontrolle.

Generator für Nutzungsrichtlinien

Verbieten Sie das Scraping in Ihren Nutzungsbedingungen.

Der TermsFeed-Generator für Nutzungsrichtlinien enthält eine optionale Regel, die das Scraping, Crawling oder die Extraktion von Daten aus Ihrer Website oder Ihrem Dienst durch automatisierte Verfahren untersagt, sofern dies nicht über die von Ihnen bereitgestellten Funktionen erfolgt. Fügen Sie die Klausel zum KI-Training als eigene Regel hinzu.

Richtlinie zur zulässigen Nutzung erstellen

Häufig gestellte Fragen.

Antworten auf häufig gestellte Fragen zum Blockieren von KI-Crawlern.

Wie kann ich KI-Crawler von meiner Website fernhalten?

Fügen Sie Ihrer robots.txt-Datei für jeden KI-Crawler eine Gruppe mit dem Eintrag Disallow: / hinzu und lassen Sie die Gruppe User-agent: * für Suchmaschinen offen.

  • Geben Sie jedem Crawler einen Namen, z. B. „GPTBot“, „ClaudeBot“ oder „CCBot“.
  • Fügen Sie die EU-Opt-out-Klausel für Text- und Data-Mining (TDMRep) hinzu, die für Crawler gilt, die Sie nicht namentlich benennen.
  • Verwenden Sie die Bot-Einstellungen Ihres Hosts oder CDNs für Crawler, die die „robots.txt“-Datei ignorieren.

Beeinträchtigt das Blockieren von KI-Crawlern meine Suchrankings?

Nein, das Blockieren von Crawlern für das KI-Training hat keine Auswirkungen auf Suchmaschinen.

  • Google gibt an, dass „Google-Extended“ keinen Einfluss auf die Google-Suche oder die Rankings hat.
  • Apple gibt an, dass Seiten, die „Applebot-Extended“ blockieren, weiterhin in den Suchergebnissen erscheinen.
  • Das Blockieren von KI-Such-Crawlern wie OAI-SearchBot oder PerplexityBot führt dazu, dass Ihre Seiten aus den KI-Antworten entfernt werden.

Hält die Datei „robots.txt“ KI-Crawler auf?

robots.txt ist eine Aufforderung. Seriöse Crawler halten sich daran, die anderen sind jedoch nicht dazu verpflichtet.

  • OpenAI, Meta, Perplexity und Amazon geben an, dass ihre Crawler, die eine Seite für einen Nutzer aufrufen, sich nicht immer an „robots.txt“ halten.
  • Manche Crawler verbergen ihren Namen.
  • Um Crawler wirklich zu blockieren, nutzen Sie die Bot-Einstellungen Ihres Hosts oder CDNs oder Firewall-Regeln.

Was sind „Google-Extended“ und „Applebot-Extended“?

Es handelt sich um robots.txt-Einträge, die das Training der KI steuern, nicht um separate Crawler.

  • Googlebot und Applebot crawlen Ihre Seiten wie gewohnt.
  • Durch das Blockieren von „Google-Extended“ werden die Seiten aus dem Gemini-Training und der Modellierung ausgeschlossen.
  • Durch das Blockieren von „Applebot-Extended“ werden diese Seiten vom Modelltraining bei Apple ausgeschlossen.

Was ist TDMRep?

TDMRep ist ein W3C-Community-Protokoll zur Reservierung von Rechten für Text- und Daten-Mining in maschinenlesbarer Form.

  • Es verwendet eine Datei unter /.well-known/tdmrep.json, ein HTML-Meta-Tag oder einen HTTP-Header.
  • „tdm-reservation: 1“ bedeutet, dass die Rechte vorbehalten sind.
  • Dies gilt für jedes KI-Unternehmen und umfasst somit auch Crawler, die in Ihrer robots.txt-Datei nicht namentlich genannt sind.

Ist der AI Crawler Rules Generator kostenlos?

Ja, der AI Crawler Rules Generator ist kostenlos.

  • Für den Generator ist kein Konto erforderlich.
  • Die Crawler-Liste stammt aus der Dokumentation, die jedes KI-Unternehmen veröffentlicht.

Erstellen Sie Ihre Regeln mit dem obenstehenden Generator.