OpenAI will ein gemeinsames Robots.txt-Signal für Präferenzen zum KI-Training berücksichtigen

OpenAI gab am 30. Oktober 2026 bekannt, dass das Unternehmen ein gemeinsames Signal in robots.txt berücksichtigen wird. In dieser Datei können Websites ihre Präferenzen dazu angeben, wie ihre Inhalte verwendet werden. So können Websitebetreiber mehreren teilnehmenden Anbietern gleichzeitig eine einheitliche Präferenz zum KI-Training mitteilen.

Ein freiwilliges Signal für mehrere Anbieter

In seiner Ankündigung bezeichnete OpenAI das Vorhaben als freiwillig und erklärte, es solle eine bestehende Belastung verringern: Bislang mussten Websitebetreiber einzelne Crawler ermitteln und für jeden Anbieter separate Regeln pflegen. Ein gemeinsames Signal ermögliche es Verlagen und Websitebetreibern, mehreren teilnehmenden Anbietern gleichzeitig dieselbe Präferenz mitzuteilen, so das Unternehmen. OpenAI erklärte, das Signal in den kommenden Monaten einführen zu wollen. Sobald dies geschehen sei, werde das Unternehmen ein weiteres Update mit Einzelheiten zur Umsetzung veröffentlichen.

Das Unternehmen erklärte, das neue Signal werde die bereits über robots.txt bereitgestellten Kontrollen nicht ersetzen; diese würden weiterhin gelten und respektiert. OpenAI stellte den Schritt als Beitrag zur laufenden Arbeit der Arbeitsgruppe „AI Preferences“ der Internet Engineering Task Force dar. Das Unternehmen erklärte, sich gemeinsam mit anderen Mitgliedern der Arbeitsgruppe zu der Ankündigung geäußert zu haben, und rief weitere KI-Anbieter dazu auf, das Signal zu berücksichtigen. OpenAI beschrieb den Schritt als Fortschritt hin zu einem offenen Web, in dem Menschen Informationen veröffentlichen und entdecken können und Websitebetreiber klarere und einfachere Möglichkeiten haben, ihre Entscheidungen zur Nutzung ihrer Inhalte mitzuteilen. Zudem erklärte das Unternehmen, seine Praktiken weiter an die Entwicklung der Gespräche über diese Standards anzupassen.

So funktioniert das Signal

Das Signal ist in einem individuellen Internet-Draft mit dem Titel Maschinenlesbares Signal für Trainingspräferenzen (draft-kelley-aipref-training-preference-signal-00) definiert. Verfasst wurde der Entwurf von Kevin Kelley von Anthropic. Er datiert vom 30. Oktober 2026 und läuft am 3. Mai 2027 aus. Laut dem Datentracker der IETF wird ein individueller Internet-Draft nicht von der IETF unterstützt und hat im formellen Standardisierungsprozess der IETF keinen offiziellen Status.

Dem Entwurf zufolge verknüpft ein Dienstbetreiber Nutzungspräferenzen wie „kein KI-Training“ mit bestimmten Pfaden, indem er gewöhnliche robots.txt-Gruppen verwendet, die über ein zweckspezifisches Richtlinien-Token in der User-Agent-Zeile gekennzeichnet sind. Der Entwurf führt weder neue Namen für Direktiven noch eine neue Grammatik ein: Die Pfadsyntax, der Vorrang des längsten übereinstimmenden Pfads und die Gruppenstruktur des als RFC 9309 veröffentlichten robots.txt-Standards bleiben unverändert. Daher werden bestehende Parser, die im Internet eingesetzt werden, Signale zur Steuerung des Datenverkehrs laut dem Entwurf weiterhin wie bisher interpretieren. Gruppen mit Richtlinien-Token werden sie ignorieren, wie sie auch jede Gruppe ignorieren würden, die einen ihnen unbekannten User-Agent bezeichnet.

Der Entwurf definiert das anbieterübergreifende Richtlinien-Token __usage_ai-training. In seinem Beispiel wird die Zeile „User-Agent: __usage_ai-training“ mit „Disallow: /“ und „Allow: /press-kit/“ kombiniert. Damit wird eine Präferenz gegen KI-Training für alle Pfade ausgedrückt, mit Ausnahme derjenigen unter /press-kit/. Gruppen mit Platzhaltern, also „User-Agent: *“, dürfen nicht so interpretiert werden, als würden sie dem Richtlinien-Token entsprechen. Enthält keine Gruppe in einer Datei das Token, wurde keine Präferenz ausgedrückt.

Der Entwurf stellt außerdem klar, dass das Richtlinien-Token keine Direktive für das Crawling-Verhalten ist. Präferenzen zur Nutzung von Inhalten und Signale zur Steuerung des Crawler-Datenverkehrs seien voneinander unabhängig und orthogonal. Private Vereinbarungen könnten die über diesen Mechanismus ausgedrückten Präferenzen außer Kraft setzen. Zu den genannten Zielen gehören pfadspezifische Zuordnungen, eine möglichst geringe Abweichung von RFC 9309, der Verzicht auf umfangreiche Regelduplikate, unverändertes Verhalten bei Parsern, die den Mechanismus nicht implementieren, sowie eine einheitliche Interpretation durch verschiedene Nutzer.

Das Vokabular hinter dem Signal

Die Bedeutung des Tokens richtet sich nach dem Vokabularentwurf der Arbeitsgruppe mit dem Titel Ein Vokabular zum Ausdruck von Präferenzen für die KI-Nutzung (draft-ietf-aipref-vocab-08). Verfasst wurde er von Paul Keller von Open Future und Martin Thomson von Mozilla; zuletzt aktualisiert wurde er im September 2026. Das Dokument der Arbeitsgruppe ist als vorgeschlagener Standard vorgesehen. Darin wird KI-Training als die Verwendung einer Ressource zur Veränderung der erlernten Parameter eines generativen KI-Modells definiert. Ausgenommen ist das Training von Modellen, die ausschließlich für nichtgenerative Aufgaben eingesetzt werden. Ein generatives KI-Modell ist demnach ein Modell, das dazu verwendet wird oder zur Verwendung bereitgestellt wird, synthetische Inhalte in einer oder mehreren Modalitäten zu erzeugen.

Das Vokabular definiert außerdem eine separate Kategorie für die KI-Nutzung. Sie umfasst Ressourcen, die als Eingabe für ein generatives KI-Modell verwendet werden, statt direkt von einem Nutzer bereitgestellt zu werden. Eine weitere Kategorie, „Suche“, betrifft Anwendungen, deren Hauptzweck darin besteht, Ressourcen auszuwählen und Nutzer zu deren Speicherorten zu leiten. Für jede Kategorie ist als Präferenzwert „zulässig“, „unzulässig“ oder „unbekannt“ vorgesehen. Bei widersprüchlichen Angaben gilt die restriktivste Präferenz. Der Vokabularentwurf stellt klar, dass er nicht sicherstellt, dass Präferenzen befolgt werden, und überlässt dem Empfänger die Entscheidung, ob er sie berücksichtigt. Ein Hinweis an die Leser warnt, dass der Inhalt noch nicht den Konsens der Arbeitsgruppe widerspiegelt. In einem Abschnitt, dessen Aufnahme weiterhin als offener Punkt geführt wird, heißt es, dass die Einhaltung von Trainingspräferenzen auch bedeutet, die mit Trainingsressourcen verbundenen Präferenzen zusammen mit einem Modell zu übermitteln, wenn dieses verbreitet wird.

In den Danksagungen zum Entwurf des Trainingssignals werden die Vorsitzenden der Arbeitsgruppe, Mark Nottingham von Cloudflare und Suresh Krishnan von Cisco, die Redakteure des Vokabulars, Thomson und Keller, sowie der zuständige Bereichsdirektor Mike Bishop von Akamai genannt. Außerdem werden einzelne Teilnehmer aufgeführt, deren Zugehörigkeit zu Organisationen lediglich der Identifizierung dient, da IETF-Teilnehmer als Einzelpersonen mitwirken. Zu den genannten Organisationen gehören OpenAI, Google, Microsoft, Meta, Cloudflare, die Common Crawl Foundation, News Corp, die Financial Times, die BBC, die Electronic Frontier Foundation und Creative Commons.

Bestehende Crawler-Steuerungsmöglichkeiten von OpenAI

Die Dokumentation zu den Crawlern von OpenAI, die dem Unternehmen zufolge neben dem neuen Signal weiterhin gilt, beschreibt GPTBot als den Agenten, der Inhalte abruft, die zum Training der generativen KI-Grundlagenmodelle des Unternehmens verwendet werden könnten. Wird GPTBot durch einen Disallow-Eintrag ausgeschlossen, bedeutet dies, dass die Inhalte einer Website nicht für dieses Training verwendet werden sollen. OAI-SearchBot macht Websites in den Suchfunktionen von ChatGPT auffindbar. Websites, die dessen Zugriff ablehnen, werden in den ChatGPT-Suchergebnissen nicht angezeigt, können aber weiterhin als Navigationslinks erscheinen. OAI-AdsBot prüft die Sicherheit von Webseiten, die als Anzeigen auf ChatGPT eingereicht werden; die von ihm erfassten Daten werden nicht zum Training generativer KI-Grundlagenmodelle verwendet. ChatGPT-User ruft Seiten auf, wenn Nutzer in ChatGPT entsprechende Aktionen ausführen, statt sie automatisch zu crawlen. Laut Dokumentation gelten robots.txt-Regeln möglicherweise nicht für solche Seitenaufrufe.

Laut Dokumentation ist jede Einstellung unabhängig von den anderen. Webmaster können daher zulassen, dass OAI-SearchBot in Suchergebnissen erscheint, und zugleich GPTBot für Trainingszwecke ausschließen. Änderungen an der Suche können nach einer Aktualisierung der robots.txt einer Website etwa 24 Stunden dauern. OpenAI erklärte, Einzelheiten zur Umsetzung des gemeinsamen Signals mitzuteilen, sobald das Unternehmen es in den kommenden Monaten implementiert.