Google plant Unterstützung für eine gemeinsame Steuerung des KI-Trainings über robots.txt

Google kündigte am 30. Oktober 2026 an, eine gemeinsame Steuerungsmöglichkeit für das KI-Training in robots.txt unterstützen zu wollen. Damit erhalten Websitebetreiber eine einheitliche Möglichkeit, ihre Präferenzen für das Training bei mehreren KI-Anbietern festzulegen. Die Zusage erfolgte zeitgleich mit entsprechenden Ankündigungen von Microsoft und OpenAI.

So wird Google die Steuerungsmöglichkeit umsetzen

Der Plan wurde in einem Beitrag im Google Search Central Blog von John Mueller, einem Google Search Advocate, vorgestellt. Die Steuerungsmöglichkeit basiert auf der Arbeit der Arbeitsgruppe AI Preferences bei der Internet Engineering Task Force (IETF) und baut auf Google-Extended auf, der Steuerungsmöglichkeit für KI-Training, die Google eigenen Angaben zufolge seit 2023 anbietet.

Anstatt für jeden KI-Entwickler separate Anweisungen zu verwalten, können Websitebetreiber künftig in robots.txt ein gemeinsames Richtlinien-Token verwenden, um allgemeine Präferenzen für teilnehmende KI-Anbieter festzulegen. Nutzt eine Website das Token, um dem Training zu widersprechen, und hat Google-Extended nicht ausdrücklich angegeben, will Google dies so auslegen, als hätte der Betreiber Google-Extended untersagt. Andere KI-Anbieter können das Signal ähnlich verarbeiten. Websitebetreiber können sich so entweder gleichzeitig bei allen teilnehmenden Anbietern abmelden oder gezielt einzelne Anbieter auswählen.

Dem Beitrag zufolge gelten bestehende unternehmensspezifische Steuerungsmöglichkeiten neben dem gemeinsamen Signal weiterhin. Websitebetreiber können also über das branchenweite Signal eine allgemeine Entscheidung mitteilen und zugleich mithilfe von Steuerungsmöglichkeiten wie Google-Extended individuelle Anweisungen für einzelne Entwickler festlegen. Websites, die Google-Extended ausdrücklich erlauben, können in Antworten erscheinen und über Grounding in Gemini Apps Klicks erhalten.

Google erklärte, der Vorschlag greife Rückmeldungen von Verlagen, zivilgesellschaftlichen Gruppen, Aufsichtsbehörden und anderen Interessengruppen auf, die branchenweite Steuerungsmöglichkeiten für das KI-Training gefordert hätten. Die Unterstützung durch große KI-Anbieter würde einen dauerhaften Standard schaffen, der branchenweit funktioniert. Das Unternehmen erklärte außerdem, der Vorschlag stehe im Einklang mit dem EU-Verhaltenskodex für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck im Rahmen des EU AI Act, der robots.txt als wichtigste Methode anerkennt, mit der Webpublisher maschinenlesbare Präferenzen mitteilen können. Google will die neue Steuerungsmöglichkeit gemeinsam mit anderen KI-Anbietern 2027 unterstützen und kündigte an, über die Fortschritte zu informieren.

OpenAI gab am selben Tag eine entsprechende Zusage bekannt. In seiner Ankündigung erklärte das Unternehmen, es werde das gemeinsame robots.txt-Signal beachten, wolle es in den kommenden Monaten implementieren und seine bestehenden Steuerungsmöglichkeiten für Crawler beibehalten und weiterhin respektieren. OpenAI erklärte, es schließe sich mit der Ankündigung den anderen Teilnehmenden der Arbeitsgruppe AI Preferences an, und forderte weitere KI-Anbieter auf, das Signal zu beachten.

Der IETF-Entwurf hinter dem Signal

Der Mechanismus ist in einem Internet-Entwurf mit dem Titel „Maschinenlesbares Signal für Trainingspräferenzen“ beschrieben. Verfasst wurde er von Kevin Kelley von Anthropic; datiert ist das Dokument auf den 30. Oktober 2026. Es ist für das Standardisierungsverfahren vorgesehen und läuft am 3. Mai 2027 aus. Laut IETF Datatracker handelt es sich um einen individuellen Einreichungsvorschlag, der nicht von der IETF unterstützt wird und im Standardisierungsverfahren keinen formellen Status hat.

Dem Entwurf zufolge verknüpft ein Dienstbetreiber Nutzungspräferenzen mit Pfaden, indem er in der User-Agent-Zeile gewöhnliche robots.txt-Gruppen mit einem Token für den jeweiligen Zweck einträgt: __usage_ai-training. Die Beispielgruppe im Entwurf drückt für eine gesamte Website eine Präferenz gegen das KI-Training aus, mit Ausnahme der Pfade unter /press-kit/. Der Mechanismus führt weder neue Direktiven noch eine neue Grammatik ein: Die Pfadsprache, der Vorrang des längsten Treffers und die Gruppenstruktur des robots.txt-Standards RFC 9309 bleiben unverändert. Daher ignorieren Parser, die bereits im Internet eingesetzt werden, Gruppen mit Richtlinien-Token, die sie nicht erkennen. Wildcard-Gruppen mit User-Agent: * dürfen nicht so interpretiert werden, als würden sie auf das Richtlinien-Token zutreffen. Eine robots.txt-Datei ohne eine Gruppe mit __usage_ai-training drückt keinerlei Präferenz aus.

Das Token erhält seine Bedeutung aus der Definition von KI-Training im AIPREF-Vokabular: „Verwendung eines Assets zur Veränderung der erlernten Parameter eines generativen KI-Modells.“ Die Definition schließt das Training von Modellen aus, die ausschließlich für nicht generative Aufgaben eingesetzt werden, selbst wenn das Modell generative Aufgaben ausführen kann. Der Entwurf betont außerdem, dass das Token eine Präferenz zur Nutzung von Inhalten ausdrückt und keine Anweisung zum Crawling-Verhalten darstellt, auch wenn Empfänger die Präferenzen bei Crawling-Entscheidungen berücksichtigen können. Spezifische Angaben sollten Vorrang vor allgemeinen haben; private Vereinbarungen können mitgeteilte Präferenzen außer Kraft setzen.

Kelley kündigte den Entwurf am 30. Oktober 2026 auf der Mailingliste ai-control der IETF an und schrieb, Anthropic habe bereits mit der Implementierung begonnen. Er beschrieb die Arbeit als Ergänzung zu den bestehenden Steuerungsmöglichkeiten für Crawler von Anthropic, nicht als deren Ersatz.

Einführung und Umstellungszeitpunkte bei Microsoft

Microsoft gab seine Einführung am selben Tag in einem Beitrag im Bing-Blog von Krishna Madhavan, Principal Product Manager für Microsoft Bing, bekannt. Microsoft erklärte, es sei das erste Unternehmen gewesen, das Publishern Steuerungsmöglichkeiten für KI-Training und Grounding bereitgestellt habe, und verwies auf die Tags NoArchive und NoCache, die es 2023 eingeführt hatte.

Microsoft übernimmt die gemeinsame Präferenz für KI-Training für Websites und Pfade und weitet sie mithilfe von Meta-Tags und HTTP-Antwortheadern auf einzelne Seiten aus. Zusätzlich führt das Unternehmen eine separate Präferenz für KI-Grounding auf Seitenebene ein. Neben Allow und Disallow gibt es bei der Grounding-Präferenz die neue Option DisallowExtended. Sie beschränkt die Verwendung für Grounding auf von Microsoft betriebene Angebote wie AI Mode, AI Overview, Copilot und Microsoft 365. Ausgenommen sind Grounding-Dienste, die Microsoft Drittanbietern bereitstellt, etwa Web IQ und Grounding über den API-Zugriff in Foundry. Wenn keine Präferenz veröffentlicht wird, gilt für beide standardmäßig Allow. Microsoft warnte, dass die Auswahl von Disallow oder DisallowExtended für Grounding die Sichtbarkeit von Marken in KI-Angeboten verringert. Die Präferenzen wirken sich weder auf die Berechtigung aus, in den herkömmlichen Bing-Suchergebnissen zu erscheinen, noch begründen sie Lizenz- oder Zahlungsvereinbarungen.

Die neuen Präferenzen ersetzen NoArchive und NoCache für Training und Grounding und treten beim Crawlen durch Microsoft ab dem 1. Februar 2027 in Kraft. Für Websites, die zu diesem Zeitpunkt die älteren Tags verwenden, stehen ab dem 15. Dezember 2026 in den Bing Webmaster Tools vorübergehende Übergangspräferenzen für Grounding zur Verfügung. Diese Websites müssen ihre neuen Präferenzen veröffentlichen und vor dem 1. März 2027 eine vorübergehende Grounding-Präferenz festlegen. Danach werden NoArchive und NoCache nicht mehr als Präferenzen für Training oder Grounding berücksichtigt. Die vorübergehenden Präferenzen bleiben so lange gültig, bis Microsoft eine Seite erneut crawlt und die neue Grounding-Präferenz erkennt, oder bis zum 30. September 2027 – je nachdem, was zuerst eintritt.