OpenAI respeitará um sinal compartilhado em robots.txt para preferências de treinamento de IA

A OpenAI anunciou em 30 de outubro de 2026 que respeitará um sinal compartilhado no robots.txt, arquivo que os sites usam para expressar preferências sobre como seu conteúdo é utilizado, permitindo que operadores de sites comuniquem uma única preferência de treinamento de IA a vários provedores participantes ao mesmo tempo.

Um sinal voluntário compartilhado entre provedores

No anúncio, a OpenAI descreveu a iniciativa como voluntária e disse que ela elimina um ônus existente: até agora, os operadores de sites precisavam identificar rastreadores individualmente e manter regras separadas para cada provedor. Segundo a empresa, um sinal compartilhado permite que editores e operadores de sites comuniquem a mesma preferência a vários provedores participantes ao mesmo tempo. A OpenAI afirmou que pretende implementar o sinal nos próximos meses e que divulgará uma nova atualização com detalhes da implementação quando isso acontecer.

A empresa afirmou que o novo sinal não substituirá os controles que já oferece por meio do robots.txt, que continuarão em vigor e serão respeitados. A OpenAI apresentou a iniciativa como uma contribuição ao trabalho em andamento do grupo de trabalho de Preferências de IA da Internet Engineering Task Force, disse que está se juntando a outros participantes do grupo para fazer o anúncio e incentivou outros provedores de IA a respeitarem o sinal. A empresa descreveu a medida como um passo rumo a uma web aberta, onde as pessoas possam publicar e encontrar informações e os proprietários de sites tenham maneiras mais claras e simples de comunicar suas escolhas sobre o uso de seu conteúdo. Também afirmou que continuará adaptando suas práticas à medida que essas discussões sobre padrões evoluírem.

Como funciona o sinal

O sinal é definido em um Internet-Draft individual intitulado Sinal legível por máquina de preferência de treinamento (draft-kelley-aipref-training-preference-signal-00), de autoria de Kevin Kelley, da Anthropic, datado de 30 de outubro de 2026 e com vencimento em 3 de maio de 2027. O datatracker da IETF observa que um Internet-Draft individual não é endossado pela IETF e não tem status formal no processo de padronização da entidade.

De acordo com o rascunho, um operador de serviço associa preferências de uso, como “sem treinamento de IA”, a caminhos, escrevendo grupos comuns do robots.txt identificados por um token de política específico para cada finalidade na linha User-Agent. O rascunho não introduz novos nomes de diretivas nem uma nova gramática: a linguagem dos caminhos, a precedência da correspondência mais longa e a estrutura dos grupos do padrão robots.txt publicado como RFC 9309 permanecem inalteradas. Como resultado, afirma o rascunho, os analisadores já implantados na internet continuarão interpretando os sinais de gerenciamento de tráfego como antes e ignorarão grupos com tokens de política, assim como ignorariam qualquer grupo que nomeie um agente de usuário que não reconheçam.

O rascunho define o token de política entre fornecedores __usage_ai-training. No grupo de exemplo, a linha “User-Agent: __usage_ai-training” aparece junto de “Disallow: /” e “Allow: /press-kit/”, expressando uma preferência contrária ao treinamento de IA em todos os caminhos, exceto os que estão sob /press-kit/. Grupos curinga, isto é, “User-Agent: *”, não devem ser interpretados como correspondentes ao token de política; se nenhum grupo de um arquivo contiver o token, nenhuma preferência terá sido expressa.

O rascunho também afirma que o token de política não é uma diretiva de comportamento de rastreamento. Segundo o documento, as preferências de uso do conteúdo e os sinais de gerenciamento do tráfego de rastreadores são independentes e ortogonais, e acordos privados podem sobrepor-se às preferências expressas por esse mecanismo. Entre os objetivos declarados estão associações específicas por caminho, distância mínima em relação à RFC 9309, ausência de duplicação de regras em larga escala, manutenção do comportamento dos analisadores que não implementam o mecanismo e interpretação consistente entre os consumidores.

O vocabulário por trás do sinal

O significado do token acompanha o vocabulário em elaboração pelo grupo de trabalho, Um vocabulário para expressar preferências de uso de IA (draft-ietf-aipref-vocab-08), redigido por Paul Keller, da Open Future, e Martin Thomson, da Mozilla, e atualizado pela última vez em setembro de 2026 como documento do grupo de trabalho destinado a se tornar um Padrão Proposto. Esse vocabulário define Treinamento de IA como o uso de um recurso para modificar os parâmetros aprendidos de um modelo de IA generativa, excluindo o treinamento de modelos usados exclusivamente em tarefas não generativas. Também define modelo de IA generativa como aquele usado, ou disponibilizado para uso, para gerar conteúdo sintético em uma ou mais modalidades.

O vocabulário também define uma categoria distinta, Uso de IA, que abrange recursos usados como entrada de um modelo de IA generativa, em vez de serem fornecidos diretamente por um usuário, e uma categoria de Busca, destinada a aplicações cuja finalidade principal é selecionar recursos e direcionar os usuários aos locais onde estão disponíveis. Cada categoria recebe um valor de preferência: permitido, não permitido ou desconhecido; quando há declarações conflitantes, prevalece a preferência mais restritiva. O rascunho do vocabulário afirma que não garante o cumprimento das preferências e deixa a decisão de segui-las a cargo do destinatário; uma nota aos leitores ressalta que seu conteúdo ainda não reflete o consenso do grupo de trabalho. Uma seção cuja inclusão ainda consta como questão em aberto afirma que cumprir as preferências de treinamento inclui transmitir, junto com um modelo quando ele é distribuído, as preferências associadas aos recursos usados no treinamento.

Os agradecimentos no rascunho do sinal de treinamento citam os copresidentes do grupo de trabalho, Mark Nottingham, da Cloudflare, e Suresh Krishnan, da Cisco; os editores do vocabulário, Thomson e Keller; e o diretor responsável pela área, Mike Bishop, da Akamai. Também listam participantes individuais, com suas afiliações indicadas apenas para fins de identificação, pois os participantes da IETF contribuem como indivíduos. Eles vêm de organizações como OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation e Creative Commons.

Controles existentes de rastreadores da OpenAI

A documentação sobre rastreadores da OpenAI, que, segundo a empresa, continuará em vigor junto com o novo sinal, descreve o GPTBot como o agente que rastreia conteúdo que pode ser usado no treinamento de seus modelos fundamentais de IA generativa; desautorizar o GPTBot indica que o conteúdo de um site não deve ser usado para esse treinamento. O OAI-SearchBot exibe sites nos recursos de busca do ChatGPT, e os sites que optarem por não permitir seu acesso não aparecerão nas respostas da busca do ChatGPT, embora ainda possam aparecer como links de navegação. O OAI-AdsBot verifica a segurança das páginas da Web enviadas como anúncios no ChatGPT, e os dados que coleta não são usados para treinar modelos fundamentais de IA generativa. O ChatGPT-User processa visitas a páginas desencadeadas por ações do usuário no ChatGPT, em vez de rastreamentos automáticos, e a documentação observa que as regras do robots.txt podem não se aplicar a essas visitas.

Segundo a documentação, cada configuração é independente das demais. Assim, um administrador de site pode permitir que o OAI-SearchBot apareça nos resultados de busca e, ao mesmo tempo, desautorizar o GPTBot para fins de treinamento. Os ajustes na busca podem levar cerca de 24 horas após a atualização do robots.txt de um site. A OpenAI afirmou que compartilhará detalhes da implementação do sinal compartilhado quando o implementar, nos próximos meses.