Google planeja oferecer suporte a um controle compartilhado de treinamento de IA no robots.txt

Em 30 de outubro de 2026, o Google anunciou que planeja oferecer suporte a um controle compartilhado de treinamento de IA no robots.txt, dando aos proprietários de sites uma forma única de expressar suas preferências de treinamento para vários provedores de IA. O compromisso veio acompanhado de anúncios feitos no mesmo dia pela Microsoft e pela OpenAI.

Como o Google aplicará o controle

O plano foi apresentado em uma publicação no blog do Google Search Central por John Mueller, defensor da Pesquisa Google. O controle se baseia no trabalho do grupo de trabalho AI Preferences da Internet Engineering Task Force (IETF) e amplia o Google-Extended, controle de treinamento de IA que, segundo o Google, é oferecido desde 2023.

Em vez de gerenciar instruções separadas para cada desenvolvedor de IA, os proprietários de sites poderão usar um token de política compartilhado no robots.txt para definir preferências gerais válidas para os provedores de IA participantes. Quando um site usar o token para recusar o treinamento e não tiver especificado explicitamente o Google-Extended, o Google planeja interpretar isso como se o editor tivesse desautorizado o Google-Extended. Outros provedores de IA poderão lidar com o sinal de forma semelhante, permitindo que os proprietários recusem o treinamento para todos os provedores participantes de uma só vez ou escolham quais incluir.

Segundo a publicação, os controles específicos de cada empresa continuarão funcionando junto com o sinal conjunto. Assim, os proprietários de sites poderão expressar uma preferência geral por meio do sinal do setor e, ao mesmo tempo, adaptar as instruções para desenvolvedores específicos usando controles como o Google-Extended. Sites que autorizarem especificamente o Google-Extended poderão aparecer em respostas e receber cliques por meio da fundamentação nos Gemini Apps.

O Google afirmou que a proposta reflete o retorno de editores, grupos da sociedade civil, órgãos reguladores e outras partes interessadas, que vêm pedindo controles para o setor como um todo sobre o treinamento de IA, e que o apoio dos principais provedores de IA resultaria em um padrão duradouro, aplicável a todo o setor. A empresa também afirmou que a proposta está de acordo com o Código de Boas Práticas da UE para fornecedores de modelos de IA de propósito geral, previsto no Regulamento de IA da UE, que reconhece o robots.txt como um dos principais meios para que editores da web expressem preferências legíveis por máquina. O Google pretende oferecer suporte ao novo controle em 2027, junto com outros provedores de IA, e afirmou que divulgará atualizações sobre seu progresso.

A OpenAI assumiu um compromisso semelhante no mesmo dia. O anúncio da OpenAI afirmou que a empresa respeitará o sinal comum do robots.txt, pretende implementá-lo nos próximos meses e manterá seus controles atuais para rastreadores, que continuarão sendo respeitados. A OpenAI afirmou que, com o anúncio, estava se juntando aos demais participantes do grupo de trabalho AI Preferences e incentivou outros provedores de IA a respeitar o sinal.

O rascunho do IETF por trás do sinal

O mecanismo está especificado em um rascunho da Internet intitulado “Sinal de preferência de treinamento legível por máquina”, de autoria de Kevin Kelley, da Anthropic, e datado de 30 de outubro de 2026. O documento destina-se à trilha de padronização e expira em 3 de maio de 2027; de acordo com o IETF Datatracker, trata-se de uma submissão individual, sem endosso do IETF e sem status formal no processo de padronização.

De acordo com o rascunho, um operador de serviço associa preferências de uso a caminhos escrevendo grupos comuns no robots.txt, identificados por um token de política específico para cada finalidade, __usage_ai-training, na linha User-Agent. O grupo de exemplo do rascunho expressa uma preferência contra o treinamento de IA para todo o site, exceto nos caminhos dentro de /press-kit/. O mecanismo não introduz novos nomes de diretivas nem uma nova gramática: a linguagem dos caminhos, a precedência da correspondência mais longa e a estrutura de grupos do padrão robots.txt, RFC 9309, permanecem inalteradas. Assim, analisadores já implantados na internet ignorarão os grupos com tokens de política que não reconhecem. Grupos curinga, aqueles com User-Agent: *, não devem ser interpretados como correspondentes ao token de política; e um arquivo robots.txt sem um grupo __usage_ai-training não expressa preferência alguma.

O significado do token deriva da definição de treinamento de IA do vocabulário AIPREF: “Usar um ativo para modificar os parâmetros aprendidos de um modelo de IA generativa.” A definição exclui o treinamento de modelos usados exclusivamente em tarefas não generativas, mesmo quando o modelo é capaz de realizar tarefas generativas. O rascunho também ressalta que o token expressa uma preferência sobre o uso de conteúdo, e não uma diretiva sobre o comportamento de rastreamento, embora os consumidores possam usar as preferências para orientar o rastreamento; expressões específicas devem prevalecer sobre as gerais, e acordos privados podem se sobrepor às preferências expressas.

Kelley anunciou o rascunho na lista de discussão ai-control do IETF em 30 de outubro de 2026 e escreveu que a Anthropic já começou a implementar o suporte a ele. Ele descreveu o trabalho como um complemento aos controles atuais de rastreamento da Anthropic, e não como um substituto.

A adoção pela Microsoft e as datas de transição

A Microsoft anunciou sua adoção no mesmo dia, em uma publicação no blog do Bing de Krishna Madhavan, gerente principal de produtos do Microsoft Bing. A Microsoft afirmou ter sido a primeira empresa a oferecer aos editores controles para treinamento de IA e fundamentação, citando as tags NoArchive e NoCache, que introduziu em 2023.

A Microsoft está adotando a preferência compartilhada de treinamento de IA para sites e caminhos e estendendo-a ao nível da página por meio de metatags e cabeçalhos de resposta HTTP, além de adicionar uma preferência separada de fundamentação de IA no nível da página. Além de Allow e Disallow, a preferência de fundamentação adiciona uma nova opção, DisallowExtended, que limita o uso da fundamentação às experiências operadas pela Microsoft, como AI Mode, AI Overview, Copilot e Microsoft 365, excluindo os serviços de fundamentação que a Microsoft oferece a terceiros, como Web IQ e a fundamentação por meio do acesso à API no Foundry. Por padrão, ambas as preferências são Allow quando nenhuma preferência é publicada. A Microsoft alertou que selecionar Disallow ou DisallowExtended para a fundamentação reduz a visibilidade da marca em experiências de IA; as preferências não alteram a elegibilidade para aparecer nos resultados tradicionais da Pesquisa do Bing nem estabelecem acordos de licenciamento ou pagamento.

As novas preferências substituirão NoArchive e NoCache para treinamento e fundamentação e começarão a valer em 1º de fevereiro de 2027, à medida que a Microsoft rastrear os sites. As preferências temporárias de transição para fundamentação ficarão disponíveis no Bing Webmaster Tools em 15 de dezembro de 2026 para sites que, nessa data, estiverem usando as tags antigas. Esses sites deverão publicar suas novas preferências e registrar uma preferência temporária de fundamentação antes de 1º de março de 2027; depois dessa data, NoArchive e NoCache deixarão de ser interpretadas como preferências para treinamento ou fundamentação. As preferências temporárias permanecerão em vigor até que a Microsoft rastreie novamente uma página e detecte a nova preferência de fundamentação ou até 30 de setembro de 2027, o que ocorrer primeiro.