Ângulo de Anderson
O canário que revela o tráfego de IA

Pontos-chaveApenas o bot do DuckDuckGo respeitou o robots.txt, enquanto o Kimi rotacionou IDs…
Ver mais
- Apenas o bot do DuckDuckGo respeitou o robots.txt, enquanto o Kimi rotacionou IDs falsos de navegador para evitar detecção.
- Muitos sistemas de IA, como Claude e Grok, usaram secretamente raspadores de mecanismos de busca de terceiros sem divulgação pública.
- A remoção das páginas de origem não impediu que os chatbots reproduzissem dados plantados devido ao cache persistente.
Em um novo estudo, pesquisadores esconderam frases únicas em sites e pegaram chatbots de IA repetindo-as, expondo pipelines de raspagem ocultos e, aparentemente, práticas enganosas de algumas das maiores empresas de IA.
As empresas de IA estão lutando para obter vantagem em uma corrida que é prevista ser brutalmente redutiva; portanto, elas realmente, realmente querem raspar seu site para obter dados de treinamento para alimentar seus modelos de IA. Às vezes constantemente; frequentemente em violação dos seus desejos expressos; e frequentemente disfarçados como leitores humanos casuais, ou como bots “amigáveis” como o GoogleBot, em vez de revelar sua verdadeira identidade como raspadores de dados de IA.
Atualmente, estima-se que raspadores de IA automatizados projetados para sugar novos dados de treinamento e responder às demandas imediatas dos usuários pelas notícias mais recentes por meio de RAG superarão os humanos em número dentro de um ano.
Essa busca voraz, incessante e repetitiva por dados está acontecendo parcialmente devido à necessidade de cada entidade de IA ter sua própria cópia atualizada da internet, em vez de repositórios cada vez mais desatualizados, como o Common Crawl; e, talvez, porque as empresas temem a vinda de restrições legais e precisam começar a lavagem de propriedade intelectual o mais cedo possível.
Além disso, ao sondar constantemente tantos sites potencialmente úteis quanto possível, as empresas de IA podem esperar melhorar sua capacidade atualmente não muito boa de responder de forma informativa e precisa a acontecimentos de última hora e situações em evolução.
Em qualquer caso, parece haver algum mérito na afirmação de que essas práticas têm sido descontroladas e ingovernáveis por algum tempo.
O problema é que não é fácil provar até que ponto as empresas de IA estão dispostas a ir para saciar sua sede de dados.
Siga os dados
Uma sugestão, proposta em um novo artigo nos EUA, propõe uma variação de um método antigo de descobrir espiões, informantes e outros supostos malfeitores: expor essas pessoas a informações personalizadas que ninguém mais conhece e ver se e onde essa informação aparece. Se ninguém mais sabia sobre essa informação, então a fonte do vazamento é comprovada:

A ideia central dos pesquisadores, delineada no novo artigo, é dar a cada bot visitante uma versão ligeiramente diferente da mesma página, então perguntar aos chatbots sobre essa página e ver qual versão retorna, tornando possível rastrear quais buscas ocultas na web forneceram a resposta. Fonte
Essa abordagem popular é talvez mais conhecida através das medidas anti-pirataria adotadas pelo comitê do Oscar nos anos 2000, onde os DVDs de pré-visualização distribuídos aos membros votantes começaram a ser impressos digitalmente com IDs únicos que supostamente poderiam ser reatribuídos ao destinatário original se o filme em questão fosse vazado para a internet. Na espionagem, a técnica é conhecida como barium meal, após a prática de usar um líquido de isótopo radioativo para iluminar vasos sanguíneos em um exame médico e identificar bloqueios.
(Ironicamente, a metáfora do “canário” escolhida não é muito apropriada para o cenário que o artigo aborda, embora seja mais reconhecível do que qualquer uma das figuras de linguagem mencionadas)
No caso do novo estudo, os autores criaram vinte domínios web “armadilhas” e serviram tokens únicos a cada visitante único, para que cada um recebesse fatos diferentes (veja a segunda coluna da esquerda na imagem acima).
O objetivo era revelar a verdadeira identidade e comportamento dos raspadores de IA LLM. Em 22 sistemas LLM de produção, a técnica foi capaz de identificar confiavelmente quais raspadores estavam alimentando quais LLM, pois – com um pouco de paciência após “plantar” os signos de dados únicos – apenas fazer as perguntas certas à IA um mês ou dois depois renderia os tokens únicos.
Jogo sujo
Claro, nada disso seria necessário se não estivéssemos ainda na fase “faroeste” da IA V3, e se as empresas realmente obedecessem aos pequenos arquivos de texto que os domínios podem usar para dizer às empresas de IA para não raspar seus dados.
Como se revelou nos testes dos pesquisadores, apenas uma empresa de IA pareceu respeitar seu próprio comportamento e princípios declarados: o DuckDuckbot da DuckDuckGo foi o único agente a se representar com precisão e a parar de relatar os “dados secretos” assim que o domínio alvo foi desligado (outras empresas de IA recorreram a versões em cache e outros truques) ou o arquivo robots.txt do domínio foi alterado para recusar a raspagem de IA.
Muitos dos principais jogadores, em vez disso, simularam IDs de navegador genéricos (o mesmo que um site veria se você ou eu visitássemos) e – de acordo com o exemplo dado pela Perplexity em 2025 nessa prática – se fizeram passar pelo GoogleBot, que há muito tempo desfruta de um “passe de ouro” para os dados do site porque retornava (nota: tempo passado, porque isso está mudando) tráfego em troca de dados.
O pior infrator, de acordo com o artigo, foi o raspador que alimentava o ecossistema de IA Kimi:
‘Kimi parece ser o caso mais extremo desse comportamento: muitos agentes de usuário pareciam estar correlacionados com dados de saída do Kimi. Inferimos que o Kimi alterna entre uma grande lista de strings de agente de usuário enquanto raspa, possivelmente para evitar a detecção de bots.’
O que torna esse problema um desafio é que, quando o ChatGPT ou ferramentas semelhantes “procuram algo”, esse processo é em grande parte invisível, com as empresas oferecendo apenas relatos parciais ou baseados nas próprias declarações de como seus sistemas coletam informações ao vivo. Isso deixa os proprietários de sites sem uma maneira clara de saber quais bots estão visitando suas páginas, se essas visitas são diretas ou roteadas por meio de mecanismos de busca, ou como esses dados acabam em uma resposta final.
Os resultados do novo estudo indicam que os LLMs podem usar suas próprias entradas em cache de um domínio, suas próprias listas de SEO internas e que frequentemente usam informações dos resultados de mecanismos de busca de empresas com as quais, em muitos casos, não têm nenhuma associação pública e nenhum acordo de uso aparente.
Os autores acreditam que essa exposição é a primeira vez que um trabalho abordou a intrusão indesejada por sistemas RAG (chamadas ao vivo no tempo de inferência de LLMs que podem ou não ter um usuário humano trabalhando neles), em vez de bots de raspagem de dados em busca de material fresco para conjuntos de dados de treinamento.
O novo artigo é intitulado Identificando Raspadores de IA da Web Usando Tokens de Canário e vem de seis pesquisadores da Universidade Duke, da Universidade de Pittsburgh e da Universidade Carnegie Mellon.
Método
Os pesquisadores configuraram vinte domínios .com com sites amplamente semelhantes sob modelos comuns, como um portfólio artístico ou um site de empresa. Cada modelo continha 10 espaços reservados que seriam eventualmente preenchidos com tokens únicos para o perfil percebido de cada visitante (com base em fatores como endereço IP, impressão digital de canvas e vários outros “métodos de detecção”):

Um exemplo do modelo e espaços reservados usados no experimento. Cada visitante considerado único receberia variáveis personalizadas, persistentes e individualizadas.
Cada visitante considerado único receberia variáveis personalizadas persistentes. No caso em que o sistema detectou o retorno de um visitante anterior, as mesmas variáveis de antes seriam reapresentadas. As variáveis foram geradas com o uso da biblioteca Python Faker, bem como (não especificados) geradores de números aleatórios.
Os domínios “armadilhas” foram então submetidos a vários índices, como o Google e o Bing, e também foram vinculados a partir de outros domínios pré-existentes que os autores controlavam.
Os pesquisadores aguardaram dois meses para permitir as visitas de uma ampla variedade de robôs de mecanismos de busca e serviços semelhantes, com suas diferentes frequências de varredura, além de possíveis visitas naturais. Neste ponto, os pesquisadores agora estavam em uma posição para consultar os chatbots de IA alvo (listados abaixo):
|
|
Scripts foram construídos para consultar cada sistema, via API, quando possível. Quando isso não era possível, e quando soluções automatizadas como o Selenium eram bloqueadas pelas rotinas de detecção do portal de IA, interações manuais via as GUIs oficiais dos LLMs foram realizadas.
Após a interação inicial baseada no modelo de mensagem (veja a imagem acima), os autores seguiram com um prompt secundário projetado para eliciar o nome de uma empresa ou pessoa em um token associado.
Os experimentos foram realizados em uma de três condições: um site totalmente acessível; o site desligado; e o site com uma restrição de robots.txt que repelia a raspagem. Esses experimentos foram realizados nessa sequência exata, um após o outro, pois os estágios posteriores dependiam dos anteriores.
Finalmente, com todos os sites voltando online, a última etapa retestaria a saída do LLM em intervalos de uma semana.
Resultados
Quatro dos LLMs alvo provaram ser totalmente resistentes aos métodos dos pesquisadores, e nenhum resultado pôde ser obtido para DeepSeek, Hunyuan, GLM e Liquid.
Em relação à tendência de muitos bots de IA a se disfarçar como tráfego não-IA, os autores afirmam:
‘Além dos agentes declarados de primeira parte, vários sistemas de IA retornaram conteúdo associado a strings de agente de usuário genéricas. Observamos esse comportamento em seis dos 18 sistemas de IA para os quais obtivemos informações de agente de usuário.
‘Esse resultado sugere que alguns sistemas de IA podem obter conteúdo de site por meio de solicitações que parecem semelhantes ao tráfego de navegador comum, o que torna o bloqueio baseado em agente de usuário difícil.’
ERNIE retornou tanto Baiduspider quanto uma identidade Chrome; Grok combinou Googlebot com dois agentes de navegador; Solar usou apenas identidades de navegador; Qwen misturou Googlebot com Chrome; e Kimi foi vinculado a vários agentes de estilo de navegador.
Muitos sistemas pareciam depender de raspadores de mecanismos de busca de terceiros, em relacionamentos nem sempre divulgados. Conteúdo vinculado ao Googlebot, Bingbot e Bravebot foi retornado por dez dos 18 sistemas analisados, frequentemente em casos onde não há associação pública entre o provedor de IA e o mecanismo de busca – embora algumas ligações, como o uso do Brave pelo Claude, sejam documentadas.
Os autores argumentam que isso reflete a ingestão de resultados de busca em vez de raspagem direta, pois verificações de ASN indicaram que o tráfego originou-se das redes de mecanismos de busca esperadas, em vez de identidades falsificadas.
Isso sugere, afirma o artigo, uma camada adicional de opacidade na pipeline da web para a IA, onde bloquear raspadores de IA conhecidos pode não prevenir o uso de dados e evitar a inclusão pode exigir optar pela exclusão completa da indexação dos mecanismos de busca – uma escolha indesejável enquanto a tensão entre SEO tradicional e busca baseada em LLM ainda está longe de ser resolvida.
Somente cache
Os autores então testaram se a remoção de uma fonte afetaria a saída dos chatbots, desligando os sites de teste e consultando os sistemas novamente após um intervalo de uma semana. De acordo com o artigo, muitos chatbots continuaram a reproduzir o conteúdo “plantado” mesmo após uma semana de inatividade, indicando que as respostas estavam sendo extraídas de dados em cache, em vez de busca ao vivo.
Essa persistência foi mais evidente em sistemas vinculados a raspadores de mecanismos de busca, onde o conteúdo previamente indexado permaneceu disponível, apesar das páginas de origem não estarem mais acessíveis – embora um comportamento semelhante também tenha sido observado em sistemas associados a agentes de estilo de navegador, indicando que o cache pode se estender além das pipelines apoiadas por mecanismos de busca.
O artigo sugere que, uma vez que o conteúdo entra em um cache, seja mantido pelo chatbot ou acessado por meio de índices de busca, remover a página original não remove confiavelmente esse conteúdo das saídas subsequentes.
Conclusão
Os autores admitem que algum “vazamento” ocorrerá dessa abordagem clássica “isolada”, pois os tokens únicos destinados a um LLM podem às vezes acabar em resultados de busca (gerados pelo proprietário real dos tokens) que são então ingeridos por um segundo LLM. No entanto, em tais esquemas, a difusão desse tipo é inevitável, e a vigilância para a primeira ocorrência é o momento crítico e decisivo.
O que ainda está para ser visto é a extensão com que tal esquema poderia ser implementado em escala, especialmente porque, como os autores observam, os tokens contextualmente adequados logo se esgotariam.
No entanto, isso quase ignora o ponto, pois pode haver um limite, mesmo para a ousadia das empresas de IA em ignorar evidências claras de suas próprias mentiras sobre suas políticas de raspagem. Além disso, a menos que essas empresas optem pelo caminho potencialmente caro de alternar entre endereços IP residenciais para mascarar sua identidade, bastará que uma organização identifique e publique uma lista negra no estilo SpamHaus de IPs ou ASNs de bots de IA desonestos; o processo não precisa ser industrializado para ser eficaz.
Publicado pela primeira vez na quinta-feira, 14 de maio de 2026












