Detectando Ideias de IA, Não Texto de IA

E se existisse um detector de texto de IA que pudesse reconhecer que você escreveu algo baseado em uma ideia que a IA lhe deu – mesmo que toda a escrita real (ou seja, o texto) fosse seu próprio trabalho original?

Todos nós conhecemos detectores de texto de IA que embaraçaram celebridades e políticos, entre outros – algoritmos que estudaram as características do texto criado por IA e podem discernir esses padrões quando surgem.

Esses casos representam uma simples delegação de uma tarefa de comunicação, na qual modelos de linguagem como ChatGPT e Google Gemini preveem o próximo token provável em uma resposta ao prompt do usuário – não dando um passo atrás para observar o panorama amplo do problema ou da proposta primeiro, mas apenas adivinhando a palavra mais provável a seguir.

No entanto, esse mosaico de previsões acaba gerando uma estrutura subjacente, de acordo com pesquisas recentes: a necessidade de seções de texto adjacentes serem coerentes e relevantes entre si faz com que uma assinatura única se desenvolva no ‘esboço’ ou na dimensionalidade superior da obra – uma que pode discernir a mão da IA mesmo quando o texto é extensivamente reescrito para ‘humanizá-lo’:

A forma ‘dimensional’ distinta da escrita sob vários LLMs, e – à esquerda – escrita puramente humana. Fonte

Ideação de IA Direcionada

Uma nova colaboração acadêmica liderada pela University of Maryland avança um passo além, oferecendo uma metodologia que pode detectar se as ideias em si se originaram na IA, independentemente de quem acabou escrevendo as palavras.

A abordagem, apelidada de IdeaLens e treinada em um milhão de esboços extraídos de documentos da web, baseia‑se em reduzir cada documento a um esboço que preserva suas ideias enquanto elimina a redação – e vem com uma demo online:

À esquerda, um dos meus próprios artigos é reconhecido como humano na demo online, enquanto outro artigo que enviei (escrito por outro autor) parece ter tido considerável contribuição da IA. Fonte

Como visto nos resultados de demonstração acima, os métodos de detecção usados podem distinguir entre ideias humanas e prosa humana, e ideias de IA e prosa de IA, e avaliá‑las de forma granular e distinta – embora os dois detectores tenham sido treinados nos mesmos documentos, rótulos e arquitetura subjacente do modelo, enquanto foram projetados para detectar essencialmente coisas opostas: a proveniência das ideias e a proveniência da prosa.

Esse tipo de alcance de detecção, suspeita‑se, pode deixar nervosas várias categorias de escritores, desde redatores de discursos políticos até romancistas e colunistas, além de outros que, até o momento, valorizavam seu próprio estilo de escrita, mas permitiam que a IA alimentasse seus temas.

Uma razão pela qual os LLMs provavelmente produzirão ideias reconhecíveis (e, portanto, rastreáveis) não é apenas que certos conceitos e textos terão dominado estatisticamente os dados de treinamento subgerenciados do modelo, tornando‑os mais propensos a aparecer em uma gama mais ampla de solicitações; mas também porque os LLMs têm obsessões misteriosas e repetitivas que nem parecem estar relacionadas a dados de treinamento específicos, e ainda assim frequentemente aparecem sem ser solicitados.

Os autores afirmam*:

‘Enquanto os detectores modernos de IA identificam quem escreveu as palavras, políticas emergentes sobre o uso de IA cada vez mais dependem de uma pergunta diferente: quem concebeu as ideias? Apresentamos o IdeaLens, um detector que identifica se as ideias de um documento vieram de um humano ou de IA (proveniência das ideias), independentemente de quem escreveu suas palavras.’

‘Para focar o IdeaLens nas ideias em vez da prosa, representamos documentos como esboços: listas de itens que cada um combina um papel discursivo com uma breve descrição parafraseada do conteúdo, minimizando a sobreposição de palavras com o texto bruto.’

Dados e Métodos

O artigo afirma que o novo método pode identificar ideias humanas em documentos gerados por IA (ou seja, alguém disse a uma IA ‘Escreva-me um ensaio sobre este tópico‘); e também pode identificar ideias de IA em escrita humana (ou seja, alguém disse a uma IA ‘Sugira algo sobre o qual eu possa escrever’).

Resultados de testes em quatro combinações de ideias humanas e de IA e de prosa. Todos os quatro detectores apresentam desempenho forte quando ideias e prosa compartilham a mesma origem, mas divergem acentuadamente quando a proveniência é mista: o IdeaLens reconhece corretamente 94,7% dos documentos escritos por IA baseados em ideias humanas como de origem humana, e identifica ideias de IA em 68% das histórias escritas por humanos, comparado a apenas 8% para o Pangram 4 e 0% para o ProseLens e o EditLens-3B. Source

Detecção é mais fácil quando a proveniência é mais clara – por exemplo, quando um texto escrito por humanos se baseia em ideias geradas por IA, ou quando uma saída gerada por IA tem origem em uma ideia humana. Quando essas forças de proveniência variam, a detecção torna‑se mais difícil.

Os pesquisadores testaram essa distinção alterando gradualmente quanto do plano subjacente de um documento provém de uma pessoa. Em um experimento, modelos de IA receberam planos humanos cada vez mais detalhados, variando de pouco mais que um tópico até um esboço completo.

À medida que a contribuição humana aumentou, a taxa de sinalização de IA do IdeaLens caiu de 94,9% para 6,8%; e os detectores convencionais de prosa continuaram a identificar esmagadoramente o texto resultante como IA:

Resultados de teste mostrando o que acontece à medida que progressivamente mais do plano subjacente de um documento escrito por IA é fornecido por um humano. O IdeaLens reconhece cada vez mais a origem humana das ideias, com sua taxa de sinalização de IA diminuindo de 94,9% para um prompt apenas de tópico até 6,8% para um esboço humano completo; os detectores de texto convencionais ProseLens e Pangram ainda classificam a maior parte da escrita resultante como IA.

Como as ideias precisam ser separadas da linguagem usada para expressá‑las, e não há um grande conjunto de dados registrando quem realmente originou as ideias em um documento, os pesquisadores treinaram o IdeaLens em rótulos de escrita por IA existentes labels – mas removeram a maior parte do texto:

Como o IdeaLens separa ideias da prosa durante o treinamento e teste, comparado ao detector de texto convencional ProseLens. Um artigo de opinião de 1.321 palavras é reduzido a um esboço rotulado por função, com pontos categorizados conforme sua função, como relato de evento ou avaliação. Durante o treinamento, esses esboços foram adicionalmente parafraseados para remover a redação herdada dos documentos de origem antes que o IdeaLens aprendesse a partir dos rótulos de IA existentes do Pangram. Para novos documentos, o esboço extraído pode então ser passado diretamente ao IdeaLens para estimar a probabilidade de que as ideias sejam derivadas de IA. A parte inferior da figura mostra um segundo detector – ‘ProseLens’ – usado pelos pesquisadores para comparação, que, ao contrário, recebe o texto completo e estima se a própria prosa foi gerada por IA.

Como mostrado acima, cada documento foi reduzido a um esboço descrevendo o que está sendo dito e o papel que cada ponto desempenha no documento. Durante o treinamento, esses esboços foram parafraseados para remover ainda mais vestígios da redação original dos autores. O IdeaLens pode, portanto, fazer suas previsões principalmente a partir das ideias que permanecem, em vez de características reveladoras da prosa.

Três conjuntos de dados foram criados para o projeto: IdeaShift; IdeaShift-X; e TwiceTold. IdeaShift foi criado a partir de 500 documentos seminais escritos por humanos e gerados por IA amostrados do corpus de teste existente dos pesquisadores. GPT-5.6 Sol foi usado para transformar cada um em prompts progressivamente mais detalhados, de ‘apenas tópico’ até um esboço completo. GPT-5.6 foi então usado para gerar novos documentos.

IdeaShift-X, por sua vez, utilizou 10.000 documentos autoria humana FineWeb2 em 24 idiomas, aplicando o protocolo IdeaShift mencionado acima para gerar versões de IA em cada idioma.

O terceiro conjunto de dados, TwiceTold, foi escrito por estudantes universitários sob a supervisão dos autores, para evitar o possível uso de IA inherent na coleta coletiva desses dados. Cinquenta histórias foram escritas do zero, mas usando um esboço de 500 palavras fornecido pelo ChatGPT-5.6 Sol.

Testes

Os próprios detectores dos pesquisadores incluíam IdeaLens em forma de esboço e documento; o ProseLens mencionado anteriormente; ModernBERT-L versões de ambos os sistemas; Qwen3.5-9B versões do IdeaLens; e uma variante IdeaLens classificador logístico.

Estes foram comparados com Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; e Rank.

Para os testes, a Precisão foi medida pela correspondência entre o rótulo previsto de IA ou humano e a origem das ideias. IdeaLens, ProseLens e EditLens usaram um limiar global de 1% de FPR; os rótulos de IA, IA-assistida e humano do Pangram 4 foram binarizados; e Fast-DetectGPT, Binoculars, MELD e Desklib usaram seus limiares padrão.

A avaliação mais ampla utilizou 19 benchmarks externos, incluindo 14 que cobrem material totalmente humano ou totalmente de IA, e 10 que contêm textos humanos posteriormente editados por IA. Mais 50.000 documentos internos foram testados, enquanto 10.000 documentos C4 pré-ChatGPT foram usados para avaliar falsos positivos:

Resultados de teste comparando a precisão dos detectores quando ideias e texto têm a mesma ou diferentes origens. IdeaLens mantém alta precisão em ambos os cenários, com 95.3% para proveniência compartilhada e 81.3% para proveniência mista; detectores concorrentes apresentam desempenho substancialmente pior quando a origem das ideias difere da origem do texto.

Em 51 testes extraídos de 22 benchmarks, o IdeaLens foi o único detector a ter desempenho forte quando as ideias e o texto provinham da mesma ou de fontes diferentes, obtendo 95.3% e 81.3% respectivamente.

Em comparação, ProseLens e Pangram 4 alcançaram acima de 98% quando ideias e texto compartilhavam a mesma fonte, mas caíram para cerca de 25% quando não o faziam.

Os autores declaram sobre esses resultados*:

‘Como o ProseLens tem a mesma espinha dorsal, documentos de treinamento e rótulos de treinamento que o IdeaLens, isso destaca o impacto da nossa representação de esboço, que um par baseado em ModernBERT replica com uma espinha dorsal diferente.

‘IdeaLens também se transfere inesperadamente bem para entradas de texto bruto em tempo de teste, exibindo alta precisão de proveniência compartilhada e precisão de proveniência mista substancialmente maior que a do ProseLens.’

Todos os três detectores identificaram com sucesso quase todas as histórias originais escritas por IA. Em TwiceTold, o IdeaLens identificou ideias originadas por IA em 68% das histórias escritas por humanos, comparado a 0% para o ProseLens e 8% para o Pangram 4:

IdeaLens atribui probabilidades de IA semelhantes às histórias originais escritas por IA e às versões de TwiceTold escritas por humanos, baseadas nos mesmos esboços gerados por IA, enquanto as probabilidades de IA do ProseLens caem drasticamente assim que o texto é reescrito por humanos.

Apesar de ter sido treinado em inglês, o IdeaLens generalizou-se pelos 24 idiomas do IdeaShift-X, sinalizando 95.3% dos documentos baseados em ideias de IA – mas apenas 0.7% quando um plano humano detalhado forneceu as ideias. Em 10.000 documentos humanos pré-ChatGPT nos mesmos idiomas, a taxa de falsos positivos foi de apenas 0.1%.

Os autores reconhecem que um conjunto de dados maior seria desejável em trabalhos futuros, e que a ruído nas etiquetas do conjunto de dados pode precisar ser tratado. Ainda assim, quem quiser construir sobre esta interessante primeira demonstração pode recorrer ao repositório do GitHub que os autores do artigo disponibilizaram; e os meramente curiosos podem colar testes ‘suspeitos’ no site de demonstração do projeto e avaliar por si mesmos se o método concorda com suas próprias estimativas, ou com as de outras abordagens.

Conclusão

Se um método de detecção desse tipo importa depende de como a aceitação, integração ou rejeição da IA se desenvolverá (sem dúvida de maneira diferente em diferentes setores e circunstâncias) nos próximos 6-12 meses.

Pode ser que o público de um político seja mais tolerante ao uso de IA por ele ou ela para refinar e representar suas próprias ideias originais, do que seria ao apresentar de forma superficial ideias geradas por um LLM (afinal, estatisticamente, a audiência provavelmente será simpática ao uso de IA como mero auxílio de apresentação).

No entanto, ao mesmo tempo, o que esperamos da IA senão que ela produza perspectivas, ideias e alternativas que nós mesmos teríamos ignorado ou nunca considerado; e, desse ponto de vista, seria tão ruim dar à inteligência de máquina uma vez ao volante?

Bem, em termos de percepção, e dado a famosa e crescente propensão da IA a erros e – ultimamente – comportamento errante, talvez ainda seja cedo demais para permitir que LLMs originem sugestões de políticas, ou, em geral, se tornem uma força motriz na ideação.

Ênfases dos autores, não minhas, mas minha conversão das citações inline dos autores em hyperlinks, quando necessário.

Primeira publicação terça‑feira, 6 de outubro de 2026