Mesmo o AI Básico Agora Pode Escrever Notícias que Passam por Humanas

Pesquisas recentes indicam que até mesmo pequenos modelos de AI locais podem escrever notícias que as pessoas não conseguem distinguir do jornalismo real, igualando os principais sistemas e deixando os leitores incapazes de determinar quem escreveu o que.

De acordo com uma nova colaboração de pesquisa entre a Alemanha e a França, os humanos não conseguem determinar se um artigo de notícias foi escrito por um AI ou por um humano – mesmo quando foi escrito por modelos de código aberto que podem ser baixados e executados em computadores de mesa de nível de consumidor relativamente médio.

Em outro indicativo de que o pequeno AI está em ascensão, uma pesquisa de 2.318 julgamentos coletados de 1.054 participantes em um portal de estudo acadêmico dedicado encontrou que os leitores humanos não puderam identificar a proveniência de um artigo em um nível superior ao acaso, mesmo quando foi produzido por modelos relativamente modestos com apenas sete bilhões de parâmetros, incluindo Mistral e Llama variantes:

Médias e pontuações de autenticidade para LLMs testados. Os 200 bilhões de parâmetros do GPT-4o não excedem massivamente os 7B parâmetros dos modelos menores. Os testados para o estudo foram Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o e GPT-3.5. Fonte

Os autores estão retornando a um assunto que eles examinaram pela primeira vez na liberação de 2024 Bênção ou maldição? Uma pesquisa sobre o Impacto da Inteligência Geradora Artificial em Notícias Falsas. Os resultados em si são novos, resultados liberados de um projeto maior inicialmente anunciado em janeiro, e fazem uso do próprio framework de participação online JudgeGPT dos autores.

Poder Leve

Intitulado Os Humanos Podem Dizer? Um Estudo de Dois Eixos da Percepção Humana de Notícias Geradas por LLM, e vindo de três pesquisadores da Universidade de Ciências Aplicadas de Frankfurt e da unidade de pesquisa IRISA em Nantes, a nova pesquisa faz uma distinção importante entre ‘notícias falsas’ e ‘notícias escritas por AI’ (já que notícias falsas podem ser escritas por pessoas ou por AI, e os dois aspectos não são necessariamente sinônimos).

No entanto, talvez o aspecto mais interessante seja a conclusão do artigo de que modelos menores, incluindo Mistral 7B e Gemma 7B, podem, com apenas sete bilhões de parâmetros, rivalizar com os modelos como o ChatGPT (4o) com 200 bilhões de parâmetros:

‘Os modelos de peso aberto com tão poucos quanto 7B parâmetros produzem texto avaliado de forma diferente do output do GPT-4o, indicando que a capacidade de gerar texto indistinguível de humano não está mais restrita a modelos de fronteira.’

No entanto, ‘notícias geradas por AI’ podem representar muitos tipos diferentes de colaboração humano/AI, desde verificação ortográfica até deferral completo de esforço, e o estudo não deixa claro exatamente que tipo de conteúdo de AI foi produzido para os testes (embora ele esboce a metodologia para produzi-lo – veja abaixo).

Método

Para os participantes engajados com a plataforma JudgeGPT, cada fragmento de notícias foi avaliado usando um framework de dois eixos no qual eles forneceram três classificações independentes em contínuos sliders de 0-100:

O portal GUI do JudgeGPT, onde os avaliadores avaliam o material em atribuição de fonte; autenticidade; e familiaridade com o tópico. Por favor, consulte o papel da fonte para melhor resolução.

Julgamento de fonte capturou se uma passagem parecia escrita por máquina ou por humano; Julgamento de autenticidade, se era percebido como falso ou legítimo; e Familiaridade com o tópico, como bem o leitor conhecia o assunto.

Escala contínua foi usada em vez de uma Escala Likert, para capturar graus de certeza mais precisamente, e para apoiar a análise estatística, incluindo Correlação de Pearson e Agrupamento.

Fragmentos de texto gerados por máquina foram produzidos pelo próprio framework RogueGPT dos autores, a arquitetura de alimentação para o JudgeGPT. O RogueGPT orquestra contribuições de seis Large Language Models (LLMs): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; e Mistral 7B.

Comandos baseados em persona foram usados para gerar os textos, e as gerações de AI foram fundamentadas em tópicos de notícias reais e verificadas por humanos.

Inversamente, fragmentos escritos por humanos foram amostrados de ‘veículos de notícias estabelecidos’ e ‘bases de dados de informações’ não especificadas.

Os autores observam:

‘O conjunto de estímulo é intencionalmente inclinado em direção a fragmentos de origem de máquina (∼98%), com itens de origem humana servindo como âncoras de calibração.

‘Essa escolha de design reflete o foco do estudo na variação dentro da AI (across models) em vez de comparação humano-AI; os participantes não são informados da taxa de base, e os resultados de detecção quase aleatória [resultados] seguram quando analisados no subconjunto de origem humana apenas.’

Os participantes primeiro deram consentimento informado e completaram um questionário demográfico que cobria idade, educação, orientação política e familiaridade com a IA, após o que avaliaram a sequência de fragmentos de notícias.

Cada pessoa revisou entre 5-87 itens, com uma mediana de 12, enquanto a ordem de apresentação foi randomizada, e a atribuição do modelo foi equilibrada entre os participantes, para reduzir o viés. A plataforma registrou as três classificações de slider ao lado do tempo de resposta e um identificador anônimo, permitindo que os julgamentos individuais fossem vinculados a fatores de segundo plano.

Os autores tomam cuidado para apontar que a amostra foi inclinada em direção a participantes europeus educados, com 68% com educação universitária, e 74% baseados na Europa – um viés que o artigo nota como uma limitação para uma generalização mais ampla.

Testes

Os testes são divididos em cinco tipos de descobertas: distinguir texto gerado por máquina de texto escrito por humanos; comparar a detecção entre diferentes LLMs; examinar o efeito da expertise de domínio versus orientação política na precisão; identificar estratégias de resposta distintas entre os participantes; e rastrear como a precisão muda ao longo de avaliações repetidas, devido à fadiga:

Resumo das cinco principais descobertas de 2.318 julgamentos em 1.054 participantes, mostrando que a detecção humana de texto escrito por AI permaneceu em níveis de acaso em todos os modelos, que a precisão foi vinculada à expertise de domínio e não à orientação política, que os participantes se agruparam em perfis de confiança distintos, e que o desempenho declinou após cerca de 30 avaliações, devido à fadiga cognitiva.

O teste mostrou nenhuma diferença significativa acima do acaso no escore de fonte entre as condições, aparentemente indicando que os participantes não conseguem distinguir texto gerado por AI de saída humana:

Distribuições de escore de fonte e autenticidade para fragmentos de origem de máquina e humana mostram uma sobreposição substancial, sem separação significativa entre as duas condições, e testes estatísticos – indicando que os participantes não puderam distinguir confiavelmente texto gerado por AI de conteúdo escrito por humanos.

Para o segundo aspecto, como mostrado no gráfico no início do artigo, a falha de detecção não variou por modelo, pois as saídas de todos os LLMs se agruparam em torno de julgamentos de nível de acaso, sem diferenças significativas entre eles. Mesmo os sistemas de peso aberto menores, como Mistral 7B e Gemma 7B, foram avaliados de forma diferente do GPT-4o, indicando que o texto indistinguível de humano pode não estar mais limitado aos maiores modelos.

Para o terceiro aspecto, a precisão foi mais fortemente vinculada à expertise de domínio do que à orientação política, pois a familiaridade com notícias falsas se correlacionou com melhores julgamentos, enquanto as visões políticas não mostraram efeito significativo, sugerindo que habilidades analíticas aprendidas podem ser mais importantes do que ideologia:

Resultados para a terceira linha de investigação mostraram que a orientação política não teve efeito significativo na atribuição de fonte ou pontuação de autenticidade, com apenas tendências fracas e não significativas, enquanto a familiaridade autodeclarada com notícias falsas foi associada a maior precisão em ambos os eixos. Isso sugere que a habilidade analítica baseada na experiência foi um preditor mais forte de desempenho do que a posição ideológica. Por favor, consulte o papel da fonte para melhor resolução.

O quarto achado mostrou que os participantes se agruparam em dois estilos de resposta distintos identificados como ‘Céticos’ – que atribuíram confiança baixa em todo o conteúdo, independentemente da origem – e ‘Crentes’ – que mantiveram uma base de confiança mais alta.

Finalmente, com relação ao quinto objetivo, uma análise de julgamentos sequenciais mostrou que os participantes inicialmente se tornaram melhores na tarefa, com a precisão melhorando ao longo das primeiras 15-20 avaliações, à medida que se adaptavam ao formato:

Médias móveis de escore de atribuição de fonte e autenticidade ao longo da sequência de avaliações dos participantes mostram uma curta fase de melhoria inicial, à medida que os usuários parecem se adaptar à tarefa durante as primeiras 15–20 itens, seguida de um declínio constante em ambas as medidas após cerca de 30 avaliações. Por favor, consulte o papel da fonte para melhor resolução.

No entanto, esse efeito foi de curta duração, pois o desempenho começou a declinar após cerca de 30 itens, com os participantes cada vez mais defaultando para rotular o conteúdo como falso – uma mudança interpretada como fadiga cognitiva, e sugerindo limites claros sobre o quanto as abordagens baseadas em detecção podem permanecer eficazes na prática.

Isso pode representar alguma evidência empírica de que, exaustos pela perspectiva de distinguir notícias falsas de reais, notícias de AI de humanas, podemos tender a defaultar para supor que as notícias são de AI e/ou falsas (não necessariamente a mesma coisa), para estar ‘no lado seguro’. Aqueles que consideram isso ‘preguiçoso’, e consideram que as pessoas devem fazer sua própria pesquisa para verificar uma possível história de notícias falsas, podem estar interessados em aprender que um estudo de 2024 indicou que isso só piora os problemas.

Os autores sugerem que a falha do julgamento humano evidenciada nos resultados indica que podemos precisar delegar essas questões a tecnologias de proveniência criptográfica, como a iniciativa C2PA liderada pela Adobe. Outras soluções possíveis mencionadas são o próprio framework OriginLens dos autores, e outro projeto chamado CRED-1.

Os autores concluem:

‘Os humanos podem dizer? Nosso estudo de dois eixos de 2.318 julgamentos em seis famílias de LLM fornece uma resposta empírica clara: eles não podem.

‘O texto gerado por máquina é indistinguível do texto escrito por humanos, independentemente do tamanho do modelo ou da família, a expertise de domínio prevê a precisão de detecção mais fortemente do que a orientação política, os participantes adotam estratégias de confiança distintas, e a fadiga cognitiva limita a detecção sustentada.

‘Essas descobertas apoiam uma mudança de detecção de nível de usuário para contramedidas de nível de sistema, incluindo proveniência de conteúdo, indicadores de confiança adaptáveis e intervenções de imunização limitadas.’

Conclusão

O aspecto preocupante deste artigo é a rede de apoio de projetos e artigos que os autores – ou alguns dos autores, dependendo do trabalho – originaram ou têm uma mão; e certamente teria sido esclarecedor se pudéssemos ter estudado amostras de texto de AI e humano que produziram esses resultados, para entender melhor o tipo de saída que a metodologia de geração descrita produz.

No entanto, é intrigante ouvir que modelos de código aberto e de peso aberto podem comparar-se a gigantes impulsionados por API, como a série ChatGPT – será que a tarefa em questão não é tão difícil, e que um modelo de 200 bilhões de parâmetros é excessivo para essas tarefas? Precisaríamos saber um pouco mais sobre as amostras de fonte de AI e humanas submetidas para responder a essa pergunta.

Enquanto isso, de acordo com o site canirun.ai, o Mistral 7B (que estava mais ou menos empatado com o ChatGPT-4o nos testes) ‘executa bem’ em uma NVIDIA RTX 3080 com 16GB de VRAM, e executa ‘decente’ em uma 3060 com 6GB de VRAM – dificilmente os cartões gráficos mais recentes ou melhores em jogo*. Portanto, qualquer um que queira criar sua própria metodologia para submissão de amostras pode aparentemente participar desses experimentos também.

* O Gemma 7B não está listado no site.

Publicado pela primeira vez na quinta-feira, 9 de abril de 2026