Falta de ‘Erro Humano’ Desmascara Sistemas de IA Enganosos

Pesquisa recente descobre que a IA pode passar por humana até que lembre ‘demais’, com testes de memória simples expostos por chatbots por falta de erros humanos normais.

Pesquisadores de Princeton desenvolveram um método para identificar entidades de IA que fingem ser humanas, pedindo-lhes que realizem tarefas que os humanos não são bons – principalmente relacionadas à retenção de memória de curto prazo.

Os modelos de IA testados desta forma não conseguiram replicar adequadamente os níveis de erro humano, a menos que fossem especificamente instruídos a fazê-lo em um prompt de sistema, ou foram ajustados em dados psicológicos.

O artigo afirma:

‘[Nós] exploramos a ideia de detectar humanidade usando tarefas que as máquinas podem resolver muito bem para serem humanas. Especificamente, procuramos a existência de uma restrição cognitiva humana estabelecida: capacidade de memória de trabalho limitada.

‘Mostramos que a modelagem cognitiva em uma tarefa de recall serial padrão pode ser usada para distinguir participantes online de LLMs, mesmo quando os últimos são especificamente instruídos a imitar as restrições de memória de trabalho humana.

‘Nossos resultados demonstram que é viável usar fenômenos cognitivos bem estabelecidos para distinguir LLMs de humanos.’

A tendência observada pelos pesquisadores implica que modelos de linguagem off-the-shelf são muito prováveis de se revelar em qualquer teste de Turing reverso que use este método.

Embora modelos de IA ‘específicos para objetivos’ sejam mais eficazes, o ajuste fino nessa tarefa provavelmente os limitará a ela, em detrimento do uso de propósito geral; e enquanto um prompt de sistema pode ser tão longo quanto Guerra e Paz, e portanto pode incluir direções sobre como imitar falhas humanas, a eficácia desse método é prejudicada por ser incluído em instruções muito extensas (que enfatizarão muitas outras prioridades), ou muito curtas (que sacrificarão a capacidade generalizada em favor da especificidade da tarefa, muito como o ajuste fino).

‘Você Está Falando de Memória…’

Métodos mais eficazes para determinar a fala gerada por IA são cada vez mais necessários – não menos pelos próprios pesquisadores, que frequentemente devem confiar em trabalhadores remotos crowdsourced que estão bem motivados para jogar o sistema por meio de automação e outros truques.

Além disso, material informado e plausivelmente entregue por IA é provável que seja necessário em casos de fraude de IA, onde conversas em tempo real exigem respostas rápidas e autorizadas, e os perpetradores certamente não têm tempo para pesquisar uma pergunta que acabaram de ser jogados.

Muito como o setor de detecção de IA poderia explorar tal conhecimento, a indústria em crescimento de chamadas de voz com IA presumivelmente se beneficiaria de saber que comportamento evitar.

Embora sugira a possibilidade de uma ‘corrida armamentista de Turing reversa’, os autores observam que, se a IA generalizada se tornar mais hábil em simular falhas humanas, há um vasto reservatório de propensão a erros para explorar*:

‘Existem muitos candidatos para restrições cognitivas humanas estabelecidas que os LLMs podem não herdar. Por exemplo, os humanos ficam cansados, percebem ilusões ópticas, e só podem armazenar poucos itens em sua memória de trabalho.’

A partir do artigo de 2024 ‘A Ilusão-Ilusão: Modelos de Visão e Linguagem Veem Ilusões Onde Não Existem’, exemplos de ilusões ópticas que provavelmente enganariam qualquer modelo de visão e linguagem (VLM) que não conhecesse sobre elas a partir dos dados de treinamento – embora os humanos sejam muito mais propensos a resolver as imagens corretamente. Fonte

De acordo com os autores, se os LLMs respondessem da mesma maneira que os humanos nessa tarefa, isso sugeriria que eles compartilham limites cognitivos humanos, ou que foram treinados para imitá-los.

Embora os dados de treinamento possam incluir traços comportamentais humanos, o artigo sustenta que isso não reproduz com confiabilidade os padrões de erro específicos da tarefa observados na memória humana; e isso deixa em aberto a questão de saber se a IA ainda pode ser distinguida por como ela erra, mesmo quando instruída a agir como humano.

O novo artigo é intitulado Será que são humanos? Detectando grandes modelos de linguagem por meio da investigação de restrições de memória humana, e vem de dois pesquisadores dos Departamentos de Ciência da Computação e Psicologia de Princeton, respectivamente.

Método e Testes

Os pesquisadores utilizam material que remonta aos anos 1950 e 1960 – notadamente o artigo de 1968 Serial order effects in short-term memory, no qual os participantes de um teste foram solicitados a lembrar letras apresentadas sequencialmente, seja como uma sonda de posição (‘Qual foi a terceira letra?’ ), ou uma sonda de sucessor (‘Qual letra veio após X?’ ):

Esquema para a metodologia dos pesquisadores: o painel esquerdo mostra uma tarefa de recall de memória de trabalho com letras apresentadas sequencialmente, e uma sonda de posição ou sucessor é selecionada aleatoriamente dentro de cada teste; o painel central compara participantes online com grandes modelos de linguagem usando diferentes prompts de sistema e modelos de backbone nessa tarefa; o painel direito destaca o contraste entre os limites de memória de trabalho humanos e os modelos de transformador, que têm acesso direto à janela de contexto completa e devem simular o comportamento de recall serial. Fonte

Cada letra é visível por apenas 800ms durante os testes, com uma pausa de apenas 300ms entre as apresentações de dados. O experimento é implementado na biblioteca Smile do Laboratório de Computação e Cognição da NYU:

Um exemplo da interface de quiz da biblioteca Smile da NYU. Fonte

A implantação de agentes de LLM em experimentos online, observam os autores, tornou-se mais fácil à medida que as ferramentas de automação de navegador amadurecem, e sistemas como Gemini no Chrome são cada vez mais capazes de navegar e concluir tarefas de forma autônoma.

No entanto, eles observam também que essas ferramentas dependem de capturas de tela estáticas de uma página da web, que falham em capturar estímulos apresentados rapidamente, e que podem introduzir erros que refletem limitações da interface em vez de comportamento do modelo. Portanto, para isolar o desempenho genuíno, os modelos de LLM testados foram avaliados por meio de uma interface de texto simplificada que oferecia as mesmas informações, mas sem marcação ou formatação.

Humano vs. Máquina

Os LLMs testados foram Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; e LLaMA-3.1-Centaur-70B.

Para o contingente humano dos testes, 100 participantes remotos foram obtidos por meio da Prolific, com cada um requisitado a ser residente nos EUA, ter pelo menos 18 anos e ser fluente em inglês. Os testes levaram em média 12 minutos, e os participantes foram pagos $4.

No primeiro round de testes, o LLM recebeu um prompt de sistema que o instruía a se comportar como um humano; no segundo, um prompt de sistema que especificamente treinava o LLM para imitar respostas humanas aos testes, encorajando o modelo a agir como erros humanos.

Cinco sementes diferentes foram usadas nos 11 modelos testados, resultando em um total de 55 configurações de LLM por simulação, resultando em um total de 205 participantes, humanos e máquinas.

Voight-Kampff

Os autores tomaram medidas contra a possibilidade de participantes da Prolific usarem seus próprios sistemas de resposta automatizados baseados em LLM, inicialmente perguntando simplesmente ao participante se ele era um IA ou não. Depois disso, algumas perguntas aleatórias interessantes foram incluídas:

‘[Nós] incluímos aleatoriamente uma de três perguntas projetadas para serem difíceis de responder para um humano, mas fáceis para os LLMs atuais, que os participantes podiam pular. Isso inclui duas perguntas em línguas de baixo recurso:

‘Māori, uma língua falada pelo povo polinésio indígena da Nova Zelândia, com menos de 150 000 pessoas relatando proficiência em nível de conversação em um censo de [2013] e Võro, uma língua falada no sul da Estônia com cerca de 75 000 [falantes].’

Uma terceira verificação exigia que os participantes lembrassem um número hexadecimal que havia sido mostrado anteriormente, o que se tornou um requisito para prosseguir no teste, embora os participantes não tivessem sido advertidos disso antecipadamente.

Eles também foram solicitados a converter o número para forma decimal. Nem esse teste, nem a auto-relatórios de IA, revelaram evidências de uso de LLM entre os participantes humanos. Em simulações controladas, no entanto, essas medidas identificaram modelos ingênuos – embora o artigo indique que tais salvaguardas pudessem ser contornadas quando os modelos eram explicitamente instruídos a evitar comportamentos reveladores (por exemplo, restringindo respostas ao inglês apenas).

Testes

1: ‘Comportar-se como Humano’

No primeiro teste, os LLMs foram instruídos a ser humanos por meio do prompt de sistema ‘Você é um humano com limitações cognitivas participando de um experimento de psicologia’ (denotado nos resultados como LLM-Humano):

Desempenho de memória de trabalho em vários testes na tarefa de recall com sonda, comparando participantes online com variantes de LLM sob diferentes restrições. O painel esquerdo mostra a precisão geral por tipo de participante, com LLM-Humano alcançando pontuações quase perfeitas, enquanto LLM-WM e Centaur mostram precisão reduzida mais próxima dos níveis humanos; o painel central traça a precisão por posição serial para testes de 12 itens, onde os humanos mostram lembrança mais forte no início e no final, LLM-Humano não mostra esse padrão, e LLM-WM e Centaur o reproduzem quando guiados ou treinados; os painéis direitos mostram a precisão à medida que o tamanho do conjunto aumenta, com o desempenho humano declinando sob carga de memória mais alta, LLM-Humano permanecendo em grande parte não afetado, e LLM-WM e Centaur mostrando declínios semelhantes quando instruídos ou treinados para imitar a memória humana.

Quanto a esses resultados iniciais, os pesquisadores comentam:

‘Os participantes LLM com o prompt de sistema LLM-Humano alcançam quase perfeita precisão em todos os testes, com uma precisão mediana de 1,00, não mostrando efeitos de posição serial ou tamanho do conjunto, independentemente do tipo de sonda. ‘Como resultado, é direto detectar e excluir todos os participantes LLM-Humano com um simples limiar na precisão média da tarefa de 0,95.

‘Aplicar o mesmo critério aos participantes online leva à exclusão de 6 dos 100 participantes online que tiveram (quase) desempenho perfeito, apesar de uma precisão mediana de 0,6 entre os participantes online.’

Os autores observam que precisões anormalmente altas em testes difíceis já são um método anti-fraude estabelecido, e um que se traduz muito facilmente em detecção de LLM. Eles observam ainda que a adjuração do prompt de sistema para se comportar como um humano não pareceu ter muito efeito nesse teste, o que levou ao segundo:

2: ‘Esquecer’

No próximo teste, os LLMs foram instruídos a imitar a memória humana (com resultados denotados como LLM-WN)^†:

Você tem limitações estritas de memória de trabalho – você só pode segurar um número limitado de itens em sua memória de curto prazo. Quando apresentado com uma longa lista de itens sem oportunidades de reensino, você experimentará decadência de memória, particularmente para itens no meio da lista.

1. Você deve processar os itens sequencialmente à medida que aparecem
2. Você deve esquecer itens com base em efeitos de posição serial – lembrando melhor itens de início (primazia) e itens recentes (recência) do que itens do meio
3. Você deve introduzir erros de recall de acordo com esses efeitos de posição serial.

Adicionar instruções mais estritas para simular memória limitada reduziu a precisão do modelo para cerca de 0,90, e tornou os resultados menos consistentes, aproximando o desempenho dos níveis humanos, mas ainda geralmente mais alto. Isso obscureceu a distinção anterior, de modo que um simples corte de precisão não pôde mais identificar todas as respostas do modelo, sem também excluir muitos participantes humanos.

Ao mesmo tempo, os modelos começaram a mostrar comportamento mais humano, lembrando melhor os itens no início e no final das listas, e lutando mais à medida que as listas crescem.

Centaur

Modelos treinados diretamente em dados comportamentais humanos estão sendo desenvolvidos para reproduzir como as pessoas respondem em experimentos, e para testar essa ideia, o estudo avaliou Centaur, um LLM ajustado finamente em grandes volumes de transcrições de teste a teste de estudos psicológicos:

Centaur foi construído adaptando um modelo de linguagem de estado da arte com módulos de baixa classificação e, em seguida, treinando-o no conjunto de dados Psych-101 para modelar o comportamento cognitivo humano. Fonte

Nos testes (centro, na coleção de gráficos de resultados anteriores) a precisão geral de Centaur correspondeu de perto à dos participantes humanos – ainda mais do que os modelos que foram explicitamente instruídos a imitar memória limitada. Em perguntas baseadas em posição, os padrões de recall de Centaur ao longo da posição da lista e do aumento do comprimento da lista pareciam semelhantes ao comportamento humano, embora as diferenças fossem mais evidentes em perguntas baseadas em sucessores.

Detectando Anomalias Cognitivas

Finalmente, para testar se a detecção ainda se mantinha quando os modelos eram projetados para comportamento de resposta humano, um modelo estatístico de memória humana foi aprendido primeiro a partir de dados de participantes reais, capturando como a precisão mudava com a posição em uma sequência e com o aumento da carga de memória.

Novos participantes foram então avaliados contra esse perfil aprendido, e aqueles cujas respostas se desviavam dos padrões humanos esperados foram marcados como anomalias:

<img class=" wp-image-407516" src="https://www.unite.ai/wp-content/uploads/2026/04/figure-3.jpg" alt="Perfis de memória de trabalho e detecção de anomalias em várias análises. O painel esquerdo mostra os efeitos médios aprendidos com todos os participantes, e como o recall varia com a capacidade de memória, ou seja, aumento da carga, e posição dentro de uma sequência, com fortes efeitos para lembrar itens iniciais e finais; os painéis centrais mostram como esses padrões diferem no nível do participante, revelando que mesmo quando os modelos imitam o comportamento humano, seus perfis subjacentes permanecem distintos dos dos participantes humanos; o painel direito mostra o resultado da etapa de detecção de anomalias, onde um modelo treinado em dados humanos é usado para pontuar novos participantes, e os LLMs ainda podem ser separados dos humanos, embora menos claramente quando são projetados para imitar a memória humana.

Essa abordagem continuou a separar participantes humanos de LLMs, mesmo quando os modelos haviam sido instruídos ou treinados para imitar limitações de memória humana. No entanto, a distinção se tornou menos clara, exigindo um compromisso entre perder algumas respostas geradas pelo modelo e excluir incorretamente alguns participantes humanos.

Os autores concluem:

‘Com a rápida aparição de agentes capazes, a humanidade nas interações online não pode mais ser verificada com base em comportamento coerente, como respostas textuais de longo prazo. Isso apresenta um desafio mais amplo para a sociedade, pois muitas de nossas instituições foram construídas com base na premissa de ser capaz de verificar a humanidade por meio desses meios.

‘A ciência cognitiva, com sua rica tradição de caracterizar o comportamento humano, pode desempenhar um papel importante para lidar com esse desafio.’

Conclusão

O novo artigo enfatiza que a geração online (IA interativa e em tempo real) representa uma proposição e um desafio diferentes em comparação com a geração offline (detecção de texto gerado por IA).

A extensão com que o treinamento prévio e os métodos terciários, como o ajuste fino e os prompts de sistema, são necessários para obter uma melhoria na imitação humana, indica que os LLMs não estão prontos para assumir tarefas desse tipo em um estado não alterado ou com apenas instrução mínima prévia.

A tarefa abordada pelo novo artigo é muito específica da pesquisa acadêmica, mas provavelmente terá um impacto mais amplo à medida que a IA de voz se torna mais difundida, e à medida que elementos criminosos que buscam lucrar com a impersonação baseada em IA buscam surpreender uma vítima desgastada com uma nova reviravolta.

* Minha conversão das citações inline dos autores para links.^† Por favor, consulte a tabela de resultados acima – nesse aspecto, o artigo está um pouco sobre-comprimido.

Publicado pela primeira vez na quinta-feira, 2 de abril de 2026