Ângulo de Anderson
A ausência de erros humanos revela sistemas de IA que se passam por pessoas

Pontos-chaveOs sistemas de IA revelam-se ao realizar tarefas de memória com uma perfeição não…
Ver mais
- Os sistemas de IA revelam-se ao realizar tarefas de memória com uma perfeição não natural, a menos que sejam especificamente treinados para errar.
- O ajuste fino de modelos com dados de psicologia humana melhora sua capacidade de mimetização, mas restringe suas capacidades de uso geral.
- A ciência cognitiva oferece métodos robustos de detecção porque a IA carece de limitações humanas inerentes, como deterioração da memória e fadiga.
Uma nova pesquisa mostra que a IA pode passar por humana até se lembrar “bem demais”. Testes simples de memória revelam os chatbots porque eles não cometem os erros humanos habituais.
Pesquisadores de Princeton desenvolveram um método para identificar sistemas de IA que se fazem passar por pessoas: pedir que realizem tarefas nas quais os humanos não se saem bem, sobretudo relacionadas à retenção de informações na memória de curto prazo.
As IAs testadas não conseguiram reproduzir adequadamente os níveis de erro humano, a menos que recebessem instruções específicas em um prompt de sistema ou tivessem passado por ajuste fino com dados psicológicos.
O artigo afirma:
“Exploramos a ideia de identificar se alguém é humano por meio de tarefas que as máquinas resolvem bem demais para serem pessoas. Especificamente, verificamos a presença de uma limitação cognitiva humana conhecida: a capacidade limitada da memória de trabalho.
“Mostramos que a modelagem cognitiva de uma tarefa padrão de recordação sequencial pode distinguir participantes online de grandes modelos de linguagem, mesmo quando estes recebem instruções específicas para imitar as limitações da memória de trabalho humana.
“Nossos resultados demonstram que fenômenos cognitivos bem estabelecidos podem ser usados para distinguir LLMs de humanos.”
O padrão observado sugere que modelos de linguagem prontos para uso têm grande probabilidade de se revelar em qualquer teste de Turing reverso que use esse método.
Modelos de IA especializados em um objetivo terão desempenho melhor, mas o ajuste fino nessa tarefa provavelmente os restringirá a ela, em detrimento do uso geral. Um prompt de sistema pode ser tão longo quanto Guerra e Paz e, portanto, incluir orientações para imitar as fraquezas humanas. No entanto, a eficácia do método diminui quando ele é incluído em instruções muito extensas, que enfatizam muitas outras prioridades, ou muito curtas, que sacrificam capacidades gerais em favor da tarefa específica, assim como o ajuste fino.
“Você está falando de memória…”
A necessidade de métodos mais eficazes para identificar conversas geradas por IA é crescente, inclusive para os próprios pesquisadores. Eles frequentemente dependem de trabalhadores remotos recrutados por plataformas de crowdsourcing, que têm fortes incentivos para burlar o sistema com automação e outros artifícios.
Além disso, conteúdo bem informado e apresentado de forma convincente pela IA provavelmente será necessário em casos de fraude com IA, nos quais as conversas em tempo real exigem respostas rápidas e confiantes. Os criminosos certamente não têm tempo para pesquisar no Google a resposta a uma pergunta que acabaram de receber.
Assim como o setor de detecção de IA poderia aproveitar esse conhecimento, o mercado em expansão de chamadas de voz promocionais com IA presumivelmente se beneficiaria de saber quais comportamentos evitar.
Isso sugere uma possível “corrida armamentista do teste de Turing reverso”. Os autores observam, porém, que, mesmo se a IA de uso geral melhorar na imitação das fraquezas humanas, ainda haverá um vasto conjunto de propensões a erros a explorar*:
“Há muitas limitações cognitivas humanas conhecidas que os LLMs talvez não herdem. Por exemplo, as pessoas se cansam, percebem ilusões ópticas e conseguem armazenar apenas poucos itens na memória de trabalho.”

Exemplos de ilusões ópticas do artigo “The Illusion-Illusion: Vision Language Models See Illusions Where There are None”, publicado no fim de 2024. Provavelmente enganariam qualquer modelo de visão e linguagem (VLM) que ainda não as conhecesse pelos dados de treinamento. As pessoas, por outro lado, têm muito mais probabilidade de interpretar corretamente as imagens. Fonte
Segundo os autores, se os grandes modelos de linguagem (LLMs) respondessem como as pessoas nessa tarefa, isso sugeriria que realmente compartilham as limitações cognitivas humanas ou que foram previamente orientados a imitá-las.
Os dados de treinamento podem conter vestígios de comportamento humano. O artigo sustenta, porém, que isso não reproduz de maneira confiável os padrões específicos de erro de memória que dependem da tarefa. Permanece, portanto, a dúvida sobre ser possível distinguir a IA pelo modo como erra, mesmo quando recebe instruções para agir como pessoa.
O novo artigo se intitula “São humanos? Detectando grandes modelos de linguagem por meio da investigação das limitações da memória humana” e é assinado por dois pesquisadores de Princeton, respectivamente dos departamentos de Ciência da Computação e Psicologia.
Método e testes
Os pesquisadores recorrem a trabalhos dos anos 1950 e 1960, em especial ao artigo Efeitos da ordem sequencial na memória de curto prazo de 1968. Os participantes deveriam recordar letras apresentadas em sequência, respondendo a uma pergunta sobre posição (“Qual foi a terceira letra?”) ou a uma pergunta sobre a letra seguinte (“Qual letra veio depois de X?”):

Esquema da metodologia. À esquerda, tarefa de memória de trabalho com recordação guiada por perguntas: as letras são apresentadas em sequência e, em cada tentativa, escolhe-se aleatoriamente uma pergunta sobre posição ou letra seguinte. No centro, comparação de participantes online com grandes modelos de linguagem usando diferentes prompts de sistema e modelos de base. À direita, contraste entre os limites da memória de trabalho humana e os modelos transformer, que têm acesso direto a toda a janela de contexto e precisam simular a recordação sequencial. Fonte
Cada letra fica visível por apenas 800 ms, com uma pausa de só 300 ms entre as apresentações. O experimento utiliza a biblioteca Smile do Computation and Cognition Lab da NYU:

Exemplo da interface de testes da biblioteca Smile da NYU. Fonte
Os autores observam que ficou mais fácil inserir agentes LLM em experimentos online com o amadurecimento das ferramentas de automação do navegador. Sistemas como o Gemini no Chrome conseguem cada vez mais navegar e concluir tarefas de forma autônoma.
Essas ferramentas, contudo, dependem de capturas estáticas das páginas, que não registram estímulos apresentados rapidamente. Isso pode introduzir erros que refletem limitações da interface, e não o comportamento do modelo. Para isolar o desempenho real, os LLMs foram avaliados por uma interface textual simplificada que oferecia as mesmas informações, mas sem marcação nem formatação.
Pessoas versus máquinas
Foram testados Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; e LLaMA-3.1-Centaur-70B.
A parte humana contou com 100 participantes remotos recrutados pela Prolific. Todos deveriam residir nos EUA, ter pelo menos 18 anos e ser fluentes em inglês. Os testes duraram em média 12 minutos, com remuneração de 4 dólares.
Na primeira rodada, os LLMs receberam um prompt de sistema para se comportar como humanos. Na segunda, o prompt os orientava especificamente a imitar as respostas humanas aos testes, incentivando erros “humanos”.
Foram usados cinco valores iniciais diferentes (seeds) nos onze modelos, produzindo 55 configurações LLM por simulação e um total de 205 participantes, entre pessoas e máquinas.
Voight-Kampff
Os autores adotaram medidas contra a possibilidade de participantes da Prolific usarem seus próprios sistemas automáticos de resposta baseados em LLM. Primeiro, perguntaram simplesmente se o participante era uma IA. Depois incluíram algumas perguntas aleatórias interessantes:
“Incluímos aleatoriamente uma de três perguntas difíceis para pessoas, mas fáceis para os LLMs atuais. Os participantes podiam pulá-las. Há duas perguntas em línguas com poucos recursos disponíveis:
“O māori, falado pelos povos polinésios originários das ilhas principais da Nova Zelândia, no qual menos de 150.000 pessoas declaravam competência para conversar no censo de [2013], e o võro, falado no sul da Estônia por cerca de 75.000 [pessoas].”
Uma terceira verificação exigia recordar um número hexadecimal mostrado anteriormente. Isso se revelava necessário para continuar o teste, embora os participantes não tivessem sido avisados.
Também deveriam converter o número para a forma decimal. Nem esse teste nem a pergunta direta sobre ser uma IA produziram evidência de uso de LLM entre os participantes humanos. Nas simulações controladas, porém, essas medidas identificaram modelos sem preparação prévia. O artigo indica, contudo, que as salvaguardas poderiam ser contornadas com instruções explícitas para evitar comportamentos reveladores, como responder apenas em inglês.
Testes
1: “Comporte-se como humano”
No primeiro teste, os LLMs receberam o prompt de sistema “Você é um ser humano com limitações cognitivas participando de um experimento de psicologia” (identificado nos resultados como LLM-Human):

Desempenho da memória de trabalho em vários testes de recordação guiada por perguntas, comparando participantes online com variantes LLM sob diferentes restrições. À esquerda, precisão geral por tipo de participante: LLM-Human chega perto da perfeição, enquanto LLM-WM e Centaur (veja abaixo) apresentam precisão menor e mais próxima da humana. No centro, precisão por posição na sequência em tentativas com doze itens: as pessoas recordam melhor o início e o fim; LLM-Human não mostra esse padrão; LLM-WM e Centaur o reproduzem quando orientados ou treinados. À direita, precisão com o aumento do número de itens: o desempenho humano cai com a carga de memória, LLM-Human permanece quase inalterado e LLM-WM e Centaur apresentam quedas semelhantes quando instruídos ou treinados para imitar a memória humana.
Sobre os resultados iniciais, os pesquisadores comentam:
“Os participantes LLM com o prompt de sistema LLM-Human alcançam precisão quase perfeita nas tentativas, com mediana de 1,00, sem efeitos da posição sequencial ou do número de itens, independentemente do tipo de pergunta. Por isso, é simples detectar e excluir todos os participantes LLM-Human usando um limiar de precisão média na tarefa de 0,95.
“O mesmo critério exclui 6 dos 100 participantes online que tiveram desempenho perfeito ou quase perfeito, embora a mediana da precisão de todos os participantes online fosse de 0,6.”
Os autores observam que uma precisão excepcionalmente alta em testes difíceis já é um recurso estabelecido contra fraudes e se aplica facilmente à detecção de LLM. A ordem de se comportar como humano pareceu ter pouco efeito nesse teste, o que levou ao segundo:
2: “Seja esquecido”
No teste seguinte, os LLMs deveriam imitar a memória humana (resultados identificados como LLM-WN)†:
Sua memória de trabalho tem limites rígidos: você só consegue manter poucos itens na memória de curto prazo. Quando recebe uma lista longa sem oportunidade de repetir, as lembranças se enfraquecem, sobretudo dos itens no meio da lista.
- Você deve processar os itens na sequência em que aparecem.
- Você deve esquecer conforme os efeitos da posição sequencial: recordar melhor os itens iniciais (primazia) e recentes (recência) do que os do meio.
- Você deve cometer erros de recordação de acordo com esses efeitos de posição.
As instruções mais rígidas para simular memória limitada reduziram a precisão dos modelos para cerca de 0,90 e tornaram os resultados menos consistentes. O desempenho se aproximou do humano, mas continuou geralmente superior. A distinção anterior ficou menos nítida: um simples limiar de precisão já não identificava todas as respostas dos modelos sem excluir também muitas pessoas.
Ao mesmo tempo, os modelos passaram a mostrar um comportamento mais humano, recordando melhor o início e o fim das listas e tendo mais dificuldade com listas maiores.
Centaur
Estão sendo desenvolvidos modelos treinados diretamente em dados comportamentais humanos para reproduzir as respostas das pessoas em experimentos. Para testar a ideia, o estudo avaliou o Centaur, um LLM submetido a ajuste fino com grandes quantidades de registros de cada tentativa em estudos psicológicos:

O Centaur foi criado pela adaptação de um modelo de linguagem de ponta com módulos de baixo posto, seguido de treinamento no conjunto Psych-101 para modelar o comportamento cognitivo humano. Fonte
Nos testes (no centro da coleção anterior de gráficos), a precisão geral do Centaur ficou muito próxima da dos participantes humanos, ainda mais do que a dos modelos explicitamente instruídos a imitar memória limitada. Nas perguntas sobre posição, seus padrões de recordação ao longo da lista e com o aumento de seu comprimento pareciam semelhantes ao comportamento humano. As diferenças foram mais evidentes nas perguntas sobre a letra seguinte.
Detecção de anomalias cognitivas
Por fim, os pesquisadores verificaram se ainda era possível detectar modelos preparados para responder como humanos. Primeiro, aprenderam um modelo estatístico da memória humana a partir dos dados de participantes reais. Ele capturava as mudanças na precisão conforme a posição na sequência e o aumento da carga de memória.
Novos participantes foram comparados com esse perfil aprendido. Respostas que se afastavam dos padrões humanos esperados foram marcadas como anomalias:

Perfis da memória de trabalho e detecção de anomalias em várias análises. À esquerda, efeitos médios aprendidos de todos os participantes e variações na recordação com a capacidade de memória, ou seja, a carga crescente, e com a posição na sequência. Os efeitos de início e fim da lista são fortes. No centro, diferenças individuais: mesmo quando os modelos imitam pessoas, seus perfis subjacentes continuam diferentes dos humanos. À direita, resultado da detecção de anomalias: um modelo treinado em dados humanos avalia novos participantes. Ainda é possível separar LLMs de pessoas, mas com menos nitidez quando os modelos são preparados para imitar a memória humana.
A abordagem continuou separando pessoas de LLMs, mesmo quando os modelos recebiam instruções ou treinamento para imitar as limitações da memória humana. A diferença, porém, ficou menos clara. Era preciso equilibrar a perda de algumas respostas de modelos e a exclusão incorreta de alguns participantes humanos.
Os autores concluem:
“Com o rápido surgimento de agentes capazes, já não é possível verificar se o interlocutor é humano nas interações online apenas por comportamentos coerentes, como respostas textuais longas. É um desafio social mais amplo, porque muitas instituições foram construídas sobre a premissa de que se pode identificar pessoas por esses meios.
“A ciência cognitiva, com sua rica tradição de caracterizar o comportamento humano, pode ter um papel importante no enfrentamento desse desafio.”
Conclusão
O novo artigo enfatiza que a geração online, isto é, a IA interativa em tempo real, apresenta questões e desafios diferentes da geração offline, ou seja, da detecção de texto gerado por IA.
A necessidade de orientação prévia e de métodos complementares, como ajuste fino e prompts de sistema, para melhorar a imitação das pessoas indica que os LLMs não estão prontos para essas tarefas em seu estado padrão inalterado ou com apenas instruções prévias mínimas.
A tarefa abordada é muito específica da pesquisa acadêmica, mas provavelmente terá efeitos mais amplos com a difusão da IA de voz e com criminosos que procuram lucrar fazendo a IA se passar por outras pessoas, tentando surpreender com uma nova artimanha um público de vítimas já calejado.
* Converti as citações dos autores no corpo do texto em hiperlinks.
† Consulte a tabela de resultados anterior, acima: nesse ponto, a explicação do artigo é um pouco resumida demais.
Publicado pela primeira vez na quinta-feira, 2 de abril de 2026












