Ángulo de Anderson
La ausencia de errores humanos delata a las IA que se hacen pasar por personas

Puntos claveLos sistemas de IA se revelan al realizar tareas de memoria con una perfección…
Ver más
- Los sistemas de IA se revelan al realizar tareas de memoria con una perfección antinatural, a menos que se les entrene específicamente para cometer errores.
- El ajuste fino de modelos con datos de psicología humana mejora su capacidad de imitación, pero limita sus capacidades de propósito general.
- La ciencia cognitiva ofrece métodos de detección robustos porque la IA carece de limitaciones humanas inherentes como el deterioro de la memoria y la fatiga.
Una nueva investigación revela que la IA puede pasar por humana hasta que recuerda «demasiado bien». Unas pruebas sencillas de memoria delatan a los chatbots porque no cometen los errores humanos habituales.
Investigadores de Princeton han desarrollado un método para identificar sistemas de IA que se hacen pasar por personas: pedirles que realicen tareas que a los humanos se les dan mal, principalmente relacionadas con la retención de información en la memoria a corto plazo.
Las IA examinadas no reprodujeron adecuadamente los niveles de error humanos, salvo que recibieran instrucciones específicas en una instrucción de sistema o hubieran pasado por un ajuste fino con datos psicológicos.
El artículo afirma:
«Exploramos la idea de determinar si alguien es humano mediante tareas que las máquinas resuelven demasiado bien para ser personas. En concreto, comprobamos la existencia de una limitación cognitiva humana conocida: la capacidad limitada de la memoria de trabajo.
«Mostramos que el modelado cognitivo de una tarea estándar de recuerdo serial permite distinguir a los participantes en línea de los grandes modelos de lenguaje, incluso cuando estos reciben instrucciones específicas para imitar las limitaciones de la memoria de trabajo humana.
«Nuestros resultados demuestran que se pueden utilizar fenómenos cognitivos bien establecidos para distinguir a los LLM de los humanos».
El patrón observado sugiere que los modelos de lenguaje listos para usar tienen muchas probabilidades de delatarse en cualquier prueba de Turing inversa que emplee este método.
Los modelos de IA especializados en un objetivo tendrán mejores resultados, pero el ajuste fino para esta tarea probablemente los limitará a ella, en detrimento de su uso general. Una instrucción de sistema puede ser tan larga como Guerra y paz e incluir indicaciones para imitar las debilidades humanas. Sin embargo, el método pierde eficacia cuando se incorpora a instrucciones muy extensas, que destacan muchas otras prioridades, o muy cortas, que sacrifican capacidades generales en favor de la tarea concreta, al igual que el ajuste fino.
«Estás hablando de memoria…»
Cada vez se necesitan métodos más eficaces para reconocer las conversaciones generadas por IA, también entre los propios investigadores. Estos suelen depender de trabajadores remotos captados mediante plataformas de colaboración abierta, que tienen fuertes incentivos para burlar el sistema con automatización y otras artimañas.
Además, probablemente hagan falta respuestas de IA informadas y presentadas de forma convincente en casos de fraude con IA, donde las conversaciones en tiempo real exigen respuestas rápidas y que transmitan autoridad. Los delincuentes no tienen tiempo para buscar en Google la respuesta a una pregunta que acaban de recibir.
Así como el sector de detección de IA podría aprovechar estos conocimientos, el creciente mercado de llamadas de voz promocionales realizadas por IA presumiblemente se beneficiaría de saber qué comportamientos evitar.
Esto apunta a una posible «carrera armamentística de la prueba de Turing inversa». No obstante, los autores señalan que, aunque la IA de uso general mejore al simular debilidades humanas, aún queda una enorme variedad de propensiones al error que aprovechar*:
«Existen muchas limitaciones cognitivas humanas conocidas que los LLM podrían no heredar. Por ejemplo, las personas se cansan, perciben ilusiones ópticas y solo pueden almacenar unos pocos elementos en la memoria de trabajo».

Ejemplos de ilusiones ópticas del artículo «The Illusion-Illusion: Vision Language Models See Illusions Where There are None», publicado a finales de 2024. Probablemente engañarían a cualquier modelo de visión y lenguaje (VLM) que no las conociera ya por sus datos de entrenamiento. Las personas, en cambio, tienen muchas más probabilidades de interpretar correctamente las imágenes. Fuente
Según los autores, si los grandes modelos de lenguaje (LLM) respondieran como las personas en esta tarea, eso sugeriría que comparten realmente las limitaciones cognitivas humanas o que han recibido orientación previa para imitarlas.
Los datos de entrenamiento pueden contener huellas del comportamiento humano. Sin embargo, el artículo sostiene que eso no reproduce de forma fiable los patrones concretos de error de memoria que dependen de la tarea. Sigue abierta, por tanto, la pregunta de si se puede distinguir la IA por cómo se equivoca, incluso cuando recibe instrucciones para actuar como una persona.
El nuevo artículo se titula ¿Son humanos? Detectar grandes modelos de lenguaje mediante el estudio de las limitaciones de la memoria humana y está firmado por dos investigadores de Princeton, de los departamentos de Informática y Psicología, respectivamente.
Método y pruebas
Los investigadores recurren a trabajos de las décadas de 1950 y 1960, en especial al artículo Efectos del orden serial en la memoria a corto plazo de 1968. Los participantes debían recordar letras presentadas en secuencia, respondiendo a una pregunta sobre la posición («¿Cuál era la tercera letra?») o a una pregunta sobre la letra siguiente («¿Qué letra venía después de X?»):

Esquema del método. A la izquierda, una tarea de memoria de trabajo con recuerdo guiado por preguntas: las letras aparecen en secuencia y en cada ensayo se elige al azar una pregunta sobre la posición o la letra siguiente. En el centro se compara a los participantes en línea con grandes modelos de lenguaje que emplean distintas instrucciones de sistema y modelos de base. A la derecha se destaca la diferencia entre los límites de la memoria de trabajo humana y los modelos transformer, que acceden directamente a toda la ventana de contexto y deben simular el recuerdo serial. Fuente
Cada letra se muestra solo durante 800 ms, con una pausa de apenas 300 ms entre presentaciones. El experimento utiliza la biblioteca Smile del Computation and Cognition Lab de la Universidad de Nueva York:

Ejemplo de la interfaz de pruebas de la biblioteca Smile de la Universidad de Nueva York. Fuente
Los autores señalan que introducir agentes LLM en experimentos en línea es más fácil a medida que maduran las herramientas de automatización del navegador. Sistemas como Gemini en Chrome cada vez navegan y completan mejor las tareas de forma autónoma.
Estas herramientas dependen, sin embargo, de capturas estáticas de páginas web que no registran estímulos presentados rápidamente. Eso puede introducir errores debidos a limitaciones de la interfaz, no al comportamiento del modelo. Para aislar el rendimiento real, los LLM se evaluaron mediante una interfaz textual simplificada que ofrecía la misma información, pero sin marcado ni formato.
Personas y máquinas
Los modelos examinados fueron Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; y LLaMA-3.1-Centaur-70B.
La parte humana contó con 100 participantes remotos captados mediante Prolific. Debían residir en Estados Unidos, tener al menos 18 años y hablar inglés con fluidez. Las pruebas duraron una media de 12 minutos y la remuneración fue de 4 dólares.
En la primera ronda, los LLM recibieron una instrucción de sistema para comportarse como humanos. En la segunda, se los orientó específicamente para imitar las respuestas humanas a las pruebas, animándolos a cometer errores «humanos».
Se utilizaron cinco valores iniciales diferentes (semillas) en los once modelos, lo que produjo 55 configuraciones LLM por simulación y un total de 205 participantes, entre personas y máquinas.
Voight-Kampff
Los autores tomaron medidas ante la posibilidad de que los participantes de Prolific emplearan sus propios sistemas automáticos de respuesta basados en LLM. Primero preguntaron simplemente si el participante era una IA. Después añadieron algunas preguntas aleatorias interesantes:
«Incluimos al azar una de tres preguntas difíciles para una persona, pero fáciles para los LLM actuales. Los participantes podían omitirlas. Entre ellas hay dos preguntas en lenguas con pocos recursos disponibles:
«El maorí, hablado por los pueblos polinesios originarios de las islas principales de Nueva Zelanda, para el que menos de 150.000 personas declaraban un nivel conversacional en el censo de [2013], y el võro, hablado en el sur de Estonia por unas 75.000 [personas]».
Una tercera comprobación exigía recordar un número hexadecimal mostrado anteriormente. Eso resultaba necesario para continuar la prueba, aunque los participantes no habían sido advertidos.
También debían convertir el número a decimal. Ni esta prueba ni la pregunta directa sobre ser una IA aportaron pruebas de uso de LLM entre los humanos. En las simulaciones controladas, en cambio, estas medidas identificaron modelos sin preparación previa. El artículo indica, no obstante, que las salvaguardas podrían eludirse con instrucciones explícitas para evitar comportamientos reveladores, por ejemplo responder solo en inglés.
Pruebas
1: «Compórtate como humano»
En la primera prueba, los LLM recibieron la instrucción de sistema «Eres un ser humano con limitaciones cognitivas que participa en un experimento de psicología» (identificada en los resultados como LLM-Human):

Rendimiento de la memoria de trabajo en varias pruebas de recuerdo guiado por preguntas, comparando participantes en línea con variantes LLM bajo distintas restricciones. A la izquierda, precisión general según el tipo de participante: LLM-Human logra resultados casi perfectos, mientras LLM-WM y Centaur (véase abajo) muestran una precisión menor, más cercana a la humana. En el centro, precisión según la posición en ensayos con doce elementos: las personas recuerdan mejor el principio y el final; LLM-Human no muestra ese patrón; LLM-WM y Centaur lo reproducen cuando se los guía o entrena. A la derecha, precisión al aumentar el número de elementos: el rendimiento humano cae con la carga de memoria, LLM-Human apenas cambia y LLM-WM y Centaur presentan caídas similares tras recibir instrucciones o entrenamiento para imitar la memoria humana.
Los investigadores comentan los resultados iniciales:
«Los participantes LLM con la instrucción de sistema LLM-Human alcanzan una precisión casi perfecta en los ensayos, con una mediana de 1,00, sin efectos de posición serial ni de número de elementos, sea cual sea el tipo de pregunta. Por ello, es sencillo detectar y excluir a todos los participantes LLM-Human con un umbral de precisión media en la tarea de 0,95.
«El mismo criterio excluye a 6 de los 100 participantes en línea que tuvieron un rendimiento perfecto o casi perfecto, pese a que la mediana de precisión de todos los participantes en línea era de 0,6».
Los autores recuerdan que una precisión excepcionalmente alta en pruebas difíciles ya es un indicador de trampas establecido y se aplica fácilmente a la detección de LLM. La orden de comportarse como humano pareció tener poco efecto en esta prueba, lo que dio lugar a la segunda:
2: «Sé olvidadizo»
En la siguiente prueba, los LLM debían imitar la memoria humana (resultados identificados como LLM-WN)†:
Tu memoria de trabajo tiene límites estrictos: solo puedes retener unos pocos elementos en la memoria a corto plazo. Ante una lista larga sin oportunidades de repetición, los recuerdos se debilitan, sobre todo los de los elementos del medio.
- Debes procesar los elementos en el orden en que aparecen.
- Debes olvidar según los efectos de posición serial: recordar mejor los primeros elementos (primacía) y los recientes (recencia) que los del medio.
- Debes cometer errores de recuerdo acordes con esos efectos de posición.
Las instrucciones más estrictas para simular una memoria limitada redujeron la precisión de los modelos a alrededor de 0,90 y volvieron los resultados menos constantes. El rendimiento se acercó al humano, aunque siguió siendo generalmente superior. La distinción anterior se difuminó: un simple umbral de precisión ya no identificaba todas las respuestas de los modelos sin excluir también a muchas personas.
Los modelos empezaron además a comportarse de forma más humana, recordando mejor el principio y el final de las listas y teniendo más dificultades con listas más largas.
Centaur
Se están desarrollando modelos entrenados directamente con datos de comportamiento humano para reproducir las respuestas de las personas en experimentos. Para probar esta idea, el estudio evaluó Centaur, un LLM sometido a ajuste fino con grandes cantidades de registros de cada ensayo de estudios psicológicos:

Centaur se creó adaptando un modelo de lenguaje avanzado con módulos de bajo rango y entrenándolo después con el conjunto Psych-101 para modelar el comportamiento cognitivo humano. Fuente
En las pruebas (en el centro de la anterior colección de gráficos), la precisión general de Centaur fue muy cercana a la de los participantes humanos, aún más que la de los modelos explícitamente instruidos para imitar una memoria limitada. En las preguntas sobre posición, sus patrones de recuerdo a lo largo de la lista y al aumentar su longitud parecían humanos. Las diferencias fueron más evidentes en las preguntas sobre la letra siguiente.
Detección de anomalías cognitivas
Por último, los investigadores comprobaron si aún se podían detectar modelos preparados para responder como humanos. Primero aprendieron un modelo estadístico de la memoria humana a partir de datos de participantes reales. Reflejaba cómo cambiaba la precisión según la posición en la secuencia y el aumento de la carga de memoria.
Compararon a nuevos participantes con ese perfil aprendido. Las respuestas que se apartaban de los patrones humanos esperados se marcaron como anomalías:

Perfiles de memoria de trabajo y detección de anomalías en varios análisis. A la izquierda, efectos medios aprendidos de todos los participantes y variación del recuerdo según la capacidad de memoria, es decir, la carga creciente, y la posición en la secuencia. Los efectos del principio y el final son fuertes. En el centro, diferencias individuales: aunque los modelos imiten a las personas, sus perfiles subyacentes siguen siendo distintos. A la derecha, un modelo entrenado con datos humanos evalúa a nuevos participantes. Todavía se pueden separar los LLM de los humanos, pero con menos claridad cuando están preparados para imitar la memoria humana.
Este enfoque siguió distinguiendo a las personas de los LLM, incluso cuando los modelos recibían instrucciones o entrenamiento para imitar las limitaciones de la memoria humana. Sin embargo, la diferencia era menos clara. Había que equilibrar la omisión de algunas respuestas de modelos y la exclusión incorrecta de algunos humanos.
Los autores concluyen:
«Con la rápida aparición de agentes capaces, ya no se puede verificar que el interlocutor sea humano en las interacciones en línea únicamente por comportamientos coherentes, como respuestas textuales largas. Es un desafío social más amplio, porque muchas instituciones se construyeron sobre la premisa de poder identificar a las personas por esos medios.
«La ciencia cognitiva, con su rica tradición de caracterizar el comportamiento humano, puede desempeñar un papel importante para abordar este desafío».
Conclusión
El nuevo artículo destaca que la generación en línea, es decir, la IA interactiva en tiempo real, plantea cuestiones y desafíos distintos de la generación fuera de línea, es decir, de la detección de texto generado por IA.
La necesidad de orientación previa y métodos complementarios, como ajuste fino e instrucciones de sistema, para mejorar la imitación humana indica que los LLM no están preparados para estas tareas en su estado predeterminado sin modificar o con unas instrucciones previas mínimas.
La tarea tratada es muy específica de la investigación académica. No obstante, probablemente tendrá repercusiones más amplias con la difusión de la IA de voz y con los delincuentes que intentan beneficiarse de la suplantación de identidad mediante IA, sorprendiendo con una nueva artimaña a un público de víctimas ya curtido.
* He convertido las citas de los autores en el cuerpo del texto en hipervínculos.
† Véase la anterior tabla de resultados, más arriba: en este punto, la explicación del artículo es algo demasiado condensada.
Publicado por primera vez el jueves 2 de abril de 2026












