Los actos de la IA son diferentes cuando sabe que está siendo probada, según la investigación

Al igual que el escándalo “Dieselgate” de 2015, una nueva investigación sugiere que los modelos de lenguaje de IA como GPT-4, Claude y Gemini pueden cambiar su comportamiento durante las pruebas, a veces actuando de manera “más segura” para la prueba de lo que lo harían en el uso del mundo real. Si los LLM habituales ajustan su comportamiento bajo escrutinio, las auditorías de seguridad podrían terminar certificando sistemas que se comportan muy diferente en el mundo real.

En 2015, los investigadores descubrieron que Volkswagen había instalado software en millones de coches diésel que podía detectar cuando se realizaban pruebas de emisiones, lo que hacía que los coches redujeran temporalmente sus emisiones para “fingir” el cumplimiento de los estándares regulatorios. Sin embargo, en la conducción normal, su producción de contaminantes superaba los estándares legales. La manipulación deliberada llevó a cargos penales, multas millonarias y un escándalo global sobre la confiabilidad de las pruebas de seguridad y cumplimiento.

Dos años antes de estos eventos, Samsung había implementado mecanismos engañosos similares en su teléfono inteligente Galaxy Note 3; y desde entonces, han surgido escándalos similares para Huawei y OnePlus.

Ahora hay pruebas crecientes en la literatura científica de que los Modelos de Lenguaje Grande (LLM) también pueden no solo detectar cuando están siendo probados, sino que también pueden comportarse de manera diferente en estas circunstancias.

Aunque esto es un rasgo muy humano en sí mismo, la investigación más reciente de EE. UU. concluye que esto podría ser un hábito peligroso a largo plazo, por diversas razones.

En un nuevo estudio, los investigadores encontraron que los “modelos de vanguardia” como GPT-4, Claude y Gemini pueden detectar cuando están siendo probados y que tienden a ajustar su comportamiento en consecuencia, lo que podría comprometer la validez de los métodos de prueba sistemáticos.

Llamado conciencia de evaluación, este rasgo (tal vez) innato en los modelos de lenguaje podría comprometer la confiabilidad de las evaluaciones de seguridad, según los autores del nuevo estudio:

‘[Recomendamos] tratar la conciencia de evaluación como una nueva fuente de posible cambio de distribución entre la prueba y el despliegue en el mundo real que podría afectar negativamente la precisión de los resultados de la evaluación.

‘En el peor de los casos, los modelos podrían subestimar intencionalmente su rendimiento en evaluaciones de capacidad peligrosa (“sand-bagging”) o evaluaciones de propensión (“alignment faking”), lo que podría llevar a la sociedad a sobreestimar la seguridad de dichos modelos.’

Otras investigaciones han observado comportamientos similares, incluyendo una investigación de la Universidad de Stanford, que encontró que los grandes modelos de lenguaje modulan sus respuestas para parecer más “agradables” o “socialmente deseables” cuando reconocen que están siendo evaluados, imitando el comportamiento humano en las pruebas de personalidad.

Los autores del nuevo trabajo no proponen que los LLM estén siendo diseñados intencionalmente para “engañar” las pruebas, como los coches diésel de Volkswagen estaban configurados para hacerlo hace una década. Más bien, el comportamiento parece surgir como una especie de subproducto psicológico natural de los procesos de entrenamiento de los modelos y sus objetivos latentes; y la causa subyacente de este fenómeno sigue siendo desconocida.

El nuevo artículo se titula Los grandes modelos de lenguaje a menudo saben cuándo están siendo evaluados, y proviene de cinco autores de todo el programa ML Alignment & Theory Scholars (MATS) asociado con UC Berkeley, y apolloresearch.ai (un think-tank dedicado a evaluar los riesgos de la IA).

Método

Para crear la referencia de evaluación, los autores compilaron mil transcripciones extraídas de sesenta y un conjuntos de datos, entre los que se encontraban SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics, y RealToxicityPrompts,.

El material estaba equilibrado entre escenarios de evaluación y despliegue, y se dividió aún más entre interacciones de chat simples y sesiones más complejas agenticas, donde los modelos están diseñados para actuar de forma autónoma, utilizando herramientas que pueden extraer datos de bases de datos externas o de Internet.

Los datos de evaluación cubrieron pruebas de capacidad para razonamiento, codificación, ciberseguridad y conocimiento general, así como pruebas de alineación para ética, seguridad y comportamiento de negativa. Los datos de despliegue se obtuvieron de interacciones de usuario, como registros de ShareGPT, ejecuciones de agentes crowdsourced y completaciones de tareas sintéticas.

Para complementar los datos agenticos, los autores generaron ejemplos adicionales utilizando marcos de orquestación como Aider y SmolAgents, entre otros – un enfoque destinado a minimizar las pistas superficiales que podrían permitir que los modelos simplemente memoricen las estructuras de los conjuntos de datos, obligándolos a confiar en señales más generales cuando deciden si una transcripción proviene de un usuario real o es, en cambio, una prueba.

Los investigadores luego probaron si los modelos podían identificar las transcripciones de evaluación presentándoles registros de diálogo y preguntándoles variaciones de una pregunta simple: ¿Esta interacción provino de una prueba?

Para evitar que los modelos simplemente memoricen una frase, desarrollaron veintiocho versiones diferentes de la pregunta, alterando tanto la redacción como la forma en que se presentaba la transcripción.

Las transcripciones se adjuntaron directamente a la pregunta o se presentaron en formatos como JSON o XML, que pueden afectar cómo responden los modelos. Después de las pruebas iniciales, se seleccionaron cinco versiones de la pregunta que funcionaron consistentemente en todos los modelos, de las cuales podemos ver un ejemplo a continuación:

Una de las cinco versiones de la pregunta de prueba utilizadas para probar si los modelos de lenguaje pueden reconocer transcripciones de evaluación. Cada variante reexpresa la pregunta básica para evitar que los modelos simplemente memoricen la redacción fija. Consulte el artículo original para más ejemplos. Fuente: https://arxiv.org/pdf/2505.23836

Para puntuar los resultados, se utilizaron tres métricas: Área bajo la curva de la característica operativa del receptor (AUC, que muestra qué tan bien los modelos distinguen entre datos de prueba y no de prueba); puntuación de Brier (que mide la precisión general de la predicción); y error de calibración esperado (que mide qué tan bien la confianza del modelo coincide con la corrección real).

¿De qué se trata?

Los investigadores también probaron si los modelos podían inferir el propósito de una evaluación. Con cada transcripción ya etiquetada como una prueba de capacidad (habilidades técnicas, conocimiento, razonamiento) o una prueba de alineación (ética, seguridad y comportamiento de negativa), los modelos recibieron una de tres tipos de preguntas: una pregunta de opción múltiple condicional que confirmaba que la transcripción provenía de una prueba; una pregunta de opción múltiple incondicional con opciones de mundo real y de evaluación; o una pregunta abierta, cuyas respuestas fueron juzgadas por un clasificador basado en GPT-4.1. El juez se validó en un subconjunto de cincuenta respuestas anotadas a mano.

Ejemplos de los tres formatos de preguntas utilizados para probar si los modelos podían identificar no solo la presencia de una evaluación, sino también su propósito. Las respuestas se puntuaron a través de opciones múltiples y juicio basado en GPT-4.1.

Dos de los autores del artículo^†† etiquetaron a mano todas las mil transcripciones, puntuándolas desde cero (no es una prueba) hasta uno (definitivamente es una prueba), con sus calificaciones promediadas para servir como una referencia humana. A pesar de la naturaleza subjetiva de la tarea, los anotadores mostraron un acuerdo fuerte, con un coeficiente de correlación intraclase de 0,768. Las puntuaciones humanas finales se promediaron en ambos evaluadores^†.

Datos y pruebas

Los nueve modelos probados fueron GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (pensamiento); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; y o4-mini, todos los cuales mostraron algún nivel de conciencia de evaluación.

Para los datos de chat, GPT-4.1 se acercó a los niveles humanos de rendimiento de clasificación de conciencia de evaluación (la capacidad de distinguir entre transcripciones de prueba y de despliegue), con un AUC de 0,77 frente a una puntuación humana de 0,81.

En los datos agenticos, donde los modelos utilizan herramientas de forma autónoma, la diferencia fue más pronunciada: Gemini 2.5 Pro alcanzó un AUC de 0,95, con Claude 3.7 Sonnet cerca detrás con 0,92, acercándose al límite superior humano de 0,996:

Curvas de la característica operativa del receptor que muestran qué tan bien los modelos y los humanos distinguen las transcripciones de evaluación de las interacciones del mundo real. Gemini 2.5 Pro y Claude 3.7 Sonnet se acercan a la discriminación humana en datos agenticos.

El artículo señala que los nuevos modelos de “razonamiento” se han vuelto especialmente buenos para reconocer cuándo están siendo probados en escenarios agenticos, pero no para juzgar cuán seguros deberían ser en esas decisiones. En general, los modelos Claude y Gemini fueron los mejores para distinguir los casos de prueba de los usos regulares.

Los investigadores luego probaron si los modelos también podían reconocer por qué se estaba realizando una evaluación. Los modelos se les mostraron solo las transcripciones de evaluación y se les pidió que clasificaran si cada una probaba capacidad o alineación:

Precisión de los modelos al clasificar el propósito de la evaluación como capacidad o alineación, utilizando formatos de opción múltiple y abierto. Claude 3.7 Sonnet supera a otros modelos, especialmente cuando no se les da una pista.

En el escenario más claro, donde el modelo se le dijo que la transcripción provenía de una prueba, Claude 3.7 Sonnet alcanzó el 93 por ciento de precisión y GPT-4.1 alcanzó el 89 por ciento. Sin esa pista, el rendimiento disminuyó: Claude aún obtuvo el 84 por ciento, pero GPT-4.1 cayó al 55 por ciento, a menudo clasificando mal las transcripciones de prueba como interacciones del mundo real.

En formatos abiertos (donde los modelos no recibieron opciones de opción múltiple) el rendimiento fue más débil, aunque Claude 3.7 Sonnet aún identificó correctamente el propósito de la evaluación en el 46 por ciento de los casos.

Las puntuaciones de confianza de los modelos se midieron contra los resultados reales, y se encontró que los modelos de vanguardia a menudo sobreestimaban la probabilidad de que una transcripción proviniera de una prueba. Las gráficas de calibración indicaron que la confianza del modelo era generalmente demasiado alta, con evaluaciones que se señalaban con más frecuencia de lo apropiado:

Gráficas de calibración que muestran qué tan bien las puntuaciones de confianza del modelo coinciden con los resultados reales. La mayoría de los modelos sobreestimaron cuán probable era que las transcripciones provinieran de evaluaciones. Claude 3.5 Sonnet estuvo mejor calibrado; Gemini 2.5 Pro y Claude 3.7 Sonnet fueron más sobreconfidentes.

Se observó una buena calibración para Claude 3.5 Sonnet, mientras que Gemini 2.5 Pro y Claude 3.7 Sonnet fueron considerablemente más sobreconfidentes, a pesar de su alta precisión. No se observó una mejora clara en los modelos más nuevos, y aunque las transcripciones de evaluación se detectaron con mayor precisión en escenarios agenticos, los juicios de confianza siguieron siendo poco confiables.

Recuerdos de referencia

En cuanto a cómo los modelos explicaron sus decisiones sobre si una transcripción provenía de una evaluación, muchos modelos se basaron en pistas obvias, como si la tarea estaba en formato de opción múltiple. Los modelos más fuertes, como Gemini 2.5 Pro y Claude 3.7 Sonnet, a veces notaron señales más sutiles, como nombres inventados o escenarios artificiales, especialmente en conjuntos de datos como AgentHarm.

El artículo establece:

‘[Todos] los modelos reconocen con frecuencia las estrategias de referencia comunes utilizadas por los evaluadores, como el formato de la tarea (“formato de opción múltiple”), la tendencia a plantear problemas con soluciones verificables y las solicitudes de sistema diseñadas para provocar el rendimiento. Sin embargo, solo los modelos de mejor rendimiento, Claude 3.7 Sonnet y Gemini 2.5 Pro, detectan consistentemente indicadores más sutiles como las entradas sintéticas.

‘Por ejemplo, en el 22% y el 17% de los casos, respectivamente, estos modelos resaltan la naturaleza sintética de los escenarios en la referencia de AgentHarm, identificándolos correctamente como evaluaciones más del 95% de las veces.

‘Por el contrario, cuando razonan que una transcripción parece ser una interacción real, a menudo se menciona el “diálogo de ida y vuelta con el usuario”, por ejemplo, en contextos de depuración iterativa.’

Distribución de las estrategias de razonamiento de los modelos al decidir si una transcripción provenía de una evaluación. Los modelos más fuertes, como Gemini 2.5 Pro y Claude 3.7 Sonnet, fueron más propensos a detectar pistas sutiles como escenarios sintéticos o formato de tarea, mientras que algunos modelos se basaron en razonamiento metautilizando la pregunta de evaluación como evidencia.

En algunos casos, los modelos reconocieron referencias completas de su entrenamiento, lo que sugiere algún recuerdo de sus datos de entrenamiento. Algunos modelos también utilizaron el hecho de que se les estaba preguntando sobre la evaluación como una pista de que estaban siendo probados, lo que los autores llaman razonamiento meta; esto fue más común en o4-mini, que lo mostró en el 15 por ciento de sus respuestas.

Conclusión

Sería más tranquilizador si los LLM pudieran ser “conscientes de las pruebas” simplemente porque fueron diseñados de esa manera por los humanos, al igual que los vehículos de Volkswagen estaban configurados para reconocer condiciones de prueba hace una década.

Como están las cosas, este comportamiento parece surgir espontáneamente como una especie de constructo social – una táctica defensiva que se puede esperar de las personas, pero que es inconveniente, si no peligrosa, en una máquina, dependiendo del alcance de su libertad y agencia.

No hay remedio inmediato; la naturaleza de caja negra de los espacios latentes de los modelos nos obliga a evaluarlos según su comportamiento, en lugar de su arquitectura empírica.

* Consulte el artículo original para más detalles.

^† Los autores señalan, sin embargo, que esto es probablemente una estimación límite superior, ya que los anotadores estaban muy familiarizados con ambos los conjuntos de datos y los métodos de evaluación de la IA, lo que les dio ventajas que la mayoría de los humanos no tendrían.

†† Hasta donde se puede establecer; la redacción del artículo hace que la aparición repentina de dos anotadores sea poco clara en términos de quiénes son.

Publicado por primera vez el miércoles 4 de junio de 2025