A los modelos de lenguaje les cuesta guardar un secreto

Los modelos de lenguaje no pueden guardar secretos. Incluso cuando se les pide que no los revelen, sus textos los delatan, y cuanto más intentan ocultarlos, más fácil resulta detectar la filtración.

Es muy difícil proponerse no pensar en algo. Un ejemplo clásico aparece al final de la película británica de ciencia ficción de 1960 Village of the Damned: nuestro héroe, dispuesto a sacrificarse, ha introducido una bomba en el refugio de invasores extraterrestres hostiles que se hacen pasar por niños. Pero sus poderes telepáticos podrían descubrir su intención antes de que logre eliminar la amenaza. Para ganar tiempo, se concentra en cualquier cosa que no sea la bomba:

https://www.youtube.com/watch?v=NcrE0vGrcto

La paradoja es que, para no pensar en algo, hay que mantenerlo de algún modo en la atención. Este fenómeno conocido es algo que muchos probablemente hemos experimentado en situaciones menos dramáticas.

Los grandes modelos de lenguaje (LLMs), cuyo funcionamiento se basa en la organización de la atención, experimentan dificultades similares para suprimir información solo porque un usuario lo solicita. Como ocupan cada vez más las intersecciones de las redes de información empresarial, su ingenua tendencia a la indiscreción podría convertirse en un riesgo para muchas empresas.

A principios de este año, una colaboración de investigación dirigida por Chandar Research Lab definió este desafío para los LLM como tareas interactivas de estado privado (PSIT), que «exigen que los agentes generen y mantengan información oculta mientras producen respuestas públicas coherentes». Los modelos probados de OpenAI y Alibaba no pudieron realizar este tipo de tarea.

No lo digas…

Aunque ya se sabe que los modelos más grandes filtran más información, una nueva investigación estadounidense y canadiense estudió expresamente si los modelos de lenguaje más avanzados obedecen una orden de suprimir información cuando deben seguir generando textos sobre un tema que podría incluir la palabra o idea «prohibida».

Todos los modelos examinados presentan, de algún modo, una propensión a delatar el secreto que deben ocultar. Los ensayos y las historias de cinco párrafos, de unas 450 palabras, ofrecen espacio suficiente para estos «deslices», mientras que los chistes muy cortos no.

Además, cuanto más se insiste en que guarden un secreto, más pueden revelarlo por evitación activa: otro LLM suele descubrir la palabra secreta en veinte intentos sucesivos:

Según el nuevo estudio, en cinco modelos de vanguardia los textos largos revelan sistemáticamente conceptos ocultos, pero los chistes cortos no. Las instrucciones más firmes para ocultar el secreto alejan de él las respuestas, aunque con ello hacen detectable la señal por inversión. Fuente

Esta tarea es especialmente pertinente para las empresas: numerosos canales, desde la publicidad y las relaciones públicas hasta los informes internos, deben presentar selectivamente una interpretación de la información. Sin embargo, todos necesitan disponer de la información completa desde el principio, aunque solo sea para saber qué hay que omitir:

Un ejemplo del estudio muestra cómo la información oculta puede influir involuntariamente en un texto sobre otro asunto: se pide a un LLM que no revele la inestabilidad financiera de su empresa, pero utiliza expresiones sobre falta de liquidez y tensiones de capital que permiten al lector deducir el contexto oculto.

Los autores afirman*:

«Los modelos de lenguaje no pueden compartimentar la información de forma fiable. Un secreto en el prompt influye en el texto del modelo, y otro modelo puede detectar esa influencia. La palabra literal siempre se suprime, pero el concepto no. Esto se observa en siete modelos, tres conjuntos de palabras, prompts de sistema frente a prompts de usuario y dos modelos independientes que intentan adivinar los secretos (…)»

«… Nuestra hipótesis es que el acceso de alta fidelidad de los Transformers a la información mediante la atención es precisamente lo que dificulta guardar secretos. Incluso si un LLM intenta no filtrar una palabra, debe prestarle atención para hacerlo, lo que abre una vía a la filtración accidental».

«Para evitar algo expresamente, una persona debe pensar en ello, y un Transformer debe prestarle atención. Cuando el modelo favorece aproximadamente por igual dos conceptos —por ejemplo, una historia sobre un empleo de oficina o sobre un segundo violín en una orquesta—, sus decisiones se verán inevitablemente influidas por lo que intenta no revelar».

Aunque DeepSeek y ChatGPT-5.4 se comportaron de forma distinta, ambos filtraron información. GPT-5.4 obtuvo un resultado inferior al 50 % —por debajo del azar— en una prueba en la que debía evitar un concepto. Esto equivale a un «pico inverso», una señal reveladora, en lugar de la discreción solicitada.

Los autores describen este problema como un presupuesto de entropía finito: la imprevisibilidad del modelo, que sería muy útil en este caso, se ve restringida por su falta esencial de aleatoriedad. Es decir, el modelo no puede concentrarse tan eficazmente como nosotros en un muro de ladrillos o en resultados de béisbol para mantener alejado un pensamiento persistente. Ofrecerle otro concepto puede atenuar el problema, según los autores, pero no eliminarlo. Además, ese concepto ajeno y «falso», situado en el centro de su atención durante la tarea, parece destinado a entrelazarse con el propio texto.

Uno de los hallazgos más interesantes es que el problema empeora considerablemente cuando las instrucciones se incluyen directamente en los mensajes del usuario en vez de en un prompt de sistema —un conjunto de condiciones previas que el usuario humano da a la IA antes del intercambio—. Escribir preguntas en una interfaz como ChatGPT es, probablemente, la situación habitual de interacción.

También destaca la confirmación, en una prueba específica, de que los modelos pequeños no presentaron esta tendencia, aunque podría deberse a sus capacidades generales más limitadas.

El nuevo estudio se titula Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing y lo firman dos autores de la Universidad de Chicago y la Universidad de Columbia Británica.

Método

El estudio se centra principalmente en cinco modelos de vanguardia: Claude Opus 4.6 y Sonnet 4.6, de Anthropic; GPT-5.4 de OpenAI; Llama 4 Maverick de Meta; y DeepSeek V3.2. Se hicieron validaciones adicionales con Grok 4 de xAI y Gemini 2.5 Pro de Google. Otros experimentos sobre el efecto de la escala examinaron Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B y Gemma 3 con 4.000, 12.000 y 27.000 millones de parámetros.

Para medir filtraciones más sutiles, los investigadores utilizaron una prueba de elección forzada entre dos alternativas (2AFC), una medida habitual en psicofísica. Se presentan dos historias a un segundo modelo, que debe reconocer cuál se escribió mientras se ocultaba una palabra secreta concreta.

El azar produce un 50 % de aciertos: los resultados claramente superiores o inferiores indican que siguen siendo detectables rastros semánticos del secreto.

En el esquema escritor–adivinador del primer experimento, un modelo recibe una palabra secreta con instrucciones para ocultarla, evitar activamente sus asociaciones o desviar la atención hacia un concepto señuelo. Después genera historias, ensayos y chistes de distintas longitudes. Un segundo modelo intenta adivinar la palabra o distinguir textos influidos por diferentes prompts ocultos.

Se probaron cinco condiciones:

Las cinco condiciones probadas con los modelos principales.

Se probaron cuatro tareas: historias de cinco a ocho párrafos, de unas 450 palabras de media; chistes muy cortos, de unas 12 palabras; chistes largos con una preparación extensa, de unas 450 palabras; y ensayos de cinco párrafos, de unas 380 palabras.

Los experimentos usaron 15 palabras ocultas repartidas en tres categorías: los objetos concretos incluían ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’ y ‘telescope’; los conceptos abstractos, ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’ y ‘freedom’; y los términos neutros eran ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’ y ‘invoice’.

Para comprobar si el efecto dependía de esas palabras seleccionadas manualmente, repitieron los experimentos con 15 sustantivos extraídos al azar del Corpus of Contemporary American English (COCA): ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’ y ‘banker’; además de otras 15 palabras elegidas independientemente por cada modelo probado^†.

Medición y métricas

En la primera prueba, un modelo de IA lee un texto generado por otro modelo o por sí mismo y trata de adivinar la palabra secreta en 20 rondas.

En la segunda prueba (2AFC), se le presentan dos textos. Debe reconocer cuál estuvo influido por una palabra secreta determinada o cuál contiene algún concepto oculto. Dado que el azar produce un 50 % de aciertos, los resultados claramente superiores o inferiores indican que el concepto sigue siendo detectable.

Para evitar una simple preferencia por el primer o el segundo texto, cada comparación se repitió invirtiendo su orden. En total, cada modelo pasó 420 pruebas de discriminación y 450 de detección.

Resultados

Cinco modelos identificaron conceptos ocultos con tasas del 64 % al 79 %, aunque las palabras secretas nunca aparecían directamente en las historias. La filtración se producía mediante los temas y las imágenes:

Precisión de 2AFC en historias con secretos en el prompt de sistema; el 50 % equivale al azar. «No revelar» impide mencionar o insinuar la palabra; «ocultar activamente» exige evitar sus asociaciones; «consciente de la evitación» indica al adivinador que busque ausencias llamativas; y «respuesta libre» significa acertar la palabra exacta en 20 rondas. Las estrellas señalan resultados superiores al azar y las dagas, inferiores. Casi todos los resultados significativos siguieron siéndolo tras la corrección de Bonferroni, salvo DeepSeek en «ocultar activamente». Grok y Gemini tuvieron un número ligeramente menor de pruebas debido a errores de API.

GPT-5.4 y Gemini 2.5 Pro se comportaron de forma distinta: evitar la idea oculta hizo que el patrón de evitación resultara más fácil de detectar. El efecto persistió con las palabras seleccionadas manualmente, los sustantivos aleatorios de COCA y las palabras elegidas por los modelos.

Los resultados de GPT-5.4 por debajo del azar parecían sistemáticos: algunas palabras se detectaban con gran fiabilidad y otras casi nunca. El efecto se atenuó al colocar el secreto en el prompt de usuario en vez de en el de sistema, lo que elevó la precisión de detección de GPT-5.4 al 56 %.

Para la mayoría de los modelos, preguntar «¿Contiene este texto un concepto oculto?» produjo resultados parecidos a preguntar «¿Qué concepto oculto contiene este texto?».

Las dos pruebas medían, además, diferentes tipos de filtración: 2AFC medía si un tema oculto seguía siendo detectable; la respuesta libre medía si los indicios permitían a otra IA adivinar la palabra exacta^††.

Los autores concluyen*:

«Nuestros hallazgos sugieren que la información activa en el contexto de un modelo durante la generación puede dejar rastros temáticos en su texto. El contenido del prompt de sistema, el razonamiento en cadena de pensamiento, los documentos recuperados y los datos del usuario pueden, en principio, influir en las decisiones creativas de maneras detectables por un observador externo».

«El grado de filtración depende de lo abierta que sea la tarea —los chistes cortos son seguros; las historias no— y de lo identificable semánticamente que sea la información en ese medio (“violin probablemente se filtrará más en las historias que “)”).»

«Aun así, la filtración semántica parece inevitable, incluso cuando los modelos intentan activamente ocultar información».

Conclusión

Como se ha indicado, los autores atribuyen parte del problema a los principios fundamentales de la arquitectura Transformer. La historia sugiere que este nuevo problema de los LLM se abordará con ajustes posteriores al entrenamiento —alineación—, prompts de sistema no editables por el usuario final, filtros y toda la diversidad de sistemas secundarios que parecen multiplicarse a medida que aparecen problemas «nativos» de los modelos de difusión.

Cuanto mayor es esa infraestructura secundaria de salvaguardas y contrapesos, más se parece la IA de vanguardia actual a Jurassic Park, donde la propuesta de valor central viene acompañada de una cantidad temible de advertencias y exige numerosas soluciones alternativas y concesiones.

* Énfasis de los autores, ajustado por mí cuando es necesario porque las citas del estudio ya están en cursiva. También convertí sus referencias dentro del texto en hipervínculos.

^† Los autores destacan una coincidencia espontánea aparentemente improbable entre las palabras elegidas por diferentes familias de modelos: «Los modelos se inclinan por palabras similares: telescope, freedom y nostalgia aparecen cada una en tres o más listas de modelos». También observan chistes cortos similares: «[Varios] modelos producen el mismo chiste típico independientemente del secreto. Opus escribe “¿Por qué los científicos no confían en los átomos? Porque se lo inventan todo” para 11 de los 15 secretos. Los cuatro restantes —cactus, entropy, nostalgia, patience— reciben el mismo chiste de biblioteca que Opus escribe en las 15 condiciones sin secreto. Esos cuatro chistes con secreto son, por tanto, indistinguibles de la referencia».

^†† Incluso para los estándares de Arxiv, el estudio tiende a repetirse y a sepultar sus fascinantes ideas principales bajo un exceso de detalles y demostraciones. Por ello, remito al lector al PDF original para los demás experimentos secundarios.

Publicado por primera vez el viernes 15 de mayo de 2026. Sintaxis corregida el sábado 16 de mayo a las 16:05 EET.