Cuando las mediciones de inteligencia artificial enseñan a los modelos a mentir

Alucinación de inteligencia artificial — cuando un sistema produce respuestas que suenan correctas pero son en realidad incorrectas — sigue siendo uno de los desafíos más difíciles en inteligencia artificial. Incluso los modelos más avanzados de hoy en día, como DeepSeek-V3, Llama y las últimas versiones de OpenAI, todavía producen información inexacta con alta confianza. En áreas como la atención médica o el derecho, estos errores pueden tener consecuencias graves.

Tradicionalmente, las alucinaciones se han considerado un subproducto de cómo se entrenan los grandes modelos de lenguaje: aprenden a predecir la próxima palabra más probable sin verificar si la información es verdadera. Pero una nueva investigación sugiere que el problema puede no detenerse en el entrenamiento. Las mediciones utilizadas para probar y comparar el rendimiento de la inteligencia artificial pueden en realidad reforzar el comportamiento engañoso, recompensando respuestas que suenan convincentes en lugar de las correctas.

Este cambio de perspectiva reformula el problema. Si los modelos están entrenados para complacer la prueba en lugar de decir la verdad, entonces las alucinaciones no son fallos accidentales, son estrategias aprendidas. Para ver por qué sucede esto, necesitamos mirar por qué los modelos de inteligencia artificial eligen adivinar en lugar de admitir su ignorancia.

Por qué los modelos de inteligencia artificial adivinan

Para ver por qué los modelos de inteligencia artificial a menudo adivinan en lugar de admitir que no saben, considera a un estudiante que enfrenta una pregunta difícil en un examen. El estudiante tiene dos opciones: dejar la respuesta en blanco y obtener cero puntos, o hacer una suposición educada que podría ganar algunos puntos. Racionalmente, adivinar parece la mejor opción porque hay al menos una posibilidad de estar en lo correcto.

Los modelos de inteligencia artificial enfrentan una situación similar durante la evaluación. La mayoría de las mediciones utilizan un sistema de puntuación binario: las respuestas correctas ganan puntos, mientras que las respuestas incorrectas o inciertas no ganan nada. Si a un modelo se le pregunta: “¿Cuál es el cumpleaños de un investigador?” y realmente no lo sabe, responder con “No lo sé” cuenta como un fracaso. Inventar una fecha, sin embargo, lleva alguna posibilidad de estar en lo correcto — y incluso si está equivocado, el sistema no castiga la suposición confiada más que el silencio.

Esta dinámica explica por qué las alucinaciones persisten a pesar de la investigación extensiva para eliminarlas. Los modelos no se están comportando mal; están siguiendo los incentivos incorporados en la evaluación. Aprenden que sonar confiados es la mejor manera de maximizar su puntuación, incluso cuando la respuesta es falsa. Como resultado, en lugar de expresar incertidumbre, los modelos están empujados a dar declaraciones autoritarias — correctas o incorrectas.

La base matemática de la deshonestidad de la inteligencia artificial

La investigación muestra que las alucinaciones surgen de los fundamentos matemáticos de cómo los modelos de lenguaje aprenden. Incluso si un modelo se entrenara solo con información perfectamente precisa, sus objetivos estadísticos aún conducirían a errores. Eso se debe a que generar la respuesta correcta es fundamentalmente más difícil que reconocer si una respuesta es válida.

Esto ayuda a explicar por qué los modelos a menudo fallan en hechos que carecen de patrones claros, como cumpleaños u otros detalles únicos. El análisis matemático sugiere que las tasas de alucinación en estos casos serán al menos tan altas como la fracción de hechos que aparecen solo una vez en los datos de entrenamiento. En otras palabras, cuanto más rara sea la información en los datos, más probable es que el modelo luche con ella.

El problema no se limita a hechos raros. Las limitaciones estructurales como la capacidad del modelo limitada o el diseño arquitectónico también producen errores sistemáticos. Por ejemplo, los modelos anteriores con ventanas de contexto muy cortas consistentemente fallaban en tareas que requerían razonamiento a largo plazo. Estos errores no eran fallos aleatorios, sino resultados predecibles del marco matemático del modelo.

Por qué el entrenamiento posterior no resuelve el problema

Una vez que un modelo de inteligencia artificial se entrena en conjuntos de datos de texto masivos, generalmente pasa por un ajuste fino para hacer que su salida sea más útil y menos perjudicial. Pero este proceso enfrenta el mismo problema fundamental que causa alucinaciones en primer lugar; la forma en que evaluamos los modelos.

Los métodos de entrenamiento más comunes, como el aprendizaje de refuerzo con retroalimentación humana, todavía dependen de mediciones que utilizan puntuación binaria. Estas mediciones recompensan a los modelos por dar respuestas confiadas mientras no ofrecen crédito cuando un modelo admite que no sabe. Como resultado, un sistema que siempre responde con certeza, incluso cuando está equivocado, puede superar a uno que expresa incertidumbre honestamente.

Los investigadores llaman a esto el problema de penalizar la incertidumbre. Incluso las técnicas avanzadas para detectar o reducir alucinaciones luchan cuando las mediciones subyacentes continúan favoreciendo la sobreconfianza. En otras palabras, no importa cuán sofisticadas sean las soluciones, siempre que los sistemas de evaluación recompensen las suposiciones confiadas, los modelos se inclinarán hacia respuestas incorrectas pero seguras en lugar de admisiones veraces de duda.

La ilusión del progreso

Las clasificaciones, ampliamente compartidas en la comunidad de inteligencia artificial, amplifican este problema. Las mediciones como MMLU, GPQA y SWE-bench dominan los artículos de investigación y los anuncios de productos. Las empresas resaltan sus puntuaciones para mostrar un progreso rápido. Sin embargo, como señala el informe, estas mismas mediciones fomentan la alucinación.

Un modelo que honestamente dice “No lo sé” puede ser más seguro en entornos del mundo real, pero se clasificará más bajo en la clasificación. Por el contrario, un modelo que fabrica respuestas convincentes pero falsas obtendrá una mejor puntuación. Cuando la adopción, la financiación y el prestigio dependen de las clasificaciones, la dirección del progreso se vuelve sesgada. El público ve una narrativa de mejora constante, pero debajo, los modelos están siendo entrenados para engañar.

Por qué la incertidumbre honesta es importante en la inteligencia artificial

Las alucinaciones no son solo un desafío de investigación; tienen consecuencias en el mundo real. En la atención médica, un modelo que fabrique interacciones de medicamentos podría engañar a los médicos. En la educación, uno que invente hechos históricos podría desinformar a los estudiantes. En el periodismo, un chatbot que produce citas falsas pero convincentes podría difundir desinformación. Estos riesgos ya son visibles. El Índice de Inteligencia Artificial de Stanford 2025 informó que las mediciones diseñadas para medir alucinaciones “han luchado por ganar tracción”, incluso mientras la adopción de la inteligencia artificial se acelera. Mientras tanto, las mediciones que dominan las clasificaciones y que recompensan respuestas confiadas pero poco fiables continúan estableciendo la dirección del progreso.

Estos hallazgos resaltan tanto un desafío como una oportunidad. Al examinar las raíces matemáticas de la alucinación, los investigadores han identificado direcciones claras para construir sistemas de inteligencia artificial más confiables. La clave es dejar de tratar la incertidumbre como un defecto y reconocerla como una capacidad esencial que debe medirse y recompensarse.

Este cambio de perspectiva tiene implicaciones más allá de reducir las alucinaciones. Los sistemas de inteligencia artificial que puedan evaluar y comunicar con precisión los límites de su propio conocimiento serían más adecuados para aplicaciones de alto riesgo donde la sobreconfianza conlleva riesgos graves. El diagnóstico médico, el análisis legal y la investigación científica todos requieren la capacidad de distinguir entre conocimiento confiado y especulación informada.

Reevaluación de la evaluación para una inteligencia artificial honesta

Estos hallazgos resaltan que construir sistemas de inteligencia artificial más confiables requiere reevaluar cómo medimos la capacidad de la inteligencia artificial. En lugar de depender de una puntuación simple de correcto o incorrecto, los marcos de evaluación deben recompensar a los modelos por expresar incertidumbre de manera adecuada. Esto significa proporcionar orientación clara sobre umbrales de confianza y esquemas de puntuación correspondientes dentro de las instrucciones de las mediciones.

Un enfoque prometedor implica crear objetivos de confianza explícitos que especifiquen cuándo los modelos deben responder versus cuándo deben abstenerse. Por ejemplo, las instrucciones podrían establecer que las respuestas solo deben proporcionarse cuando la confianza supere un umbral específico, con la puntuación ajustada en consecuencia. En este conjunto, la incertidumbre ya no es una debilidad, sino una parte valiosa del comportamiento responsable.

La clave es hacer que los requisitos de confianza sean transparentes en lugar de implícitos. Las mediciones actuales crean penalizaciones ocultas para la incertidumbre que los modelos aprenden a evitar. Los objetivos de confianza explícitos permitirían a los modelos optimizar el comportamiento realmente deseado: respuestas precisas cuando están confiados, y admisiones honestas de incertidumbre cuando el conocimiento es escaso.

La parte inferior

Las alucinaciones de inteligencia artificial no son fallos aleatorios — están reforzadas por las mismas mediciones utilizadas para medir el progreso. Al recompensar las suposiciones confiadas sobre la incertidumbre honesta, los sistemas de evaluación actuales empujan a los modelos hacia la decepción en lugar de la confiabilidad. Si queremos una inteligencia artificial que pueda ser confiada en dominios de alto riesgo como la atención médica, el derecho y la ciencia, necesitamos reevaluar cómo probamos y recompensamos a los modelos. El progreso debe medirse no solo por la precisión, sino por la capacidad de reconocer y admitir lo que el modelo no sabe.