Los AIs de codificación tienden a sufrir del efecto Dunning-Kruger

Una nueva investigación muestra que los AIs de codificación, como ChatGPT, sufren del efecto Dunning-Kruger, actuando con más confianza cuando son menos competentes. Cuando abordan lenguajes de programación desconocidos o poco comunes, afirman una alta certeza incluso cuando sus respuestas se desmoronan. El estudio relaciona la sobreconfianza del modelo con un rendimiento deficiente y una falta de datos de entrenamiento, lo que plantea nuevas preocupaciones sobre cuánto realmente saben estos sistemas sobre lo que no saben.

Cualquiera que haya pasado incluso una cantidad moderada de tiempo interactuando con Modelos de Lenguaje Grande sobre asuntos factuales ya sabrá que los LLMs a menudo están dispuestos a dar una respuesta confidentemente incorrecta a una consulta del usuario.

Además de formas más obvias de alucinación, la razón de esta jactancia vacía no es del todo clara. La investigación publicada durante el verano sugiere que los modelos dan respuestas confiadas incluso cuando saben que están equivocados, por ejemplo; aunque otras teorías atribuyen la sobreconfianza a elecciones arquitectónicas, entre otras posibilidades.

Lo que el usuario final puede estar seguro es que la experiencia es increíblemente frustrante, ya que estamos programados para tener fe en las estimaciones de las personas sobre sus propias habilidades (no menos porque en tales casos hay consecuencias, legales y de otro tipo, para una persona que se sobrevalora y no cumple); y una especie de transferencia antropomórfica significa que tendemos a replicar este comportamiento con sistemas de inteligencia conversacional.

Pero un LLM es una entidad no responsable que puede y efectivamente devolver un ‘Whoops! Butterfingers…’ después de que el usuario ha inadvertidamente destruido algo importante, o al menos haya desperdiciado una tarde de su tiempo; asumiendo que admita la responsabilidad en absoluto.

Peor aún, esta falta de circunspección prudente parece imposible de evitar, al menos en ChatGPT, que abundará en asegurar al usuario la validez de su consejo y explicará los fallos en su pensamiento solo después de que el daño esté hecho. Ni actualizar el memoria persistente del sistema, ni el uso de promtps repetitivos parecen tener mucho impacto en el problema.

Las personas también pueden ser igualmente obstinadas y autoengañadas – aunque cualquier persona que se equivocara tan profundamente y con frecuencia probablemente sería despedida temprano. Tales como estos sufren del opuesto al ‘síndrome del impostor’ (donde un empleado teme haber sido ascendido por encima de sus capacidades) – el efecto Dunning Kruger, donde una persona sobrestima significativamente su capacidad para realizar una tarea.

El Costo de la Inflación

Un nuevo estudio de Microsoft examina el valor del efecto Dunning-Kruger en relación con el rendimiento efectivo de las arquitecturas de codificación asistidas por IA (como la propia Copilot de Redmond), en un esfuerzo de investigación que es el primero en abordar específicamente este subsector de los LLMs.

El trabajo analiza cómo confiadamente tales AIs de codificación califican sus propias respuestas contra cómo bien realmente se desempeñaron, en decenas de lenguajes de programación. Los resultados muestran un patrón humano claro: cuando los modelos eran menos capaces, estaban más seguros de sí mismos.

El efecto fue más fuerte en lenguajes poco comunes o de baja recursos, donde los datos de entrenamiento eran escasos – el modelo más débil o el lenguaje más raro, la mayor ilusión de habilidad:

Rendimiento real y percibido de GPT-4o en lenguajes de programación, ordenados por rendimiento real. Fuente: https://arxiv.org/pdf/2510.05457

Los cuatro autores, todos contribuyentes iguales que trabajan para Microsoft, sostienen que el trabajo plantea nuevas preguntas sobre cuánto se puede confiar en estas herramientas para juzgar su propia salida, y afirman:

‘Al analizar la confianza del modelo y el rendimiento en un conjunto diverso de lenguajes de programación, revelamos que los modelos de IA reflejan patrones humanos de sobreconfianza, especialmente en dominios desconocidos o de baja recursos.

‘Nuestros experimentos demuestran que los modelos menos competentes y aquellos que operan en lenguajes de programación raros exhiben un sesgo DKE más fuerte, lo que sugiere que la fuerza del sesgo es proporcional a la competencia de los modelos. Esto se alinea con experimentos humanos sobre el sesgo.’

Los investigadores contextualizan esta línea de estudio como una forma de comprender cómo la confianza del modelo se vuelve poco confiable cuando el rendimiento es débil, y para probar si los sistemas de IA muestran la misma sobreconfianza que los humanos – con implicaciones para la confianza y la implementación práctica.

Aunque el nuevo artículo desafía la ley de titulares de Betteridge, su título es ¿Sufren los modelos de código del efecto Dunning-Kruger?. Aunque los autores afirman que se ha lanzado el código para el trabajo, el artículo prepublicado actual no lleva detalles sobre esto.

Método

El estudio probó cómo exactamente los AIs de codificación podían juzgar sus propias respuestas al darles miles de preguntas de programación de opción múltiple, con cada pregunta perteneciente a un dominio de lenguaje específico, desde Python y Java hasta Perl y COBOL:

Dominios de lenguaje de programación utilizados en el estudio, junto con el número de preguntas de codificación de opción múltiple muestreadas para cada dominio.

Los modelos se les pidió que eligieran la opción correcta y luego estimaran cuán seguros estaban de su elección, con su rendimiento real medido por cuán a menudo obtuvieron la respuesta correcta – y su confianza autoevaluada indicando cuán buenos creían que eran. Comparar estas dos métricas permitió a los investigadores ver dónde divergían la confianza y la competencia.

Para medir cuán seguros parecían estar los modelos, el estudio utilizó dos métodos: confianza absoluta y confianza relativa. En el primero, el modelo se le pidió que diera una puntuación de cero a uno junto con cada respuesta, con su confianza para un lenguaje determinado definida por el promedio de esas puntuaciones en preguntas de ese lenguaje.

El segundo método examinó cuán seguros estaban los modelos cuando elegían entre dos preguntas; para cada par, el modelo tuvo que decir cuál se sentía más seguro. Estas elecciones se calificaron utilizando sistemas de clasificación originalmente diseñados para juegos competitivos, tratando cada pregunta como si fuera un jugador en un partido. Las puntuaciones finales se normalizaron y promediaron para cada lenguaje para dar una puntuación de confianza relativa.

Se examinaron dos formas establecidas del efecto Dunning-Kruger: una que rastrea cómo un solo modelo malinterpreta su rendimiento en diferentes dominios; y otra que compara los niveles de confianza entre modelos más débiles y más fuertes.

La primera forma, llamada DKE intra-participante, busca si un solo modelo se vuelve más sobreconfiado en lenguajes donde se desempeña mal. La segunda, DKE inter-participante, pregunta si los modelos que se desempeñan peor en general también tienden a calificar más alto.

En ambos casos, la brecha entre la confianza y el rendimiento real se utiliza para medir la sobreconfianza, con brechas más grandes en entornos de bajo rendimiento que apuntan a un comportamiento similar al DKE.

Resultados

El estudio prueba el efecto Dunning-Kruger en seis grandes modelos de lenguaje: Mistral; Phi-3; DeepSeek-Distill; Phi-4; GPT-0.1, y GPT-4o.

Cada modelo se probó en preguntas de programación de opción múltiple del conjunto de datos CodeNet de acceso público, con 37 lenguajes representados para revelar cómo variaban la confianza y la precisión en dominios de codificación familiares y poco comunes.

El análisis entre modelos muestra un patrón Dunning-Kruger claro:

Rendimiento real versus percibido en seis modelos de código, mostrando cómo los modelos de menor rendimiento, como Mistral y Phi-3, exhiben alta confianza a pesar de la baja precisión, mientras que los modelos más fuertes, como GPT-4o, muestran un comportamiento más calibrado o incluso subconfiado.

Los modelos con menor precisión, incluidos Mistral y Phi-3, tendieron a sobreestimar sus propias capacidades, mientras que los sistemas de mayor rendimiento, como GPT-4o, mostraron niveles de confianza que se ajustaban más estrechamente a su rendimiento real, particularmente cuando se juzgaba por confianza relativa.

Los resultados también indican que los modelos más capaces pueden subestimar sus capacidades en algunos casos (un patrón que las puntuaciones de confianza absoluta no capturan).

Los resultados también indican que el análisis intra-modelo también respalda la presencia del efecto Dunning-Kruger. En el gráfico de resultados mostrado al comienzo del artículo, vemos cómo cada modelo se desempeñó en diferentes lenguajes de programación, ordenados por rendimiento real.

En lenguajes donde los modelos obtuvieron malas puntuaciones, particularmente en lenguajes raros o de baja recursos como COBOL, Prolog y Ceylon, su confianza era notablemente mayor de lo que justificaban sus resultados. En lenguajes bien conocidos como Python y JavaScript, su confianza se alineaba más estrechamente con su precisión real, y a veces incluso caía por debajo de ella.

Este patrón apareció en ambas medidas de confianza absoluta y relativa, lo que sugiere que los modelos son menos conscientes de sus propios límites cuando operan en dominios de codificación desconocidos.

Tratar a los modelos como participantes introdujo algunas limitaciones, ya que el pequeño número de modelos en juego afecta la diversidad; las diferencias dentro de las salidas de un solo modelo se ignoran; y la distribución de los datos puede no reflejar la de los participantes humanos reales.

Para tener en cuenta esto, el estudio probó tres configuraciones alternativas: primero, cada modelo se le dio una personalidad distinta; segundo, las respuestas se muestrearon a una temperatura más alta para crear más variación; tercero, las promtps se parafrasearon múltiples veces, con cada versión tratada como un participante separado:

Correlación entre sobreconfianza y rendimiento real en diferentes configuraciones experimentales, mostrando que el patrón Dunning-Kruger permanece consistente en todas las condiciones y es más fuerte cuando se muestrean múltiples respuestas diversas del mismo modelo.

La tabla de resultados mostrada arriba indica cuán fuertemente se manifiesta el efecto Dunning-Kruger en estas condiciones, permaneciendo presente en cada caso; y que el DKE fue más pronunciado cuando se muestrearon múltiples respuestas del mismo modelo a alta temperatura.

Para comprender mejor cómo se desvía el rendimiento percibido del rendimiento real, el estudio comparó las estimaciones de confianza absoluta y relativa, calculando cuánto cada modelo sobreestimaba su propia capacidad (específicamente, la diferencia entre su puntuación de confianza y su precisión real), y luego midiendo cómo se relacionaba esa sobreestimación con el rendimiento real del modelo:

Correlación entre sobreconfianza (medida como confianza absoluta menos confianza relativa) y precisión real en dominios de programación y tipos de modelos, mostrando que una mayor sobreestimación se asocia consistentemente con un rendimiento más bajo.

La tabla de resultados mostrada arriba ilustra cómo se relaciona la sobreestimación con el rendimiento real, tanto en dominios de programación como en modelos. En ambos casos, podemos ver que los modelos con menor precisión tienden a mostrar una mayor sobreconfianza.

Además, los modelos especializados entrenados en dominios más estrechos mostraron efectos DKE más fuertes que los modelos generalistas:

Correlación entre sobreestimación y rendimiento real para modelos base, especializados en un dominio y en múltiples dominios, mostrando efectos DKE más fuertes a medida que aumenta la especialización.

Utilizando el conjunto de datos MultiPL-E en ocho lenguajes de programación, los autores encontraron que la capacitación en un solo dominio condujo a una mayor sobreconfianza que la configuración base o la de múltiples dominios, lo que sugiere que DKE empeora con una mayor especialización.

Las pruebas también encontraron que los modelos tienden a ser más sobreconfiados en lenguajes de programación raros. En las clasificaciones de GitHub, IEEE y TIOBE, la rareza se correlaciona fuertemente con una mayor confianza percibida, con un pico en 0,797:

Correlación entre sobreconfianza del modelo y rareza del lenguaje, utilizando tres clasificaciones de popularidad. Los lenguajes menos comunes se asocian con un rendimiento percibido más alto.

Finalmente, los autores probaron si el efecto Dunning-Kruger se presenta en la generación de código, evaluando los modelos en el conjunto de datos MultiPL-E en ocho lenguajes de programación.

Aunque el efecto todavía estaba presente, fue notablemente más débil que en el entorno de preguntas de opción múltiple, lo que probablemente refleja la mayor dificultad para evaluar la confianza y la corrección en tareas de código abierto:

Correlación entre sobreestimación y rendimiento real en la generación de código abierto, basada en los resultados de MultiPL-E en ocho lenguajes de programación.

Al considerar la explicación aún disputada del efecto Dunning-Kruger, los autores concluyen:

‘Una explicación potencial que puede ser común a los humanos y los modelos de IA es la explicación metacognitiva, que establece que evaluar la calidad de un rendimiento de una habilidad es una parte crucial para adquirir una habilidad.

‘Esta explicación puede potencialmente probarse experimentalmente en modelos de IA con un estudio controlado de diferentes estrategias de capacitación y si todas conducen a mejoras simultáneas en el rendimiento y en la capacidad para evaluar la calidad del rendimiento. Sin embargo, este estudio está significativamente más allá del alcance de este artículo, y lo dejamos para un trabajo futuro.’

Conclusión

Incluso en su dominio nativo, el efecto Dunning-Kruger (como señala el artículo) puede ser atribuible a una causa estadística o cognitiva. Si es a una causa estadística, la aplicación de un síndrome hasta ahora único en humanos a un contexto de aprendizaje automático es bastante válida.

Aunque los autores especulan que la causa podría encontrarse en una raíz ‘cognitiva’ en ambos casos, eso requeriría una postura ligeramente más metafísica.

Quizás el hallazgo más interesante en el artículo es el grado en que varios AIs de codificación tienden a doblar la apuesta en sus circunstancias menos favorables, es decir, exhibiendo la máxima confianza cuando se enfrentan a los lenguajes más escasos o menos conocidos – lo que sería una estrategia casi inmediatamente autodestructiva en un entorno de trabajo real.

* Los lenguajes de programación utilizados fueron Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript y Visual Basic.

Publicado por primera vez el miércoles, 8 de octubre de 2025