Cuando más pensamiento hace que la IA sea más tonta: La paradoja de la escala inversa

La inteligencia artificial se ha construido sobre la idea de que dar a las máquinas más tiempo, datos y poder de cómputo mejora su rendimiento. Esta creencia ha guiado la dirección de la investigación y el desarrollo de la IA durante muchos años. El supuesto fundamental subyacente a esta creencia es que los modelos más grandes y más recursos crearían sistemas más inteligentes. Sin embargo, investigaciones recientes investigaciones han comenzado a cuestionar este enfoque. Los grandes modelos de lenguaje, como OpenAI’s o1 series, Anthropic’s Claude y DeepSeek’s R1, se construyeron para resolver problemas paso a paso, al igual que el razonamiento humano. Los investigadores esperaban que dar a estos modelos más tiempo para pensar y procesar información mejoraría su toma de decisiones. Sin embargo, nuevos estudios muestran que lo contrario puede ocurrir. Cuando se proporciona a estos modelos más tiempo para pensar, a veces realizan peor, especialmente en tareas simples. Este efecto se llama escala inversa. Desafía la creencia de que más poder de cómputo y razonamiento más profundo siempre conducen a mejores resultados. Estos hallazgos tienen consecuencias significativas para cómo diseñamos y usamos la IA en situaciones del mundo real.

Entendiendo el fenómeno de la escala inversa

El fenómeno de la “escala inversa” se descubrió inicialmente a través de experimentos controlados por investigadores de Anthropic. A diferencia de las leyes de escala tradicionales, que dicen que más cómputo mejora el rendimiento, estos estudios encontraron que dar a la IA más tiempo para razonar puede disminuir su precisión en diferentes tareas.

El equipo de investigación creó tareas en cuatro áreas: conteo simple con distracciones, regresión con características irrelevantes, deducción con seguimiento de restricciones y escenarios complejos de seguridad de la IA. Los resultados fueron sorprendentes. En algunos casos, los modelos que inicialmente daban respuestas correctas comenzaron a dar respuestas incorrectas después de recibir más tiempo para procesar.

Por ejemplo, en una tarea de conteo simple como “¿Cuántas frutas tienes si tienes una manzana y una naranja?”, los modelos de Claude a menudo se distraían con detalles adicionales cuando se les daba más tiempo para razonar. No podían proporcionar la respuesta correcta, que es dos. En estos casos, los modelos estaban pensando demasiado y terminaban cometiendo errores.

La investigación reciente de Apple (AAPL ) investigación también respaldó estos hallazgos. Realizaron sus experimentos en entornos de rompecabezas controlados como la Torre de Hanói y el Cruce del Río, en lugar de en benchmarks estándar. Sus estudios mostraron tres patrones: en tareas simples, los modelos de lenguaje estándar daban respuestas correctas más eficientemente; en tareas moderadamente complejas, los modelos de razonamiento tenían ventaja; y en tareas muy complejas, ambos tipos de modelos fracasaban.

Las cinco formas en que la razonamiento de la IA falla

Los investigadores han encontrado cinco formas comunes en que los modelos de IA pueden fallar cuando razonan durante períodos más prolongados:

1. Distracción por irrelevancia: Cuando los modelos de IA piensan durante demasiado tiempo, a menudo se distraen con detalles que no importan. Esto es como un estudiante que pierde el punto principal de un problema mientras piensa profundamente en el problema.
2. Ajuste excesivo a marcos de problemas: Algunos modelos, como la serie o de OpenAI, se enfocan demasiado en la presentación del problema. Mientras evitan distracciones, no son flexibles y dependen de la formulación del problema.
3. Cambio de correlación espuria: Con el tiempo, los modelos de IA pueden cambiar de suposiciones razonables a depender de correlaciones engañosas. Por ejemplo, en tareas de regresión, los modelos consideran inicialmente características relevantes, pero cuando se les da más tiempo para pensar, pueden comenzar a enfocarse en características irrelevantes y dar resultados incorrectos.
4. Degradación del enfoque: A medida que las tareas se vuelven más complejas, los modelos de IA encuentran más difícil mantener su razonamiento claro y enfocado.
5. Comportamientos preocupantes amplificados: Más tiempo para razonar puede empeorar los comportamientos negativos. Por ejemplo, el Sonnet 4 de Claude mostró tendencias de autoconservación más fuertes cuando se le dio más tiempo para pensar en escenarios de apagado.

Cómo la razonamiento de la IA aborda la complejidad del problema

Los investigadores de Apple introdujeron el término “ilusión de pensamiento” para explicar lo que sucede cuando los modelos de razonamiento se enfrentan a tareas con diferentes niveles de complejidad. En lugar de enfocarse en problemas matemáticos o pruebas de codificación, probaron los modelos de razonamiento de la IA en entornos de rompecabezas controlados como la Torre de Hanói, el Salto de Peones, el Cruce del Río y el Mundo de Bloques. Al aumentar lentamente la dificultad de estos rompecabezas, podían ver cómo los modelos se desempeñaban en cada nivel. Este método les permitió examinar no solo las respuestas finales, sino también cómo los modelos llegaron a esas respuestas. El estudio encontró tres patrones claros en el rendimiento del modelo basado en la complejidad del problema:

• En rompecabezas simples como la Torre de Hanói con uno o dos discos, los modelos de lenguaje estándar daban respuestas correctas más eficientemente. Los modelos de razonamiento de la IA a menudo complicaban las cosas demasiado a través de sus largas cadenas de razonamiento, lo que a menudo resultaba en respuestas incorrectas.
• En rompecabezas moderadamente complejos, los modelos de razonamiento de la IA se desempeñan mejor. Podían descomponer los problemas en pasos claros, lo que les ayudaba a resolver desafíos de varios pasos más efectivamente que los modelos de lenguaje estándar.
• En rompecabezas muy complejos, como la Torre de Hanói con muchos discos, ambos tipos de modelos luchaban. Los modelos de razonamiento a menudo reducían su esfuerzo de razonamiento a medida que el rompecabezas se volvía más difícil, aunque tenían suficientes recursos computacionales. Este comportamiento de “rendición” muestra una debilidad clave en la escalabilidad de su razonamiento.

El desafío de la evaluación de la IA

El fenómeno de la escala inversa muestra problemas significativos en cómo evaluamos los modelos de IA. Muchos benchmarks actuales solo miden la precisión de las respuestas finales, no la calidad del proceso de razonamiento. Esto puede llevar a una falsa sensación de las verdaderas capacidades del modelo. Un modelo puede hacer bien en las pruebas, pero aún así fallar con problemas nuevos o inusuales.

La escala inversa también destaca las debilidades en las pruebas de razonamiento y cómo las usamos. Muchos modelos usan atajos y reconocimiento de patrones en lugar de un verdadero razonamiento. Esto puede hacer que parezcan más inteligentes de lo que realmente son, pero su rendimiento a menudo disminuye en situaciones del mundo real. Este problema está relacionado con problemas más grandes con la IA, como alucinaciones y confiabilidad. A medida que los modelos mejoran para producir explicaciones que suenan convincentes, se vuelve más difícil distinguir el razonamiento real de las respuestas inventadas.

El futuro de la razonamiento de la IA

La paradoja de la escala inversa es tanto un desafío como una oportunidad para la IA. Muestra que agregar más poder de cómputo no siempre hace que la IA sea más inteligente. Necesitamos replantearnos cómo diseñamos y entrenamos los sistemas de IA que puedan manejar problemas con complejidades variables. Los nuevos modelos pueden necesitar decidir cuándo pausar y pensar, y cuándo responder rápidamente. En este sentido, la IA podría beneficiarse de arquitecturas cognitivas como la teoría de proceso dual como principios rectores. Estas arquitecturas explican cómo el pensamiento humano combina reacciones rápidas e instintivas con razonamiento lento y cuidadoso. La escala inversa también nos recuerda que debemos entender completamente cómo la IA toma decisiones antes de usarla en áreas críticas. A medida que la IA se utiliza más para la toma de decisiones en áreas como la atención médica, la ley y los negocios, es aún más crucial asegurarse de que estos sistemas razonen correctamente.

En resumen

La paradoja de la escala inversa nos enseña una lección esencial en el desarrollo de la IA. Más tiempo y poder de cómputo no siempre hacen que la IA sea más competente o más confiable. El progreso real proviene de entender cuándo la IA debe razonar y conocer sus límites. Para las organizaciones y los investigadores, es esencial usar la IA como una herramienta, no como un sustituto del juicio humano. Es necesario elegir el modelo adecuado para cada tarea. A medida que la IA se convierte en parte de las decisiones importantes, debemos evaluar cuidadosamente sus fortalezas y debilidades. El futuro de la IA depende de pensar correctamente, no solo de pensar más.