El auge de los modelos de razonamiento pequeños: ¿Pueden los modelos de IA compactos igualar el razonamiento de nivel GPT?

En los últimos años, el campo de la IA ha sido cautivado por el éxito de los grandes modelos de lenguaje (LLM). Inicialmente diseñados para el procesamiento de lenguaje natural, estos modelos han evolucionado hasta convertirse en poderosas herramientas de razonamiento capaces de abordar problemas complejos con un proceso de pensamiento paso a paso similar al humano. Sin embargo, a pesar de sus excepcionales habilidades de razonamiento, los LLM presentan importantes desventajas, incluyendo altos costos computacionales y velocidades de despliegue lentas, lo que los hace impracticables para su uso en entornos de mundo real con recursos limitados, como dispositivos móviles o computación de borde. Esto ha llevado a un creciente interés en el desarrollo de modelos más pequeños y eficientes que puedan ofrecer capacidades de razonamiento similares mientras minimizan los costos y las demandas de recursos. Este artículo explora el auge de estos modelos de razonamiento pequeños, su potencial, desafíos e implicaciones para el futuro de la IA.

Un cambio de perspectiva

Durante gran parte de la historia reciente de la IA, el campo ha seguido el principio de las “leyes de escalado”, que sugiere que el rendimiento del modelo mejora de manera predecible a medida que aumentan los datos, la potencia de cálculo y el tamaño del modelo. Si bien este enfoque ha dado lugar a modelos poderosos, también ha resultado en importantes compensaciones, incluyendo altos costos de infraestructura, impacto ambiental y problemas de latencia. No todas las aplicaciones requieren las capacidades completas de modelos masivos con cientos de miles de millones de parámetros. En muchos casos prácticos, como asistentes en dispositivos, atención médica y educación, los modelos más pequeños pueden lograr resultados similares, siempre y cuando puedan razonar de manera efectiva.

Entendiendo el razonamiento en la IA

El razonamiento en la IA se refiere a la capacidad de un modelo para seguir cadenas lógicas, entender causa y efecto, deducir implicaciones, planificar pasos en un proceso e identificar contradicciones. Para los modelos de lenguaje, esto a menudo significa no solo recuperar información, sino también manipular e inferir información a través de un enfoque estructurado y paso a paso. Este nivel de razonamiento se logra típicamente mediante la afinación de los LLM para realizar razonamiento multietapa antes de llegar a una respuesta. Si bien estos métodos son efectivos, requieren recursos computacionales significativos y pueden ser lentos y costosos de desplegar, lo que plantea preocupaciones sobre su accesibilidad y su impacto ambiental.

Entendiendo los modelos de razonamiento pequeños

Los modelos de razonamiento pequeños tienen como objetivo replicar las capacidades de razonamiento de los modelos grandes pero con una mayor eficiencia en términos de potencia computacional, uso de memoria y latencia. Estos modelos a menudo emplean una técnica llamada knowledge distillation, donde un modelo más pequeño (el “estudiante”) aprende de un modelo más grande y preentrenado (el “maestro”). El proceso de destilación implica entrenar al modelo más pequeño con datos generados por el modelo más grande, con el objetivo de transferir la capacidad de razonamiento. El modelo del estudiante se ajusta luego para mejorar su rendimiento. En algunos casos, se aplica reinforcement learning con funciones de recompensa especializadas y específicas del dominio para mejorar aún más la capacidad del modelo para realizar razonamiento específico de la tarea.

El auge y los avances de los modelos de razonamiento pequeños

Un hito notable en el desarrollo de los modelos de razonamiento pequeños llegó con el lanzamiento de DeepSeek-R1. A pesar de haber sido entrenado en un cluster de GPUs más antiguos y modesto, DeepSeek-R1 logró un rendimiento comparable al de modelos más grandes como OpenAI’s o1 en benchmarks como MMLU y GSM-8K. Este logro ha llevado a una reconsideración del enfoque tradicional de escalado, que asumía que los modelos más grandes eran inherentemente superiores.

El éxito de DeepSeek-R1 se puede atribuir a su innovador proceso de entrenamiento, que combinó el aprendizaje de refuerzo a gran escala sin depender de la afinación supervisada en las primeras fases. Esta innovación llevó a la creación de DeepSeek-R1-Zero, un modelo que demostró impresionantes capacidades de razonamiento en comparación con los modelos de razonamiento grandes. Mejoras adicionales, como el uso de datos de inicio en frío, mejoraron la coherencia y la ejecución de tareas del modelo, particularmente en áreas como las matemáticas y la codificación.

Además, las técnicas de destilación han demostrado ser cruciales en el desarrollo de modelos más pequeños y eficientes a partir de modelos más grandes. Por ejemplo, DeepSeek ha lanzado versiones destiladas de sus modelos, con tamaños que van desde 1.5 mil millones a 70 mil millones de parámetros. Utilizando estos modelos, los investigadores han entrenado un modelo mucho más pequeño DeepSeek-R1-Distill-Qwen-32B que ha superado a OpenAI’s o1-mini en varios benchmarks. Estos modelos ahora son desplegables con hardware estándar, lo que los hace una opción más viable para una amplia gama de aplicaciones.

¿Pueden los modelos pequeños igualar el razonamiento de nivel GPT

Para evaluar si los modelos de razonamiento pequeños (SRM) pueden igualar el poder de razonamiento de los modelos grandes (LRM) como GPT, es importante evaluar su rendimiento en benchmarks estándar. Por ejemplo, el modelo DeepSeek-R1 obtuvo alrededor de 0.844 en la prueba MMLU, comparable a modelos más grandes como o1. En el conjunto de datos GSM-8K, que se centra en matemáticas de escuela primaria, el modelo destilado de DeepSeek-R1 logró un rendimiento de nivel superior, superando tanto a o1 como a o1-mini.

En tareas de codificación, como las de LiveCodeBench y CodeForces, los modelos destilados de DeepSeek-R1 desempeñaron de manera similar a o1-mini y GPT-4o, demostrando fuertes capacidades de razonamiento en programación. Sin embargo, los modelos más grandes todavía tienen una ventaja en tareas que requieren una comprensión más amplia del lenguaje o el manejo de ventanas de contexto largas, ya que los modelos más pequeños tienden a ser más específicos de la tarea.

A pesar de sus fortalezas, los modelos pequeños pueden luchar con tareas de razonamiento extendido o cuando se enfrentan a datos fuera de la distribución. Por ejemplo, en simulaciones de ajedrez de LLM, DeepSeek-R1 cometió más errores que los modelos más grandes, lo que sugiere limitaciones en su capacidad para mantener el enfoque y la precisión durante períodos prolongados.

Compensaciones e implicaciones prácticas

Las compensaciones entre el tamaño del modelo y el rendimiento son críticas al comparar los SRM con los LRM de nivel GPT. Los modelos más pequeños requieren menos memoria y potencia computacional, lo que los hace ideales para dispositivos de borde, aplicaciones móviles o situaciones en las que se requiere inferencia sin conexión. Esta eficiencia resulta en costos operativos más bajos, con modelos como DeepSeek-R1 que pueden ser hasta un 96% más baratos de ejecutar que los modelos más grandes como o1.

Sin embargo, estas ganancias en eficiencia vienen con algunas compensaciones. Los modelos más pequeños suelen ajustarse para tareas específicas, lo que puede limitar su versatilidad en comparación con los modelos más grandes. Por ejemplo, aunque DeepSeek-R1 sobresale en matemáticas y codificación, carece de capacidades multimodales, como la capacidad de interpretar imágenes, que los modelos más grandes como GPT-4o pueden manejar.

A pesar de estas limitaciones, las aplicaciones prácticas de los modelos de razonamiento pequeños son vastas. En la atención médica, pueden impulsar herramientas de diagnóstico que analicen datos médicos en servidores de hospital estándar. En educación, pueden utilizarse para desarrollar sistemas de tutoría personalizados, proporcionando retroalimentación paso a paso a los estudiantes. En la investigación científica, pueden ayudar con el análisis de datos y la prueba de hipótesis en campos como las matemáticas y la física. La naturaleza de código abierto de modelos como DeepSeek-R1 también fomenta la colaboración y democratiza el acceso a la IA, permitiendo que organizaciones más pequeñas se beneficien de tecnologías avanzadas.

En resumen

La evolución de los modelos de lenguaje hacia modelos de razonamiento más pequeños es un avance significativo en la IA. Si bien estos modelos aún no pueden igualar completamente las capacidades amplias de los modelos de lenguaje grandes, ofrecen ventajas clave en eficiencia, rentabilidad y accesibilidad. Al encontrar un equilibrio entre el poder de razonamiento y la eficiencia de los recursos, los modelos más pequeños están destinados a desempeñar un papel crucial en diversas aplicaciones, haciendo que la IA sea más práctica y sostenible para su uso en el mundo real.