Cómo el razonamiento Phi-4 redefine el razonamiento de la IA al desafiar el mito de “más grande es mejor”

El reciente lanzamiento de Phi-4-razonamiento de Microsoft desafía una suposición clave en la construcción de sistemas de inteligencia artificial capaces de razonar. Desde la introducción del razonamiento de cadena de pensamiento en 2022, los investigadores creyeron que el razonamiento avanzado requería modelos de lenguaje muy grandes con cientos de miles de millones de parámetros. Sin embargo, el nuevo modelo de 14 mil millones de parámetros de Microsoft, Phi-4-razonamiento, cuestiona esta creencia. Utilizando un enfoque centrado en los datos en lugar de confiar en la pura potencia computacional, el modelo logra un rendimiento comparable a sistemas mucho más grandes. Este avance muestra que un enfoque centrado en los datos puede ser tan efectivo para entrenar modelos de razonamiento como lo es para el entrenamiento de IA convencional. Abre la posibilidad de que modelos de IA más pequeños logren un razonamiento avanzado cambiando la forma en que los desarrolladores de IA entrenan los modelos de razonamiento, pasando de “más grande es mejor” a “mejores datos son mejores”.

El paradigma de razonamiento tradicional

El razonamiento de cadena de pensamiento se ha convertido en un estándar para resolver problemas complejos en inteligencia artificial. Esta técnica guía a los modelos de lenguaje a través de un razonamiento paso a paso, descomponiendo problemas difíciles en pasos más pequeños y manejables. Imita el pensamiento humano haciendo que los modelos “piensen en voz alta” en lenguaje natural antes de dar una respuesta.

Sin embargo, esta capacidad vino con una limitación importante. Los investigadores encontraron consistentemente que la inducción de razonamiento de cadena de pensamiento funcionaba bien solo cuando los modelos de lenguaje eran muy grandes. La capacidad de razonamiento parecía estar directamente vinculada al tamaño del modelo, con modelos más grandes que realizaban mejor en tareas de razonamiento complejo. Este hallazgo llevó a una competencia en la construcción de modelos de razonamiento grandes, donde las empresas se centraron en convertir sus grandes modelos de lenguaje en potentes motores de razonamiento.

La idea de incorporar capacidades de razonamiento en los modelos de IA surgió principalmente de la observación de que los grandes modelos de lenguaje pueden realizar aprendizaje en contexto. Los investigadores observaron que cuando se les muestran a los modelos ejemplos de cómo resolver problemas paso a paso, aprenden a seguir este patrón para nuevos problemas. Esto llevó a la creencia de que los modelos más grandes entrenados en vastos datos desarrollan naturalmente un razonamiento más avanzado. La fuerte conexión entre el tamaño del modelo y el rendimiento del razonamiento se convirtió en una sabiduría aceptada. Los equipos invirtieron enormes recursos en escalar las capacidades de razonamiento utilizando aprendizaje de refuerzo, creyendo que la potencia computacional era la clave para un razonamiento avanzado.

Entendiendo el enfoque centrado en los datos

El surgimiento de IA centrada en los datos desafía la mentalidad de “más grande es mejor”. Este enfoque cambia el enfoque de la arquitectura del modelo a la ingeniería cuidadosa de los datos utilizados para entrenar los sistemas de IA. En lugar de tratar los datos como entrada fija, la metodología centrada en los datos ve los datos como material que se puede mejorar y optimizar para mejorar el rendimiento de la IA.

Andrew Ng, un líder en este campo, promueve la construcción de prácticas de ingeniería sistemáticas para mejorar la calidad de los datos en lugar de ajustar solo el código o escalar los modelos. Esta filosofía reconoce que la calidad y la curación de los datos a menudo importan más que el tamaño del modelo. Las empresas que adoptan este enfoque muestran que los modelos más pequeños y bien entrenados pueden superar a los más grandes si se entrenan en conjuntos de datos de alta calidad y cuidadosamente preparados.

El enfoque centrado en los datos hace una pregunta diferente: “¿Cómo podemos mejorar nuestros datos?” en lugar de “¿Cómo podemos hacer que el modelo sea más grande?” Esto significa crear mejores conjuntos de datos de entrenamiento, mejorar la calidad de los datos y desarrollar una ingeniería de datos sistemática. En la IA centrada en los datos, el enfoque está en entender qué hace que los datos sean efectivos para tareas específicas, y no solo recopilar más datos.

Este enfoque ha mostrado gran promesa en el entrenamiento de modelos de IA pequeños pero poderosos utilizando conjuntos de datos pequeños y mucha menos computación. Los modelos Phi de Microsoft son un buen ejemplo de entrenar modelos de lenguaje pequeños utilizando un enfoque centrado en los datos. Estos modelos se entrenan utilizando aprendizaje de currículum, que está inspirado principalmente en cómo los niños aprenden a través de ejemplos cada vez más difíciles. Inicialmente, los modelos se entrenan en ejemplos fáciles, que luego se reemplazan gradualmente con ejemplos más difíciles. Microsoft construyó un conjunto de datos a partir de libros de texto, como se explica en su artículo ” Los libros de texto son todo lo que necesitas“. Esto ayudó a Phi-3 a superar a modelos como Google’s Gemma y GPT 3.5 en tareas como comprensión del lenguaje, conocimiento general, problemas de matemáticas de escuela primaria y respuesta a preguntas médicas.

A pesar del éxito del enfoque centrado en los datos, el razonamiento ha seguido siendo generalmente una característica de los modelos de IA grandes. Esto se debe a que el razonamiento requiere patrones y conocimientos complejos que los modelos a gran escala capturan más fácilmente. Sin embargo, esta creencia ha sido recientemente desafiada por el desarrollo del modelo Phi-4-razonamiento.

La estrategia de avance de Phi-4-razonamiento

Phi-4-razonamiento muestra cómo el enfoque centrado en los datos se puede utilizar para entrenar modelos de razonamiento pequeños. El modelo se construyó mediante un ajuste fino supervisado del modelo base Phi-4 en “prompt” y ejemplos de razonamiento cuidadosamente seleccionados generados con o3-mini de OpenAI. El enfoque estuvo en la calidad y la especificidad en lugar del tamaño del conjunto de datos. El modelo se entrenó utilizando alrededor de 1,4 millones de “prompt” de alta calidad en lugar de miles de millones de genéricos. Los investigadores filtraron los ejemplos para cubrir diferentes niveles de dificultad y tipos de razonamiento, asegurando la diversidad. Esta cuidadosa curación hizo que cada ejemplo de entrenamiento fuera intencional, enseñando al modelo patrones de razonamiento específicos en lugar de simplemente aumentar el volumen de datos.

En el ajuste fino supervisado, el modelo se entrenó con demostraciones completas de razonamiento que involucran el proceso de pensamiento completo. Estas cadenas de razonamiento paso a paso ayudaron al modelo a aprender a construir argumentos lógicos y resolver problemas de manera sistemática. Para mejorar aún más las capacidades de razonamiento del modelo, se refinó con aprendizaje de refuerzo en alrededor de 6.000 problemas de matemáticas de alta calidad con soluciones verificadas. Esto muestra que incluso pequeñas cantidades de aprendizaje de refuerzo enfocado pueden mejorar significativamente el razonamiento cuando se aplican a datos bien curados.

Rendimiento más allá de las expectativas

Los resultados prueban que este enfoque centrado en los datos funciona. Phi-4-razonamiento supera a modelos más grandes como DeepSeek-R1-Distill-Llama-70B y casi iguala al modelo completo DeepSeek-R1, a pesar de ser mucho más pequeño. En la prueba AIME 2025 (una prueba de matemáticas para la olimpiada de matemáticas de EE. UU.), Phi-4-razonamiento supera a DeepSeek-R1, que tiene 671 mil millones de parámetros.

Estos avances van más allá de las matemáticas para resolver problemas científicos, codificación, algoritmos, planificación y tareas espaciales. Las mejoras de la curación cuidadosa de los datos se transfieren bien a benchmarks generales, lo que sugiere que este método construye habilidades de razonamiento fundamentales en lugar de trucos específicos de la tarea.

Phi-4-razonamiento desafía la idea de que el razonamiento avanzado necesita una computación masiva. Un modelo de 14 mil millones de parámetros puede igualar el rendimiento de modelos mucho más grandes cuando se entrena en datos cuidadosamente curados. Esta eficiencia tiene consecuencias importantes para el despliegue de la IA de razonamiento donde los recursos son limitados.

Implicaciones para el desarrollo de la IA

El éxito de Phi-4-razonamiento señala un cambio en la forma en que se deben construir los modelos de razonamiento de la IA. En lugar de centrarse principalmente en aumentar el tamaño del modelo, los equipos pueden obtener mejores resultados invirtiendo en la calidad y la curación de los datos. Esto hace que el razonamiento avanzado sea más accesible para las organizaciones que no tienen enormes presupuestos de computación.

El método centrado en los datos también abre nuevos caminos de investigación. El trabajo futuro puede centrarse en encontrar mejores “prompt” de entrenamiento, hacer demostraciones de razonamiento más ricas y entender qué datos ayudan mejor al razonamiento. Estas direcciones pueden ser más productivas que simplemente construir modelos más grandes.

Más ampliamente, esto puede ayudar a democratizar la IA. Si los modelos más pequeños entrenados en datos curados pueden igualar a los modelos más grandes, la IA avanzada se vuelve accesible a más desarrolladores y organizaciones. Esto también puede acelerar la adopción y la innovación de la IA en áreas donde los modelos muy grandes no son prácticos.

El futuro de los modelos de razonamiento

Phi-4-razonamiento establece un nuevo estándar para el desarrollo de modelos de razonamiento. Los sistemas de IA futuros probablemente equilibrarán la curación cuidadosa de los datos con mejoras arquitectónicas. Este enfoque reconoce que tanto la calidad de los datos como el diseño del modelo importan, pero que mejorar los datos puede dar ganancias más rápidas y rentables.

Esto también permite la creación de modelos de razonamiento especializados entrenados en datos específicos de dominio. En lugar de gigantes de propósito general, los equipos pueden construir modelos enfocados que sobresalgan en campos particulares a través de la curación de datos dirigida. Esto creará una IA más eficiente para usos específicos.

A medida que la IA avanza, las lecciones de Phi-4-razonamiento influirán no solo en el entrenamiento de modelos de razonamiento, sino en el desarrollo de la IA en general. El éxito de la curación de datos para superar los límites de tamaño sugiere que el progreso futuro radica en combinar la innovación del modelo con una ingeniería de datos inteligente, en lugar de solo construir arquitecturas más grandes.

En resumen

El Phi-4-razonamiento de Microsoft cambia la creencia común de que el razonamiento avanzado de la IA necesita modelos muy grandes. En lugar de confiar en el tamaño, este modelo utiliza un enfoque centrado en los datos con datos de entrenamiento de alta calidad y cuidadosamente elegidos. Phi-4-razonamiento tiene solo 14 mil millones de parámetros pero funciona tan bien como modelos mucho más grandes en tareas de razonamiento difíciles. Esto muestra que centrarse en mejores datos es más importante que simplemente aumentar el tamaño del modelo.

Este nuevo enfoque de entrenamiento hace que el razonamiento avanzado de la IA sea más eficiente y accesible para las organizaciones que no tienen recursos computacionales grandes. El éxito de Phi-4-razonamiento señala una nueva dirección en el desarrollo de la IA. Se centra en mejorar la calidad de los datos, el entrenamiento inteligente y la ingeniería cuidadosa en lugar de solo hacer que los modelos sean más grandes.

Este enfoque puede ayudar a que la IA progrese más rápido, reduzca los costos y permita que más personas y empresas utilicen herramientas de IA poderosas. En el futuro, la IA probablemente crecerá combinando mejores modelos con mejores datos, lo que hará que la IA avanzada sea útil en muchas áreas especializadas.