La próxima ley de escalamiento de la IA: no más datos, sino mejores modelos mundiales

Durante años, la industria de la inteligencia artificial ha seguido una regla simple y brutal: cuanto más grande, mejor. Entrenamos modelos con conjuntos de datos masivos, aumentamos el número de parámetros y aplicamos una inmensa potencia computacional al problema. Esta fórmula funcionó la mayor parte del tiempo. Desde GPT-3 hasta GPT-4, y desde chatbots rudimentarios hasta motores de razonamiento, el...ley de escala"sugirió que si seguíamos alimentando a la máquina con más texto, eventualmente se volvería inteligente.

Pero ahora estamos chocando contra una paredInternet es finito. Los datos públicos de alta calidad se están agotando, y los beneficios de simplemente ampliar los modelos son... la disminución deLos principales investigadores de IA argumentar Que el próximo gran avance en inteligencia artificial no se logrará solo con leer más texto. Se logrará con la comprensión de la realidad que subyace al texto. Esta creencia señala un cambio fundamental en el enfoque de la IA, que marca el comienzo de la era del Modelo Mundial.

Los límites de la predicción del siguiente token

Para entender por qué necesitamos un nuevo enfoque, primero debemos analizar qué hacen realmente los sistemas de IA actuales. A pesar de sus impresionantes capacidades, modelos como ChatGPT o Claude son fundamentalmente... motores estadísticosPredicen la siguiente palabra de una secuencia basándose en la probabilidad de la anterior. No entienden que un vaso que se cae se hace añicos; simplemente saben que en millones de historias, la palabra "hacer añicos" suele ir después de la frase "vaso caído".

Este enfoque, conocido como modelado autorregresivoTiene una falla crítica. Se basa completamente en la correlación, no en la causalidad. Si se entrena un LLM con mil descripciones de accidentes automovilísticos, aprende el lenguaje de los accidentes. Pero nunca aprende la física del momento, la fricción ni la fragilidad. Es un espectador, no un participante.

Esta limitación se está convirtiendo en la “Muro de datosHemos extraído prácticamente toda la internet pública. Para seguir escalando con el método actual, necesitaríamos exponencialmente más datos de los que existen. Los datos sintéticos (es decir, texto generado por IA) ofrecen una solución temporal, pero a menudo conducen a...colapso del modelo”, donde el sistema amplifica sus propios sesgos y errores. No podemos escalar hacia la Inteligencia Artificial General (IAG) usando solo texto, ya que este es una compresión de bajo ancho de banda del mundo. Describe la realidad, pero no es la realidad misma.

Por qué son importantes los modelos mundiales

AI los líderes Al igual que Yann LeCun, han argumentado durante mucho tiempo que los sistemas actuales de IA carecen de un aspecto fundamental de la cognición humana que incluso los niños pequeños poseen de forma natural. Se trata de nuestra capacidad de mantener un modelo interno de cómo funciona el mundo, al que comúnmente se refieren como... Modelo mundialUn Modelo del Mundo no solo predice la siguiente palabra; construye un mapa mental interno de cómo funciona el entorno físico. Cuando vemos una pelota rodar detrás de un sofá, sabemos que sigue ahí. Sabemos que aparecerá al otro lado a menos que la detengamos. No necesitamos leer un libro de texto para entender esto; realizamos una simulación mental basada en nuestro "modelo del mundo" interno de física y permanencia de los objetos.

Para que la IA avance, debe pasar de la imitación estadística a este tipo de simulación interna. Necesita comprender las causas subyacentes de los eventos, no solo sus descripciones textuales.

La Arquitectura predictiva de integración conjunta (JEPA) Es un excelente ejemplo de este cambio de paradigma. A diferencia de los LLM, que intentan predecir cada píxel o palabra (un proceso computacionalmente costoso y ruidoso), JEPA predice representaciones abstractas. Ignora detalles impredecibles como el movimiento de las hojas de un árbol y se centra en conceptos de alto nivel como el árbol, el viento y la estación. Al aprender a predecir cómo estos estados de alto nivel cambian con el tiempo, la IA aprende la estructura del mundo en lugar de los detalles superficiales.

De la predicción a la simulación

Ya estamos viendo los primeros indicios de esta transición en los modelos de generación de video. Cuando OpenAI lanzó Sora, lo describieron no solo como una herramienta de video, sino como una "simulador mundial."

Esta distinción es vital. Un generador de video estándar podría crear un video de una persona caminando prediciendo qué píxeles de color suelen ir uno junto al otro. Un simulador de mundo, en cambio, intenta mantener la consistencia 3D, la iluminación y la permanencia de los objetos a lo largo del tiempo. "Entiende" que si la persona camina detrás de una pared, no debería desaparecer.

Si bien los modelos de video actuales distan mucho de ser perfectos, representan el nuevo campo de entrenamiento. El mundo físico contiene mucha más información que el mundo textual. Un solo segundo de video contiene millones de puntos de datos visuales sobre física, luz e interacción. Al entrenar modelos con esta realidad visual, podemos enseñar a la IA el sentido común del que carecen actualmente los modelos de aprendizaje profundo.

Esto crea una nueva ley de escalabilidad. El éxito ya no se medirá por la cantidad de billones de tokens que un modelo haya leído. Se medirá por la fidelidad de su simulación y su capacidad para predecir estados futuros del entorno. Una IA capaz de simular con precisión las consecuencias de una acción sin tener que realizarla es una IA capaz de planificar, razonar y actuar con seguridad.

La eficiencia y el camino hacia la IAG

Este cambio también aborda la insostenibilidad los costos de energía de la IA actual. Los LLM son ineficientes porque deben predecir cada detalle para generar un resultado coherente. Un Modelo Mundial es más eficiente porque es selectivo. Así como un conductor humano se centra en la carretera e ignora el patrón de nubes en el cielo, un Modelo Mundial se centra en los factores causales relevantes de una tarea.

LeCun ha argumentado que este enfoque permite que los modelos aprendan mucho más rápido. Un sistema como V-JEPA (Arquitectura Predictiva de Integración de Video Conjunta) ha demostrado que puede converger en una solución con muchas menos iteraciones de entrenamiento que los métodos tradicionales. Al aprender la "forma" de los datos en lugar de memorizarlos, los Modelos Mundiales construyen una inteligencia más robusta que se generaliza mejor a situaciones nuevas e inéditas.

Este es el eslabón perdido de la IAG. La verdadera inteligencia requiere navegación. Requiere que un agente observe un objetivo, simule diferentes caminos para alcanzarlo utilizando su modelo interno del mundo y luego elija el camino con mayor probabilidad de éxito. Los generadores de texto no pueden hacer esto; solo pueden escribir un plan, pero no pueden comprender las limitaciones de su ejecución.

Lo más importante es...

La industria de la IA se encuentra en un punto de inflexión. La estrategia de "simplemente añadir más datos" está llegando a su fin. Estamos pasando de la era del chatbot a la era del simulador.

La próxima generación de escalabilidad de la IA no consistirá en leer todo el internet. Se tratará de observar el mundo, comprender sus reglas y construir una arquitectura interna que refleje la realidad. Esto no es solo una actualización técnica; es un cambio fundamental en lo que consideramos «aprendizaje».

Para las empresas y los investigadores, el enfoque debe cambiar. Debemos dejar de obsesionarnos con el recuento de parámetros y empezar a evaluar la comprensión de causa y efecto de nuestros sistemas. La IA del futuro no solo nos dirá qué sucedió, sino que nos mostrará qué podría suceder y por qué. Esa es la promesa de los Modelos Mundiales, y es el único camino a seguir.