El fin de la era de escalabilidad: ¿Por qué los avances algorítmicos importan más que el tamaño del modelo

Durante la mayor parte de la última década, el progreso en inteligencia artificial ha sido impulsado por la escalabilidad. Conjuntos de datos más grandes, más parámetros y mayor potencia de cálculo se convirtieron en la fórmula para el éxito. Los equipos compitieron para crear modelos más grandes, midiendo el progreso en billones de parámetros y petabytes de datos de entrenamiento. Llamamos a esto la era de escalabilidad. Ha impulsado gran parte del progreso en inteligencia artificial que vemos hoy, pero ahora estamos acercándonos a un límite en el que simplemente hacer que los modelos sean más grandes ya no es el enfoque más eficiente, inteligente o sostenible. Como resultado, el enfoque se está desplazando desde la escalabilidad bruta hacia los avances en algoritmos. En este artículo, examinamos por qué la escalabilidad por sí sola es insuficiente y cómo la próxima fase del desarrollo de inteligencia artificial dependerá de la innovación algorítmica.

La ley de rendimientos decrecientes en la escalabilidad de modelos

La era de escalabilidad se basó en fundamentos empíricos sólidos. Los investigadores observaron que aumentar el tamaño de los modelos y los conjuntos de datos puede conducir a ganancias predecibles en el rendimiento. Este patrón se conoció como las leyes de escalabilidad. Estas leyes se convirtieron rápidamente en el libro de jugadas para los principales laboratorios de inteligencia artificial, impulsando la carrera por construir sistemas cada vez más grandes. Esa carrera dio lugar a grandes modelos de lenguaje y modelos fundamentales que ahora alimentan muchos de los sistemas de inteligencia artificial de hoy. Sin embargo, como toda curva exponencial, esta escalabilidad de inteligencia artificial está comenzando a aplanarse ahora. Los gastos de desarrollar modelos aún más grandes están aumentando bruscamente. Entrenar un sistema de vanguardia ahora consume tanta energía como un pequeño pueblo, planteando serias preocupaciones ambientales. El costo financiero es tan alto que solo una handful de organizaciones pueden competir. Mientras tanto, estamos observando claros signos de rendimientos decrecientes. Duplicar la cuenta de parámetros ya no duplica la capacidad. Las mejoras también son incrementales, refinando solo el conocimiento existente en lugar de desbloquear nuevas capacidades. El valor de la ganancia por cada dólar y vatio adicionales gastados se está reduciendo. La estrategia de escalabilidad está alcanzando sus límites económicos y técnicos.

La nueva frontera: Eficiencia algorítmica

Los límites de las leyes de escalabilidad han empujado a los investigadores a enfocarse en la eficiencia algorítmica. En lugar de confiar en la fuerza bruta, han comenzado a diseñar algoritmos más inteligentes que utilicen los recursos de manera más efectiva. Los avances recientes ilustran el poder de este cambio. Por ejemplo, la arquitectura Transformer, impulsada por su mecanismo de atención, ha dominado la inteligencia artificial durante años. Pero la atención conlleva una debilidad: sus demandas computacionales crecen rápidamente con la longitud de la secuencia. Modelos de espacio de estado (SSM), como Mamba, están surgiendo como una alternativa prometedora a Transformer. Al permitir un razonamiento selectivo más eficiente, los SSM pueden igualar el rendimiento de Transformers mucho más grandes mientras corren más rápido y utilizan significativamente menos memoria.

Otro ejemplo de eficiencia algorítmica es el auge de los modelos de mezcla de expertos (MoE). En lugar de activar toda la red masiva para cada entrada, los sistemas MoE enrutan las tareas a solo el subconjunto más relevante de redes más pequeñas, o “expertos”. El modelo puede tener miles de millones de parámetros en total, pero cada cálculo utiliza solo una fracción de ellos. Esto es como tener una vasta biblioteca pero solo abrir los pocos libros que necesitas para responder a una pregunta, en lugar de leer todos los libros del edificio cada vez. El resultado es la capacidad de conocimiento de un modelo gigante con la eficiencia de uno mucho más pequeño.

Otro ejemplo que combina estas ideas es DeepSeek-V3, un modelo de mezcla de expertos mejorado con atención latente múltiple (MLA). La MLA mejora la atención tradicional comprimiendo los estados clave-valor, lo que permite al modelo manejar secuencias largas de manera eficiente, al igual que los SSM, mientras conserva las fortalezas de los Transformers. Con 236 mil millones de parámetros en total pero solo una fracción activada por tarea, DeepSeek-V3 ofrece un rendimiento de nivel superior en áreas como la codificación y el razonamiento, todo mientras es más accesible y menos intensivo en recursos que los modelos escalados comparables.

Estos no son solo ejemplos aislados. Representan una tendencia más amplia hacia un diseño más inteligente y eficiente. Los investigadores ahora se centran en cómo hacer que los modelos sean más rápidos, más pequeños y menos hambrientos de datos sin sacrificar el rendimiento.

¿Por qué importa este cambio?

El paso de confiar en la escalabilidad a enfocarse en los avances algorítmicos tiene efectos significativos en el campo de la inteligencia artificial. Primero, hace que la inteligencia artificial sea más accesible para todos. El éxito ya no depende solo de tener los ordenadores más poderosos. Un pequeño grupo de investigadores puede crear un nuevo diseño que supera a los modelos construidos con presupuestos mucho más grandes. Esto cambia la innovación de una carrera por recursos a una impulsada por ideas y experiencia. Como resultado, las universidades, las startups y los laboratorios independientes pueden ahora desempeñar un papel más importante, más allá de solo las grandes empresas de tecnología.

En segundo lugar, ayuda a hacer que la inteligencia artificial sea más útil en entornos cotidianos. Un modelo con 500 mil millones de parámetros puede parecer impresionante en los estudios, pero su gran tamaño lo hace difícil y costoso de usar en la práctica. En contraste, las opciones eficientes como Mamba o los modelos de mezcla de expertos pueden ejecutarse en hardware estándar, incluidos los dispositivos en el borde de las redes. Esta facilidad de uso es clave para llevar la inteligencia artificial a aplicaciones comunes, como herramientas de diagnóstico en atención médica o funciones de traducción instantánea en smartphones.

Tercero, aborda el problema de la sostenibilidad. Las demandas de energía de la construcción y el funcionamiento de modelos de inteligencia artificial gigantes se están convirtiendo en un desafío importante para el medio ambiente. Al enfatizar la eficiencia, podemos reducir drásticamente las emisiones de carbono del trabajo de inteligencia artificial.

¿Qué viene a continuación: La era del diseño de inteligencia

Estamos entrando en lo que podríamos llamar la era del diseño de inteligencia. La pregunta ya no es cuán grande podemos hacer que sea el modelo, sino cómo podemos diseñar un modelo que sea inherentemente más inteligente y eficiente.

Este cambio traerá innovaciones en varias áreas básicas de investigación. Una de las áreas en las que podemos esperar avances es en la arquitectura de los modelos de inteligencia artificial. Los nuevos modelos como los modelos de espacio de estado ya mencionados pueden cambiar la forma en que las redes neuronales procesan los datos. Por ejemplo, la arquitectura inspirada en sistemas dinámicos está demostrando ser más poderosa en los experimentos. Otro enfoque será en los métodos de entrenamiento que ayuden a los modelos a aprender de manera efectiva con mucha menos datos. Por ejemplo, los avances en el aprendizaje de disparo cero y de pocos disparos están haciendo que la inteligencia artificial sea más eficiente en los datos, mientras que las técnicas como dirección de activación permiten mejoras de comportamiento sin necesidad de volver a entrenar. Los refinamientos posteriores al entrenamiento y el uso de datos sintéticos están reduciendo drásticamente las necesidades de entrenamiento, a veces en factores de 10,000.

También veremos un creciente interés en modelos híbridos, como inteligencia artificial neurosimbólica. La inteligencia artificial neurosimbólica está surgiendo como una tendencia importante en 2025, combinando el reconocimiento de patrones del aprendizaje neuronal con las fortalezas lógicas de los sistemas simbólicos para una mejor explicabilidad y menos dependencia de los datos. Ejemplos incluyen AlphaGeometry 2 y AlphaProof, que permiten a Google DeepMind asegurar un desempeño de medalla de oro en la Olimpiada de Matemáticas 2025. El objetivo es desarrollar sistemas que no solo predigan la próxima palabra basándose en estadísticas, sino que también entiendan y razonen sobre el mundo de una manera similar a la humana.

En resumen

La era de escalabilidad fue esencial y trajo un crecimiento notable a la inteligencia artificial. Amplió los límites de lo que era posible y entregó las tecnologías fundamentales en las que confiamos hoy. Pero como cualquier tecnología que madura, la estrategia inicial eventualmente agota su potencial. Los grandes avances que se avecinan no provendrán de agregar más capas a la pila. En su lugar, surgirán del rediseño de la pila en sí.

El futuro pertenece a aquellos que innovan en algoritmos, arquitectura y la ciencia fundamental del aprendizaje automático. Es un futuro donde la inteligencia se mide no por la cantidad de parámetros, sino por la elegancia del diseño. La búsqueda de crear algoritmos más inteligentes acaba de comenzar. Esta transición abre la puerta a una inteligencia artificial más accesible, sostenible y verdaderamente inteligente.