El fin de la era de escalabilidad: por qué los avances algorítmicos importan más que el tamaño del modelo

Durante la mayor parte de la última década, el progreso en inteligencia artificial ha sido impulsado por la escalabilidad. Conjuntos de datos más grandes, más parámetros y una mayor potencia de cómputo se convirtieron en la fórmula para el éxito. Los equipos compitieron para crear modelos más grandes, midiendo el progreso en billones de parámetros y petabytes de datos de entrenamiento. Llamamos a esto la era de escalabilidad. Ha impulsado gran parte del progreso en IA que vemos hoy, pero ahora estamos acercándonos a un límite donde simplemente hacer que los modelos sean más grandes ya no es el enfoque más eficiente, inteligente o sostenible. Como resultado, el enfoque se está desplazando desde la escalabilidad bruta a los avances en algoritmos. En este artículo, examinamos por qué la escalabilidad por sí sola es insuficiente y cómo la próxima fase del desarrollo de IA dependerá de la innovación algorítmica.

La ley de rendimientos decrecientes en la escalabilidad de modelos

La era de escalabilidad se basó en fundamentos empíricos sólidos. Los investigadores observaron que aumentar el tamaño de los modelos y los conjuntos de datos puede conducir a ganancias predecibles en el rendimiento. Este patrón se conoció como las leyes de escalabilidad. Estas leyes se convirtieron rápidamente en el libro de jugadas para los principales laboratorios de IA, impulsando la carrera para construir sistemas cada vez más grandes. Esa carrera dio lugar a grandes modelos de lenguaje y modelos fundamentales que ahora alimentan muchos de los sistemas de IA de hoy. Sin embargo, al igual que cada curva exponencial, esta escalabilidad de IA está comenzando a aplanarse ahora. Los gastos de desarrollar modelos aún más grandes están creciendo rápidamente. Entrenar un sistema de última generación ahora consume tanta energía como un pueblo pequeño, planteando serias preocupaciones ambientales. El costo financiero es tan alto que solo un puñado de organizaciones pueden competir. Mientras tanto, estamos observando claros signos de rendimientos decrecientes. Duplicar la cuenta de parámetros ya no duplica la capacidad. Las mejoras también son incrementales, perfeccionando solo el conocimiento existente en lugar de desbloquear nuevas habilidades. El valor de la ganancia por cada dólar y vatio adicionales gastados está disminuyendo. La estrategia de escalabilidad está alcanzando sus límites económicos y técnicos.

La nueva frontera: eficiencia algorítmica

Los límites de las leyes de escalabilidad han empujado a los investigadores a centrarse en la eficiencia algorítmica. En lugar de confiar en la fuerza bruta, han comenzado a centrarse en diseñar algoritmos más inteligentes que utilicen los recursos de manera más efectiva. Los avances recientes ilustran el poder de este cambio. Por ejemplo, la arquitectura Transformer, impulsada por su mecanismo de atención, ha dominado la IA durante años. Pero la atención conlleva una debilidad: sus demandas computacionales crecen rápidamente con la longitud de la secuencia. Los Modelos de espacio de estado (SSM), como Mamba, están surgiendo como una alternativa prometedora a Transformer. Al permitir un razonamiento selectivo más eficiente, los SSM pueden igualar el rendimiento de Transformers mucho más grandes mientras corren más rápido y utilizan significativamente menos memoria.

Otro ejemplo de eficiencia algorítmica es el auge de los modelos de mezcla de expertos (MoE). En lugar de activar toda la red masiva para cada entrada, los sistemas MoE enrutan tareas a solo el subconjunto más relevante de redes más pequeñas, o “expertos”. El modelo puede tener miles de millones de parámetros en total, pero cada cálculo utiliza solo una fracción de ellos. Esto es como tener una vasta biblioteca pero solo abrir los pocos libros que necesitas para responder a una pregunta, en lugar de leer todos los libros del edificio cada vez. El resultado es la capacidad de conocimiento de un modelo gigante con la eficiencia de uno mucho más pequeño.

Otro ejemplo que combina estas ideas es DeepSeek-V3, un modelo de mezcla de expertos mejorado con Atención latente multi-cabeza (MLA). La MLA mejora la atención tradicional comprimiendo los estados clave-valor, lo que permite al modelo manejar secuencias largas de manera eficiente, al igual que los SSM, mientras conserva las fortalezas de los Transformers. Con 236 mil millones de parámetros en total pero solo una fracción activada por tarea, DeepSeek-V3 entrega un rendimiento de nivel superior en áreas como codificación y razonamiento, todo mientras es más accesible y menos intensivo en recursos que los modelos escalados comparables.

Estos no son solo ejemplos aislados. Representan una tendencia más amplia hacia un diseño más inteligente y eficiente. Los investigadores ahora se centran en cómo hacer que los modelos sean más rápidos, más pequeños y menos hambrientos de datos sin sacrificar el rendimiento.

Por qué este cambio importa

El paso de confiar en la escalabilidad a centrarse en los avances algorítmicos tiene efectos significativos en el campo de la IA. Primero, hace que la IA sea más accesible para todos. El éxito ya no depende solo de tener los computadores más potentes. Un pequeño grupo de investigadores puede crear un nuevo diseño que supere a los modelos construidos con presupuestos mucho más grandes. Esto cambia la innovación de una carrera sobre recursos a una impulsada por ideas y experiencia. Como resultado, las universidades, las startups y los laboratorios independientes pueden ahora desempeñar un papel más importante, más allá de solo las grandes empresas de tecnología.

En segundo lugar, ayuda a hacer que la IA sea más útil en entornos cotidianos. Un modelo con 500 mil millones de parámetros puede parecer impresionante en los estudios, pero su gran tamaño lo hace difícil y costoso de usar en la práctica. En contraste, las opciones eficientes como Mamba o los modelos de mezcla de expertos pueden ejecutarse en hardware estándar, incluidos los dispositivos en el borde de las redes. Esta facilidad de uso es clave para llevar la IA a aplicaciones comunes, como herramientas de diagnóstico en atención médica o funciones de traducción instantánea en teléfonos inteligentes.

En tercer lugar, aborda el problema de la sostenibilidad. Las demandas de energía de la construcción y el funcionamiento de modelos de IA gigantes se están convirtiendo en un desafío importante para el medio ambiente. Al enfatizar la eficiencia, podemos reducir drásticamente las emisiones de carbono de la IA.

Qué viene a continuación: La era del diseño de inteligencia

Estamos entrando en lo que podríamos llamar la era del diseño de inteligencia. La pregunta ya no es cuán grande podemos hacer que sea el modelo, sino cómo podemos diseñar un modelo que sea inherentemente más inteligente y eficiente.

Este cambio traerá innovaciones en varias áreas clave de investigación. Una de las áreas donde podemos esperar avances es en la arquitectura del modelo de IA. Los nuevos modelos como los modelos de espacio de estado ya mencionados pueden cambiar la forma en que las redes neuronales procesan los datos. Por ejemplo, la arquitectura inspirada en sistemas dinámicos está demostrando ser más poderosa en experimentos. Otro enfoque será en los métodos de entrenamiento que ayuden a los modelos a aprender de manera efectiva con mucho menos datos. Por ejemplo, los avances en el aprendizaje de disparos cero y pocos disparos están haciendo que la IA sea más eficiente en los datos, mientras que las técnicas como dirección de activación permiten mejoras conductuales sin necesidad de volver a entrenar. Los perfeccionamientos posteriores al entrenamiento y el uso de datos sintéticos también están reduciendo drásticamente las necesidades de entrenamiento, a veces en factores de 10,000.

También veremos un creciente interés en modelos híbridos, como IA neurosimbólica. La IA neurosimbólica está surgiendo como una tendencia importante en 2025, combinando el reconocimiento de patrones del aprendizaje neuronal con las fortalezas lógicas de los sistemas simbólicos para una mejor explicabilidad y menos dependencia de los datos. Ejemplos incluyen AlphaGeometry 2 y AlphaProof, que permiten a Google DeepMind obtener un rendimiento de medalla de oro en IMO 2025. El objetivo es desarrollar sistemas que no solo predigan la próxima palabra basada en estadísticas, sino que también entiendan y razonen sobre el mundo de una manera similar a la humana.

En resumen

La era de escalabilidad fue esencial y trajo un crecimiento notable a la IA. Expandió los límites de lo que era posible y entregó las tecnologías fundamentales en las que confiamos hoy. Pero al igual que cualquier tecnología que madura, la estrategia inicial eventualmente agota su potencial. Los grandes avances que se avecinan no provendrán de agregar más capas a la pila. En cambio, surgirán del rediseño de la pila en sí.

El futuro pertenece a aquellos que innovan en algoritmos, arquitectura y la ciencia fundamental del aprendizaje automático. Es un futuro donde la inteligencia se mide no por la cantidad de parámetros, sino por la elegancia del diseño. La carrera para crear algoritmos más inteligentes apenas comienza. Esta transición abre la puerta a una IA que es más accesible, sostenible y verdaderamente inteligente.