La pared de GPU se está resquebrajando: La revolución no vista en arquitecturas post-Transformadores

Desde hace cinco años, la industria de la inteligencia artificial ha sido efectivamente sinónimo de una palabra: Transformador. Desde la publicación del papel seminal “Attention Is All You Need” en 2017, esta arquitectura ha dominado el campo. Desde GPT hasta Claude, virtualmente todos los modelos que generan titulares se basan en el mismo mecanismo subyacente de autoatención. Hemos asumido en gran medida que el camino hacia un mejor IA es simplemente una cuestión de escala. En la práctica, esto significa entrenar Transformadores más grandes con más datos en clusters más grandes de GPUs.

Mientras que esta creencia ha impulsado muchos avances, ahora está alcanzando sus límites. Estamos golpeando un “muro de GPU”, una barrera no solo de potencia de cálculo cruda, sino también de ancho de banda de memoria y sostenibilidad económica. Mientras que el mundo se centra en la carrera hacia los modelos de parámetros de billones, un cambio radical está teniendo lugar en los laboratorios de investigación. Una nueva ola de “arquitecturas post-Transformadores” está emergiendo para hacer añicos las limitaciones del paradigma actual. Este cambio promete hacer que el IA sea más eficiente, accesible y capaz de razonar sobre contextos infinitos.

El techo de silicio: Por qué los Transformadores están golpeando un muro

Para entender por qué necesitamos un cambio, primero debemos entender el cuello de botella del régimen actual. Los Transformadores son increíblemente poderosos, pero también son notablemente ineficientes de ciertas maneras. El núcleo de su capacidad radica en el “mecanismo de atención”, que permite al modelo mirar cada token en una secuencia y calcular su relación con cada otro token. Esto es lo que les da la capacidad de entender el contexto de manera notable.

Sin embargo, esta capacidad viene con una falla fatal de crecimiento cuadrático. Si se duplica la longitud del documento, se quiere que el IA lea, el trabajo computacional requerido no solo se duplica, sino que se cuadruplica. A medida que nos esforzamos por modelos de “contexto infinito” que puedan leer bibliotecas enteras o bases de código, las demandas computacionales se vuelven extremadamente altas.

Pero el problema más inmediato es la memoria, específicamente el “KV Cache” (Cache de clave-valor). Para generar texto de manera fluida, un Transformador debe mantener un historial en ejecución de todo lo que ha dicho en la memoria de alta velocidad de la GPU (VRAM). A medida que la conversación crece en longitud, este caché se infla, consumiendo cantidades masivas de memoria solo para recordar lo que sucedió tres párrafos atrás.

Esto crea el “muro de GPU”. No solo estamos agotando los chips; estamos agotando el ancho de banda de memoria para alimentarlos. Hemos construido motores que están creciendo cada vez más grandes, pero se están volviendo imposibles de alimentar. Durante mucho tiempo, la solución de la industria fue simplemente comprar más NVIDIA H100 (NVDA ). Pero esta fuerza bruta está alcanzando un punto de rendimiento decreciente. No necesitamos un motor que consuma combustible cuadráticamente, sino una nueva arquitectura.

La revolución no vista

Mientras que la investigación mainstream se ha centrado en LLM, un grupo de investigadores ha estado revisando una idea antigua: Redes Neuronales Recurrentes (RNN). Antes de los Transformadores, las RNN eran el estándar para el lenguaje. Procesaban el texto secuencialmente, palabra por palabra, actualizando un estado interno “oculto” a medida que avanzaban. Eran increíblemente eficientes porque no necesitaban mirar hacia atrás en toda la historia; simplemente llevaban la “esencia” de ella en su memoria.

Las RNN fallaron porque no podían manejar dependencias largas; “olvidaban” el comienzo de una oración para cuando llegaban al final. También eran lentas para entrenar porque no se podían paralelizar. Esto significa que tenías que procesar la palabra A antes de que pudieras procesar la palabra B. Los Transformadores resolvieron esto procesando todo al mismo tiempo (paralelización) y manteniendo todo en memoria (atención).

Ahora, estamos presenciando el surgimiento de arquitecturas que combinan lo mejor de ambos mundos. Estas son ampliamente conocidas como Modelos de Espacio de Estado (SSM). Ofrecen la velocidad de entrenamiento de los Transformadores (paralelizable) pero la eficiencia de inferencia de las RNN (escalado lineal).

Una de las arquitecturas prominentes en esta nueva ola es Mamba. Lanzada a fines de 2023 y perfeccionada a lo largo de 2024, Mamba es un cambio fundamental en la forma en que los modelos manejan la información. A diferencia de un Transformador, que mantiene una copia original de cada palabra que ha visto en su búfer de memoria, Mamba utiliza un “espacio de estado selectivo”.

Podemos entender la diferencia entre Transformador y Mamba imaginando un Transformador como un erudito que mantiene cada libro que ha leído abierto en un escritorio masivo, escaneando constantemente hacia atrás y hacia adelante para encontrar conexiones. Mamba, por otro lado, es un erudito que lee el libro una vez y comprime las ideas clave en un cuaderno altamente eficiente. Cuando Mamba genera la próxima palabra, no necesita mirar hacia atrás en el texto crudo; mira su estado comprimido.

Esta distinción cambia la economía de la implementación de IA. Con Mamba y arquitecturas similares como RWKV (Receptance Weighted Key Value), el costo de generar texto no explota a medida que la secuencia se alarga. Teóricamente, puedes alimentar a estos modelos un millón de palabras de contexto, y el costo computacional para generar el próximo token sigue siendo el mismo que si hubieras alimentado diez palabras.

El regreso de la recurrencia

El avance técnico detrás de Mamba es la “selectividad”. Los intentos anteriores de modernizar las RNN fallaron porque eran demasiado rígidos. Comprimían la información de manera igual, independientemente de si era importante o ruido. Mamba introduce un mecanismo que permite al modelo decidir dinámicamente qué recordar y qué olvidar a medida que transmite datos.

Si el modelo obtiene una pieza importante de información, como una definición de variable en un bloque de código, “abre la puerta” y escribe fuertemente en su estado. Si se enfrenta a palabras de relleno o ruido irrelevante, cierra la puerta, preservando su capacidad de memoria limitada para lo que importa.

Esta selectividad resuelve efectivamente el problema de “olvido” que desafió a las RNN más antiguas. En muchas pruebas, los modelos basados en Mamba igualan el rendimiento de los Transformadores del mismo tamaño pero corren hasta cinco veces más rápido durante la inferencia. Más importante aún, sus huellas de memoria son mucho más pequeñas. Esto abre la puerta para que los LLM de alto rendimiento se ejecuten en dispositivos que anteriormente se consideraban incapaces de manejarlos, como laptops, redes de computación de borde o incluso teléfonos inteligentes, sin descargar en la nube.

También estamos presenciando el surgimiento de Hyena, otra arquitectura subcuadrática que utiliza convoluciones largas para procesar datos. Al igual que Mamba, Hyena tiene como objetivo eliminar las capas de “atención” pesadas del Transformador y reemplazarlas con operaciones matemáticas que son mucho más baratas para que el hardware las ejecute. Estos modelos han comenzado a desafiar a los incumbentes de los Transformadores en las principales tablas de clasificación.

El surgimiento de los híbridos

La revolución, sin embargo, puede no ser un reemplazo completo del Transformador, sino más bien una evolución hacia formas híbridas. Ya estamos presenciando el surgimiento de modelos como Jamba (de AI21 Labs), que combina capas de Transformador con capas de Mamba.

Este enfoque híbrido ofrece una forma práctica de abordar las limitaciones de los Transformadores. Los Transformadores siguen siendo excepcionalmente fuertes en ciertas tareas, especialmente para copiar detalles precisos del contexto. Al mezclar capas de Mamba (que manejan la mayor parte del procesamiento de datos y la memoria a largo plazo) con algunas capas de atención de Transformador (que manejan el razonamiento inmediato y agudo), obtenemos un modelo que combina lo mejor de ambos mundos.

Un modelo híbrido crea una ventana de contexto masiva que es realmente utilizable. Actualmente, muchos “contextos largos” de los Transformadores afirman manejar 100,000 tokens, pero su rendimiento se degrada rápidamente a medida que el contexto se llena. Este fenómeno se conoce como “perdido en el medio“. La arquitectura híbrida mantiene su coherencia mucho mejor a lo largo de grandes distancias porque las capas de SSM están diseñadas específicamente para comprimir y transportar el estado con el tiempo.

Estos desarrollos cambian el enfoque de la industria de “Computación de entrenamiento” (¿qué tan grande de un clúster necesito construir para construir el modelo?) a “Economía de inferencia” (¿qué tan barato puedo servir este modelo a un billón de usuarios?). Si un modelo híbrido puede servir a un usuario por el 10% del costo de un Transformador, el caso de negocio para las aplicaciones de IA cambia de la noche a la mañana.

El futuro de la implementación de IA

Las implicaciones de esta revolución post-Transformador no se limitan solo al centro de datos. El muro de GPU ha servido históricamente como un guardián, asegurando que solo los gigantes tecnológicos más grandes con miles de millones de dólares en hardware puedan construir y ejecutar modelos de estado de la técnica. Las arquitecturas eficientes como Mamba y RWKV democratizan este poder. Si puedes ejecutar un modelo de nivel GPT-4 en una tarjeta de consumo porque ya no necesitas terabytes de VRAM para el caché de clave-valor, el control centralizado de IA comienza a aflojarse. Podríamos ver un resurgimiento de agentes de IA locales y privados que viven enteramente en tu computadora, procesando tus datos privados sin enviar nunca un paquete a la nube.

Además, esta eficiencia es la clave para desbloquear sistemas de IA “Agentic” que se ejecutan en segundo plano durante horas o días para completar tareas complejas. Los Transformadores actuales son demasiado costosos y lentos para ejecutarse en bucles continuos durante largos períodos. Una arquitectura eficiente y lineal puede “pensar” y procesar bucles continuamente sin arruinar al usuario o sobrecalentar el hardware.

En resumen

El Transformador ha dominado los titulares de IA, pero detrás de escena, una revolución silenciosa está en marcha. El muro de GPU está empujando a los investigadores a repensar cómo los modelos manejan la memoria y la computación. Las arquitecturas post-Transformadores como Mamba y los modelos híbridos están demostrando que la eficiencia, no solo la escala, definirá la próxima era. Estas innovaciones hacen que las ventanas de contexto masivas sean prácticas, la inferencia más barata y el IA avanzado sea accesible más allá de los centros de datos. El futuro de la IA no se encuentra en modelos más grandes, sino en modelos más inteligentes que recuerdan, razonan y escalan de manera eficiente. Los modelos híbridos están demostrando que la eficiencia, no solo la escala, definirá la próxima era. Estas innovaciones hacen que las ventanas de contexto masivas sean prácticas, la inferencia más barata y el IA avanzado sea accesible más allá de los centros de datos. El futuro de la IA no se encuentra en modelos más grandes, sino en modelos más inteligentes que recuerdan, razonan y escalan de manera eficiente. Los modelos híbridos están demostrando que la eficiencia es la clave para desbloquear el verdadero potencial de la IA.