ARIA selecciona servidores ópticos de Lumai para probar la inferencia de IA a escala de rack

Lumai lleva su hardware óptico para IA a un nuevo entorno de evaluación: el Laboratorio de Inferencia a Escala, respaldado por la Agencia de Investigación e Invención Avanzadas del Reino Unido, o ARIA. El laboratorio prevé desplegar servidores de inferencia Lumai Iris como su primera plataforma de computación óptica, lo que permitirá a los investigadores probar la arquitectura a escala de rack en un centro de datos comercial.

El laboratorio, gestionado por CommonAI CIC, busca salvar una brecha difícil para el hardware de IA emergente: demostrar un procesador novedoso es una cosa; lograr que funcione como parte de un sistema integrado, con modelos reales y requisitos habituales de energía, refrigeración y rack, es otra.

El anuncio se suma al lanzamiento de Iris Nova en abril. El nuevo paso consiste en una evaluación de varios nodos en un banco de pruebas financiado con fondos públicos, no en la publicación de una prueba comparativa independiente y completa que demuestre las principales afirmaciones de Lumai sobre eficiencia.

Usar la luz para realizar operaciones matriciales

Lumai, una empresa derivada de la Universidad de Oxford fundada en 2021, desarrolla una arquitectura híbrida óptica y digital. Su motor óptico está dirigido a las operaciones matemáticas densas que se utilizan en la inferencia de IA, mientras que los componentes electrónicos siguen gestionando las funciones del sistema que lo rodean.

En la descripción técnica de la empresa, la información se codifica en haces de luz y se procesa mediante componentes ópticos en un espacio tridimensional. El objetivo es ejecutar en paralelo muchas operaciones matemáticas mediante la propagación de la luz, en lugar de realizar todos los cálculos conmutando transistores.

Esto no significa que todo el servidor sea pasivo ni que no consuma energía. El sistema completo sigue necesitando fuentes de luz, conversión de datos, memoria, procesamiento digital y control. La cuestión de ingeniería pertinente es cuánta eficiencia del motor óptico se conserva una vez contabilizados esos costes adicionales cuando se ejecuta un modelo útil.

Lumai describe una interfaz de datos amplia, concebida para repartir los costes de conversión entre grandes cargas de trabajo, un diseño de memoria de tres niveles para la caché de clave-valor del modelo y una cuantización adaptada al hardware. Estos son aspectos prácticos de la arquitectura: el movimiento de datos, la conservación de una precisión numérica utilizable y el suministro continuo de trabajo al acelerador influyen en el rendimiento más allá de una demostración de laboratorio.

Por qué Lumai se centra en el prellenado

La inferencia de los modelos de lenguaje grandes consta de dos fases distintas. Durante el prellenado, el sistema procesa la entrada y construye el estado interno necesario para generar una respuesta. Durante la decodificación, produce tokens de salida paso a paso y accede repetidamente a los pesos del modelo y al contexto almacenado en caché.

El prellenado suele estar dominado por operaciones matriciales de gran tamaño, mientras que la decodificación puede verse limitada por el ancho de banda de memoria, en particular cuando los tamaños de lote son menores. El equilibrio varía según el tamaño del modelo, la longitud de la instrucción, el agrupamiento en lotes y la configuración del servicio. El enfoque de Lumai consiste en especializarse en la fase de mayor carga computacional, en lugar de optimizar toda la canalización con un solo tipo de procesador.

La documentación del producto Iris presenta el acelerador óptico como parte de sistemas de computación heterogéneos, en los que puede utilizarse como procesador de prellenado junto con hardware optimizado para la decodificación. Lumai afirma que Iris Nova admite modelos Llama de 8.000 y 70.000 millones de parámetros y está disponible para su evaluación en centros de datos. La familia de productos está diseñada para la infraestructura estándar de racks y la refrigeración por aire.

«La ejecución de un sistema de varios nodos en un centro de datos comercial es donde las nuevas arquitecturas de computación demuestran si están listas para un despliegue real», afirmó Xianxin Guo, cofundador y director ejecutivo de Lumai. El trabajo de ARIA sitúa esta cuestión de integración en el centro de la siguiente fase.

Un banco de pruebas para sistemas completos

ARIA es una agencia pública de financiación de la investigación y el desarrollo del Reino Unido que respalda tecnologías ambiciosas con posibles beneficios sociales. Su programa Scaling Compute explora alternativas a los enfoques de computación establecidos, incluidos nuevos principios computacionales, redes y diseño de sistemas.

El Laboratorio de Inferencia a Escala cuenta con 50 millones de libras de financiación de ARIA. ARIA lo describe como una serie de proyectos piloto estructurados a escala de rack, cada uno de los cuales integra una tecnología no probada en un sistema desplegable con el que los usuarios finales pueden ejecutar modelos. El objetivo es comparar el rendimiento del sistema completo con el de las alternativas comerciales e iterar con rapidez; se prevé instalar un nuevo rack cada seis meses.

CommonAI, la organización sin fines de lucro con sede en Cambridge y basada en miembros que lleva adelante el laboratorio, reúne a empresas, organismos públicos y participantes del ámbito académico para colaborar en ingeniería. Su resumen del programa describe más de cinco sistemas a escala de rack y destaca la validación independiente para ayudar al hardware emergente a demostrar su rendimiento operativo real.

Esta estructura es importante porque un acelerador puede ofrecer un buen rendimiento en una operación aislada y, aun así, aportar un beneficio menor cuando se tienen en cuenta el movimiento de datos, la planificación, la compatibilidad con el software y el resto de la canalización de servicio. Un entorno de pruebas compartido puede ayudar a identificar tanto las ventajas como los cuellos de botella.

Qué demuestran —y qué no— las afirmaciones sobre eficiencia

Lumai afirma que esta arquitectura podría reducir hasta un 90 % el consumo eléctrico de los centros de datos y situar el costo total de propiedad en torno a una décima parte del de las arquitecturas convencionales de GPU. En su sitio web describe una hoja de ruta para alcanzar un rendimiento 50 veces superior. El comunicado también señala que, al combinar el prellenado óptico con la decodificación basada en silicio, la eficiencia energética por inferencia es al menos 16 veces mayor.

Estas cifras corresponden a comparaciones diferentes y no deben considerarse medidas intercambiables ni resultados que ARIA haya verificado de forma independiente. El anuncio no ofrece una configuración de referencia común, una comparación de la calidad de los modelos ni un conjunto publicado de resultados a nivel de rack que demuestre esas mejoras en distintas cargas de trabajo comerciales.

Por tanto, la evaluación del laboratorio es el avance sustancial. Entre las mediciones útiles estarían la energía por solicitud completada, el tiempo hasta el primer token, el rendimiento sostenido de salida, la precisión del modelo y el costo de operar el sistema completo. Para que las comparaciones sean significativas, se necesitan el mismo modelo, las mismas longitudes de contexto, los mismos supuestos de agrupación por lotes y los mismos requisitos de servicio.

Para el objetivo del Reino Unido de ampliar su capacidad nacional de IA con presupuestos energéticos limitados, un sistema óptico exitoso podría ofrecer otra opción de cómputo. El despliegue de Lumai es un paso hacia la prueba de esa posibilidad en condiciones comerciales. Que su ventaja se traduzca en menores costos de inferencia a gran escala dependerá de las pruebas del sistema completo que arroje la evaluación.