ARIA sélectionne les serveurs optiques de Lumai pour tester l’inférence IA à l’échelle d’une baie

Lumai fait entrer son matériel optique dédié à l’IA dans un nouveau cadre d’évaluation : le Laboratoire de mise à l’échelle de l’inférence, soutenu par l’Agence britannique pour la recherche avancée et l’invention, ou ARIA. Le laboratoire prévoit de déployer des serveurs d’inférence Lumai Iris comme première plateforme de calcul optique, afin de permettre aux chercheurs de tester l’architecture à l’échelle d’une baie, dans un centre de données commercial.

Dirigé par CommonAI CIC, le laboratoire vise à combler un fossé difficile à franchir pour les nouveaux matériels d’IA : démontrer le fonctionnement d’un processeur novateur est une chose ; le faire fonctionner au sein d’un système intégré, avec des modèles réels et des exigences courantes en matière d’alimentation électrique, de refroidissement et de baie, en est une autre.

Cette annonce fait suite au lancement d’Iris Nova en avril. La nouvelle étape consiste en une évaluation multi-nœuds dans le cadre d’un banc d’essai financé par des fonds publics, et non en la publication d’un benchmark indépendant achevé qui démontrerait les gains d’efficacité annoncés par Lumai.

Utiliser la lumière pour effectuer les calculs matriciels

Issue de l’Université d’Oxford, Lumai a été fondée en 2021 et développe une architecture hybride optique et numérique. Son moteur optique vise les opérations mathématiques intensives utilisées dans l’inférence IA, tandis que les composants électroniques continuent de prendre en charge les fonctions connexes du système.

Dans la description technique de l’entreprise, les informations sont encodées dans des faisceaux lumineux et traitées par des composants optiques dans un espace tridimensionnel. L’objectif est d’effectuer de nombreuses opérations mathématiques en parallèle grâce à la propagation de la lumière, au lieu de réaliser chaque calcul en commutant des transistors.

Cela ne signifie pas que le serveur entier est passif ou ne consomme pas d’énergie. Le système complet nécessite toujours des sources lumineuses, la conversion des données, de la mémoire, du traitement numérique et des mécanismes de contrôle. La question technique pertinente est de savoir quelle part de l’efficacité du moteur optique subsiste après prise en compte de ces coûts connexes, lorsqu’un modèle utile est effectivement en fonctionnement.

Lumai décrit une interface de données à haut débit destinée à répartir les surcoûts de conversion sur de grandes charges de travail, une mémoire à trois niveaux pour le cache clé-valeur du modèle, ainsi qu’une quantification adaptée au matériel. Ces éléments sont des aspects pratiques de l’architecture : le transfert des données, la préservation d’une précision numérique exploitable et l’alimentation continue de l’accélérateur en tâches influent tous sur les performances au-delà d’une démonstration en laboratoire.

Pourquoi Lumai cible le préremplissage

L’inférence des grands modèles de langage comporte deux phases distinctes. Pendant le préremplissage, le système traite l’entrée et construit l’état interne nécessaire à la génération d’une réponse. Pendant le décodage, il produit les jetons de sortie étape par étape, en accédant de façon répétée aux poids du modèle et au contexte mis en cache.

Le préremplissage repose souvent principalement sur de grandes opérations matricielles, tandis que le décodage peut être limité par la bande passante mémoire, en particulier avec des lots de petite taille. L’équilibre varie selon la taille du modèle, la longueur de l’invite, le traitement par lots et la configuration du service. L’approche de Lumai consiste à se spécialiser dans la phase exigeant le plus de calcul, plutôt qu’à optimiser l’ensemble du pipeline à l’aide d’un seul type de processeur.

La documentation produit d’Iris présente l’accélérateur optique comme un composant de systèmes informatiques hétérogènes, notamment en tant que processeur de préremplissage associé à du matériel optimisé pour le décodage. Selon Lumai, Iris Nova prend en charge les modèles Llama de 8 milliards et de 70 milliards de paramètres et est disponible pour des évaluations en centre de données. La gamme de produits est conçue pour les infrastructures de baies standard et le refroidissement par air.

« C’est lorsqu’un système multi-nœuds fonctionne dans un centre de données commercial que l’on peut vérifier si les nouvelles architectures de calcul sont prêtes à être déployées dans des conditions réelles », a déclaré Xianxin Guo, cofondateur et PDG de Lumai. Les travaux menés avec ARIA placent cette question de l’intégration au cœur de la prochaine phase.

Un banc d’essai pour des systèmes complets

ARIA est une agence publique britannique de financement de la recherche et du développement qui soutient des technologies ambitieuses susceptibles de bénéficier à la société. Son programme Scaling Compute explore des solutions de remplacement aux approches informatiques établies, notamment de nouveaux principes de calcul, des réseaux et des conceptions de systèmes.

Le Laboratoire de mise à l’échelle de l’inférence bénéficie d’un financement de 50 millions de livres sterling de la part d’ARIA. L’agence le présente comme une série de projets pilotes structurés à l’échelle d’une baie, chacun intégrant une technologie non éprouvée dans un système déployable sur lequel les utilisateurs finaux peuvent exécuter des modèles. L’objectif est de comparer les performances des systèmes complets à celles de solutions commerciales et d’itérer rapidement, avec une nouvelle baie prévue tous les six mois.

CommonAI, organisation à but non lucratif basée à Cambridge et constituée en association, qui met en œuvre le laboratoire, rassemble des entreprises, des organismes publics et des participants du milieu universitaire pour mener des travaux d’ingénierie collaborative. Son présentation du programme décrit plus de cinq systèmes à l’échelle d’une baie et met l’accent sur une validation indépendante afin d’aider les nouveaux matériels à démontrer leurs performances en conditions réelles d’exploitation.

Cette structure est importante, car un accélérateur peut être performant lors d’une opération isolée, tout en offrant un avantage moindre une fois pris en compte le déplacement des données, la planification des tâches, la prise en charge logicielle et le reste du pipeline de service. Un environnement de test partagé peut aider à mettre en évidence aussi bien les avantages que les goulots d’étranglement.

Ce que les affirmations sur l’efficacité montrent — et ne montrent pas

Lumai affirme que cette architecture pourrait réduire jusqu’à 90 % la consommation électrique des centres de données et ramener le coût total de possession à environ un dixième de celui des architectures GPU classiques. Son site web présente une feuille de route visant une performance 50 fois supérieure. Le communiqué indique séparément que l’association du préremplissage optique au décodage sur silicium permet d’obtenir une efficacité énergétique par inférence au moins 16 fois supérieure.

Ces chiffres reposent sur des comparaisons différentes et ne doivent pas être considérés comme des mesures interchangeables ni comme des résultats déjà vérifiés de manière indépendante par ARIA. L’annonce ne fournit ni configuration de référence commune, ni comparaison de la qualité des modèles, ni ensemble publié de résultats à l’échelle d’une baie qui permettrait d’établir ces gains pour des charges de travail commerciales.

L’évaluation du laboratoire constitue donc l’avancée majeure. Parmi les mesures utiles figureraient l’énergie consommée par requête traitée, le délai avant le premier jeton, le débit de sortie soutenu, la précision du modèle et le coût d’exploitation du système complet. Pour établir des comparaisons pertinentes, il faut utiliser le même modèle, les mêmes longueurs de contexte, les mêmes hypothèses de traitement par lots et les mêmes exigences de service.

Pour le Royaume-Uni, qui ambitionne d’accroître ses capacités nationales en IA tout en disposant de budgets énergétiques limités, un système optique performant pourrait constituer une autre option informatique. Le déploiement de Lumai marque une étape vers l’évaluation de cette possibilité dans des conditions commerciales. La question de savoir si son avantage se traduira par une baisse des coûts d’inférence à grande échelle dépendra des éléments probants concernant le système complet que produira l’évaluation.