Phillip Burr, Head of Product at Lumai – Interview Series

Phillip Burr est le Head of Product chez Lumai, avec plus de 25 ans d’expérience dans la gestion de produits mondiaux, les lancements de produits et les rôles de direction au sein de sociétés de semi-conducteurs et de technologie de pointe, ainsi qu’un historique prouvée de construction et de mise à l’échelle de produits et de services.

Lumai est une société de deep tech basée au Royaume-Uni qui développe des processeurs de calcul optique 3D pour accélérer les charges de travail d’intelligence artificielle. En effectuant des multiplications matrice-vecteur à l’aide de faisceaux de lumière en trois dimensions, leur technologie offre jusqu’à 50 fois les performances et 90 % de consommation d’énergie inférieure par rapport aux accélérateurs traditionnels à base de silicium. Cela la rend particulièrement adaptée aux tâches d’inférence d’IA, notamment les grands modèles de langage, tout en réduisant considérablement les coûts énergétiques et l’impact environnemental.

Qu’est-ce qui a inspiré la fondation de Lumai, et comment l’idée a-t-elle évolué de la recherche de l’Université d’Oxford en une entreprise commerciale ?

L’étincelle initiale a été allumée lorsque l’un des fondateurs de Lumai, le Dr Xianxin Guo, a reçu une bourse de recherche 1851 à l’Université d’Oxford. Les interviewers ont compris le potentiel du calcul optique et ont demandé si Xianxin envisagerait des brevets et la création d’une entreprise si sa recherche était couronnée de succès. Cela a déclenché l’esprit créatif de Xianxin et, lorsqu’il a prouvé, aux côtés de l’un des autres co-fondateurs de Lumai, le Dr James Spall, que l’utilisation de la lumière pour effectuer les calculs au cœur de l’IA pouvait à la fois améliorer considérablement les performances de l’IA et réduire l’énergie, le décor était planté. Ils savaient que le matériel d’IA à base de silicium existant (et toujours) luttait pour augmenter les performances sans augmenter considérablement la puissance et le coût et, par conséquent, s’ils pouvaient résoudre ce problème en utilisant le calcul optique, ils pourraient créer un produit que les clients voulaient. Ils ont présenté cette idée à certains investisseurs qui les ont soutenus pour créer Lumai. Lumai a récemment clôturé son deuxième cycle de financement, levant plus de 10 millions de dollars, et a fait entrer de nouveaux investisseurs qui croient également que le calcul optique peut continuer à évoluer et répondre à la demande croissante de performances d’IA sans augmenter la puissance.

Vous avez eu une carrière impressionnante à travers Arm, indie Semiconductor, et plus — qu’est-ce qui vous a attiré pour rejoindre Lumai à ce stade ?

La réponse courte est l’équipe et la technologie. Lumai dispose d’une équipe impressionnante d’experts en optique, en apprentissage automatique et en centres de données, apportant une expérience issue de sociétés comme Meta, Intel, Altera, Maxeler, Seagate et IBM (ainsi que mon propre expérience chez Arm, indie, Mentor Graphics et Motorola). Je savais qu’une équipe de personnes remarquables aussi concentrées sur la résolution du défi de réduction du coût de l’inférence d’IA pouvait accomplir des choses incroyables.

Je crois fermement que le futur de l’IA exige de nouvelles avancées innovantes en matière de calcul. La promesse d’offrir 50 fois les performances de calcul d’IA ainsi que de réduire le coût de l’inférence d’IA à 1/10ème par rapport aux solutions actuelles était simplement trop belle pour la laisser passer.

Quels étaient certains des premiers défis techniques ou commerciaux que votre équipe fondatrice a rencontrés en passant d’une avancée de recherche à une entreprise prête au produit ?

La percée de recherche a prouvé que l’optique pouvait être utilisée pour des multiplications matrice-vecteur rapides et très efficaces. Malgré les avancées techniques, le plus grand défi était de convaincre les gens que Lumai pouvait réussir là où d’autres startups de calcul optique avaient échoué. Nous avons dû passer du temps à expliquer que l’approche de Lumai était très différente et qu’au lieu de s’appuyer sur un seul circuit 2D, nous utilisions l’optique 3D pour atteindre les niveaux d’échelle et d’efficacité. Il y a bien sûr de nombreuses étapes pour passer de la recherche en laboratoire à une technologie qui peut être déployée à grande échelle dans un centre de données. Nous avons reconnu très tôt que la clé du succès était d’intégrer des ingénieurs ayant une expérience dans le développement de produits en grande quantité et dans les centres de données. L’autre domaine est le logiciel – il est essentiel que les cadres d’IA standard et les modèles puissent bénéficier du processeur de Lumai, et que nous fournissons les outils et les cadres pour rendre cela aussi transparent que possible pour les ingénieurs logiciels d’IA.

La technologie de Lumai est censée utiliser la multiplication matrice-vecteur optique 3D. Pouvez-vous la décomposer en termes simples pour un public général ?

Les systèmes d’IA doivent effectuer de nombreux calculs mathématiques appelés multiplications matrice-vecteur. Ces calculs sont le moteur qui alimente les réponses d’IA. Chez Lumai, nous effectuons cela en utilisant la lumière au lieu de l’électricité. Voici comment cela fonctionne :

1. Nous codons les informations dans des faisceaux de lumière
2. Ces faisceaux de lumière traversent l’espace 3D
3. La lumière interagit avec des lentilles et des matériaux spéciaux
4. Ces interactions complètent l’opération mathématique

En utilisant les trois dimensions de l’espace, nous pouvons traiter plus d’informations avec chaque faisceau de lumière. Cela rend notre approche très efficace – en réduisant l’énergie, le temps et le coût nécessaires pour exécuter les systèmes d’IA.

Quels sont les principaux avantages du calcul optique par rapport aux GPU et à l’intégration de la photonique traditionnelle à base de silicium ?

Puisque le rythme de progrès de la technologie du silicium a considérablement ralenti, chaque étape d’amélioration des performances d’un processeur d’IA à base de silicium (comme un GPU) entraîne une augmentation significative de la puissance. Les solutions à base de silicium consomment une quantité incroyable de puissance et sont à la poursuite de rendements décroissants, ce qui les rend incroyablement complexes et coûteuses. L’avantage de l’utilisation de l’optique est qu’une fois dans le domaine optique, il y a pratiquement pas de puissance consommée. L’énergie est utilisée pour entrer dans le domaine optique, mais par exemple, dans le processeur de Lumai, nous pouvons réaliser plus de 1 000 opérations de calcul pour chaque faisceau de lumière, à chaque cycle, ce qui le rend très efficace. Cette évolutivité ne peut pas être atteinte en utilisant la photonique intégrée en raison à la fois des contraintes de taille physique et du bruit de signal, le nombre d’opérations de calcul d’une solution silicium-photonique étant à seulement 1/8ème de ce que Lumai peut réaliser aujourd’hui.

Comment le processeur de Lumai réalise-t-il une inférence presque sans latence, et pourquoi est-ce un facteur si critique pour les charges de travail d’IA modernes ?

Bien que nous ne prétendions pas que le processeur de Lumai offre une latence nulle, il exécute une très grande (1024 x 1024) opération de multiplication matrice-vecteur en un seul cycle. Les solutions à base de silicium divisent généralement une matrice en matrices plus petites, qui sont traitées individuellement et dont les résultats doivent ensuite être combinés. Cela prend du temps et nécessite plus de mémoire et d’énergie. La réduction du temps, de l’énergie et du coût du traitement d’IA est cruciale à la fois pour permettre à plus d’entreprises de bénéficier de l’IA et pour permettre une IA avancée de la manière la plus durable.

Pouvez-vous nous guider à travers la façon dont votre facteur de forme compatible PCIe s’intègre dans l’infrastructure existante des centres de données ?

Le processeur de Lumai utilise des cartes de facteur de forme PCIe avec un CPU standard, le tout dans une étagère standard de 4U. Nous travaillons avec une gamme de fournisseurs d’équipements de rack de centre de données pour que le processeur de Lumai s’intègre avec leurs propres équipements. Nous utilisons des interfaces réseau standard, des logiciels standard, etc., de sorte que, de l’extérieur, le processeur de Lumai ressemblera à n’importe quel autre processeur de centre de données.

L’utilisation d’énergie des centres de données est une préoccupation mondiale croissante. Comment Lumai se positionne-t-elle comme une solution durable pour le calcul d’IA ?

La consommation d’énergie des centres de données augmente à un rythme alarmant. Selon un rapport du Lawrence Berkeley National Laboratory, la consommation d’énergie des centres de données aux États-Unis devrait tripler d’ici 2028, consommant jusqu’à 12 % de l’énergie du pays. Certains opérateurs de centres de données envisagent d’installer un réacteur nucléaire pour fournir l’énergie nécessaire. L’industrie doit examiner des approches différentes pour l’IA, et nous croyons que l’optique est la réponse à cette crise énergétique.

Pouvez-vous expliquer comment l’architecture de Lumai évite les goulets d’étranglement d’évolutivité des approches actuelles à base de silicium et de photonique ?

Les performances du premier processeur de Lumai ne sont que le début de ce qui est réalisable. Nous nous attendons à ce que notre solution continue à offrir d’énormes bonds de performance : en augmentant les vitesses d’horloge optique et les largeurs de vecteur, le tout sans augmentation correspondante de la consommation d’énergie. Aucune autre solution ne peut atteindre cela. Les approches numériques à base de silicium consommeront de plus en plus de coûts et de puissance pour chaque augmentation des performances. La photonique silicium ne peut pas atteindre la largeur de vecteur nécessaire et, par conséquent, les sociétés qui examinaient la photonique intégrée pour le calcul de centre de données se sont tournées vers d’autres parties du centre de données – par exemple, l’interconnexion optique ou la commutation optique.

Quel rôle voyez-vous le calcul optique jouer dans l’avenir de l’IA — et plus largement, dans l’informatique dans son ensemble ?

L’optique dans son ensemble jouera un rôle énorme dans les centres de données à l’avenir – de l’interconnexion optique, du réseau optique, de la commutation optique et, bien sûr, du traitement d’IA optique. Les exigences que l’IA impose aux centres de données sont le principal moteur de ce passage à l’optique. L’interconnexion optique permettra des connexions plus rapides entre les processeurs d’IA, essentielles pour les grands modèles d’IA. La commutation optique permettra un réseau plus efficace, et le calcul optique permettra un traitement d’IA plus rapide, plus économe en énergie et moins coûteux. Collectivement, ils aideront à permettre une IA encore plus avancée, en surmontant les défis du ralentissement de la mise à l’échelle du silicium sur le côté du calcul et les limitations de vitesse du cuivre sur le côté de l’interconnexion.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Lumai.