Jay Dawani est co-fondateur et PDG de Lemurian Labs – Série d’entretiens

Jay Dawani est co-fondateur et PDG de Lemurian Labs. Lemurian Labs est sur une mission pour livrer des ordinateurs intelligents abordables, accessibles et efficaces, animés par la conviction que l’intelligence artificielle ne devrait pas être un luxe, mais un outil accessible à tous. L’équipe fondatrice de Lemurian Labs combine des expertises en intelligence artificielle, compilateurs, algorithmes numériques et architecture informatique, unies par un objectif unique : réimaginer l’informatique accélérée.

Pouvez-vous nous parler de votre parcours et de ce qui vous a amené à l’intelligence artificielle dès le départ ?

Absolument. J’ai commencé à programmer à l’âge de 12 ans et à créer mes propres jeux, mais je me suis vraiment intéressé à l’intelligence artificielle à 15 ans grâce à un ami de mon père qui s’intéressait aux ordinateurs. Il a alimenté ma curiosité et m’a donné des livres à lire, tels que « The Computer and The Brain » de Von Neumann, « Perceptrons » de Minsky, et « AI A Modern Approach » de Russel et Norvig. Ces livres ont beaucoup influencé ma pensée et il m’a semblé évident que l’intelligence artificielle allait être transformative et que je devais en faire partie.

Lorsque j’ai dû choisir une université, j’ai vraiment voulu étudier l’intelligence artificielle, mais je n’ai pas trouvé d’universités qui offraient cela, donc j’ai décidé de majorer en mathématiques appliquées et, un peu plus tard, j’ai entendu parler des résultats d’AlexNet sur ImageNet, ce qui était vraiment excitant. À ce moment-là, j’ai eu un moment « maintenant ou jamais » dans ma tête et je me suis plongé dans la lecture de tous les documents et livres que je pouvais trouver sur les réseaux de neurones et j’ai cherché à apprendre des leaders dans le domaine, car combien de fois avez-vous l’occasion d’être là à la naissance d’une nouvelle industrie et d’apprendre de ses pionniers ?

Très vite, j’ai réalisé que je n’aimais pas la recherche, mais j’aimais résoudre des problèmes et créer des produits basés sur l’intelligence artificielle. Cela m’a amené à travailler sur des voitures autonomes et des robots, l’intelligence artificielle pour la découverte de matériaux, des modèles génératifs pour des simulations multi-physiques, des simulateurs basés sur l’intelligence artificielle pour former des conducteurs de course professionnels et les aider à configurer leurs voitures, des robots spatiaux, des algorithmes de trading, et bien plus encore.

Maintenant, après avoir fait tout cela, j’essaie de réduire le coût de la formation et du déploiement de l’intelligence artificielle, car cela sera le plus grand obstacle que nous rencontrerons sur notre chemin pour permettre à chaque personne et entreprise d’avoir accès à l’intelligence artificielle de la manière la plus économique possible.

De nombreuses entreprises qui travaillent sur l’informatique accélérée ont des fondateurs qui ont construit leur carrière dans les semi-conducteurs et les infrastructures. Comment pensez-vous que votre expérience passée en intelligence artificielle et en mathématiques impacte votre capacité à comprendre le marché et à concurrencer efficacement ?

Je pense en fait que ne pas venir de l’industrie me donne l’avantage de l’extérieur. J’ai trouvé qu’il est souvent le cas que ne pas avoir connaissance des normes de l’industrie ou de la sagesse conventionnelle donne la liberté d’explorer plus librement et de creuser plus profondément que la plupart des autres, car vous n’êtes pas entravé par des préjugés.

J’ai la liberté de poser des questions « plus bêtes » et de tester des hypothèses d’une manière que la plupart des autres ne le feraient pas, car beaucoup de choses sont considérées comme des vérités établies. Au cours des deux dernières années, j’ai eu plusieurs conversations avec des personnes de l’industrie qui sont très dogmatiques sur quelque chose, mais ils ne peuvent pas me dire la provenance de l’idée, ce que je trouve très étonnant. J’aime comprendre pourquoi certaines choix ont été faits et quels sont les hypothèses ou les conditions qui existaient à ce moment-là et si elles sont toujours valables.

En venant d’un background d’intelligence artificielle, j’ai tendance à adopter une vision logicielle en regardant où se trouvent les charges de travail aujourd’hui et où elles pourraient évoluer dans le temps, et en modélisant l’ensemble du pipeline ML pour la formation et l’inférence pour comprendre les goulets d’étranglement, ce qui me dit où se trouvent les opportunités de livrer de la valeur. Et parce que je viens d’un background mathématique, j’aime modéliser les choses pour m’approcher de la vérité autant que possible, et que cela me guide. Par exemple, nous avons construit des modèles pour calculer les performances du système pour le coût total de possession et nous pouvons mesurer les avantages que nous pouvons apporter aux clients avec des logiciels et/ou du matériel, et mieux comprendre nos contraintes et les différents réglages disponibles pour nous, et des dizaines d’autres modèles pour diverses choses. Nous sommes très axés sur les données et nous utilisons les connaissances de ces modèles pour guider nos efforts et nos compromis.

Il semble que les progrès de l’intelligence artificielle proviennent principalement de la mise à l’échelle, ce qui nécessite une quantité exponentielle de calcul et d’énergie. Il semble que nous sommes dans une course aux armements avec chaque entreprise essayant de construire le plus grand modèle, et il n’y a pas de fin en vue. Pensez-vous qu’il y a une issue à cela ?

Il y a toujours des solutions. La mise à l’échelle s’est avérée extrêmement utile et je ne pense pas que nous ayons vu la fin encore. Nous allons très bientôt voir des modèles formés avec un coût d’au moins un milliard de dollars. Si vous voulez être un leader dans l’intelligence artificielle générative et créer des modèles de base de pointe, vous devrez dépenser au moins quelques milliards de dollars par an en calcul. Maintenant, il y a des limites naturelles à la mise à l’échelle, comme être capable de construire un ensemble de données suffisamment grand pour un modèle de cette taille, avoir accès à des personnes avec les compétences appropriées et avoir accès à suffisamment de calcul.

La poursuite de la mise à l’échelle de la taille du modèle est inévitable, mais nous ne pouvons pas transformer la surface entière de la Terre en un supercalculateur de la taille de la planète pour former et servir des LLM. Pour mettre cela sous contrôle, nous avons plusieurs leviers que nous pouvons jouer : de meilleurs ensembles de données, de nouvelles architectures de modèles, de nouvelles méthodes de formation, de meilleurs compilateurs, des améliorations algorithmiques et des exploitations, de meilleures architectures informatiques, etc. Si nous faisons tout cela, il y a environ trois ordres de grandeur d’amélioration à trouver. C’est la meilleure issue.

Vous êtes un adepte de la pensée de première principe, comment cela façonne votre mentalité pour diriger Lemurian Labs ?

Nous employons certainement beaucoup de pensée de première principe à Lemurian. J’ai toujours trouvé que la sagesse conventionnelle est trompeuse, car cette connaissance a été formée à un certain moment dans le temps où certaines hypothèses étaient valables, mais les choses changent toujours et vous devez retester les hypothèses souvent, surtout dans un monde qui évolue rapidement.

Je me pose souvent des questions comme « cela semble être une très bonne idée, mais pourquoi cela pourrait ne pas fonctionner », ou « qu’est-ce qui doit être vrai pour que cela fonctionne », ou « qu’est-ce que nous savons qui sont des vérités absolues et quels sont les hypothèses que nous faisons et pourquoi ? », ou « pourquoi croyons-nous que cette approche particulière est la meilleure façon de résoudre ce problème ». L’objectif est d’invalider et de tuer les idées le plus rapidement et le moins cher possible. Nous voulons essayer de maximiser le nombre de choses que nous essayons à tout moment donné. C’est à propos d’être obsédé par le problème qui doit être résolu et de ne pas être trop opinâtre sur quelle technologie est la meilleure. Trop de gens se concentrent trop sur la technologie et ils finissent par mal comprendre les problèmes des clients et manquent les transitions qui se produisent dans l’industrie, ce qui pourrait invalider leur approche et les empêcher de s’adapter à l’état nouveau du monde.

Mais la pensée de première principe n’est pas très utile par elle-même. Nous l’associons à la rétroprojection, qui consiste à imaginer un résultat idéal ou souhaité et à travailler à rebours pour identifier les différentes étapes ou actions nécessaires pour le réaliser. Cela nous permet de converger vers une solution significative qui est non seulement innovante mais également ancrée dans la réalité. Il n’a pas de sens de passer du temps à créer la solution parfaite pour réaliser ensuite qu’elle n’est pas réalisable en raison de diverses contraintes du monde réel, telles que les ressources, le temps, la réglementation ou la construction d’une solution apparemment parfaite, mais qui s’avère trop difficile pour les clients à adopter.

De temps en temps, nous nous retrouvons dans une situation où nous devons prendre une décision, mais nous n’avons pas de données, et dans ce scénario, nous employons des hypothèses minimum testables qui nous donnent un signal pour savoir si quelque chose a du sens à poursuivre avec le moins d’énergie possible.

Tout cela combiné nous donne de l’agilité, des cycles d’itération rapide pour dérisquer les éléments rapidement, et nous a aidés à ajuster les stratégies avec une grande confiance, et à faire beaucoup de progrès sur des problèmes très difficiles en très peu de temps.

Au début, vous vous concentriez sur l’intelligence artificielle de pointe, qu’est-ce qui vous a amené à vous recentrer et à basculer vers l’informatique en nuage ?

Nous avons commencé avec l’intelligence artificielle de pointe parce que, à ce moment-là, j’étais très concentré sur la résolution d’un problème très spécifique que j’avais rencontré en essayant d’amener un monde de robots autonomes polyvalents. Les robots autonomes promettent d’être le plus grand changement de plate-forme de notre histoire collective, et il m’a semblé que nous avions tout ce qu’il fallait pour construire un modèle de base pour la robotique, mais nous manquions du circuit d’inférence idéal avec le bon équilibre de débit, de latence, d’efficacité énergétique et de programmabilité pour exécuter ledit modèle de base.

Je ne pensais pas au centre de données à ce moment-là, car il y avait plus qu’assez d’entreprises qui s’y concentraient et j’attendais qu’elles résolvent le problème. Nous avons conçu une architecture très puissante pour cet espace d’application et nous nous préparions à la mettre en production, puis il est devenu clair que le monde avait changé et que le problème était vraiment dans le centre de données. Le rythme auquel les LLM évoluaient et consommaient du calcul dépassait de loin le rythme des progrès de l’informatique, et lorsque vous prenez en compte l’adoption, cela commence à peindre un tableau inquiétant.

Il m’a semblé que c’est là que nous devions concentrer nos efforts, pour réduire le coût énergétique de l’intelligence artificielle dans les centres de données autant que possible sans imposer de restrictions sur où et comment l’intelligence artificielle devrait évoluer. Et ainsi, nous nous sommes mis au travail pour résoudre ce problème.

Pouvez-vous partager l’histoire de la création de Lemurian Labs ?

L’histoire commence en 2018. J’étais en train de former un modèle de base pour l’autonomie polyvalente, ainsi qu’un modèle pour la simulation multi-physique générative pour former l’agent et l’affiner pour différentes applications, et certaines autres choses pour aider à passer à des environnements multi-agents. Mais très vite, j’ai épuisé la quantité de calcul dont je disposais, et j’ai estimé avoir besoin de plus de 20 000 GPU V100. J’ai essayé de lever suffisamment d’argent pour avoir accès au calcul, mais le marché n’était pas prêt pour cette échelle à ce moment-là. Cela m’a cependant fait réfléchir au côté du déploiement et j’ai pris le temps de calculer combien de performances je aurais besoin pour servir ce modèle dans les environnements cibles et j’ai réalisé qu’il n’y avait pas de circuit qui puisse m’y amener.

Deux ans plus tard, en 2020, j’ai rencontré Vassil – mon futur co-fondateur – pour discuter et je lui ai partagé les défis que j’avais rencontrés en construisant un modèle de base pour l’autonomie, et il a suggéré de construire un circuit d’inférence qui puisse exécuter le modèle de base, et il a partagé qu’il avait beaucoup réfléchi aux formats de nombres et que de meilleures représentations aideraient non seulement à faire en sorte que les réseaux de neurones conservent leur précision à des largeurs de bits plus faibles, mais également à créer des architectures plus puissantes.

C’était une idée intrigante, mais c’était hors de ma portée. Mais cela ne m’a pas quitté, ce qui m’a poussé à passer des mois et des mois à apprendre les complexités de l’architecture informatique, les jeux d’instructions, les runtime, les compilateurs et les modèles de programmation. Finalement, la construction d’une entreprise de semi-conducteurs a commencé à avoir du sens et j’ai formé une thèse sur ce qu’était le problème et comment y répondre. Et puis, vers la fin de l’année, nous avons lancé Lemurian.

Vous avez parlé précédemment de la nécessité de résoudre d’abord le problème logiciel lors de la construction du matériel, pouvez-vous élaborer sur vos vues sur pourquoi le problème du matériel est avant tout un problème logiciel ?

Ce que beaucoup de gens ne réalisent pas, c’est que le côté logiciel des semi-conducteurs est beaucoup plus difficile que le matériel lui-même. Construire une architecture informatique utile pour les clients pour qu’ils puissent l’utiliser et en tirer profit est un problème de pile complète, et si vous n’avez pas cette compréhension et cette préparation avant de commencer, vous finirez par avoir une architecture très performante et efficace, mais totally inutilisable par les développeurs, ce qui est ce qui compte vraiment.

Il y a d’autres avantages à adopter une approche logicielle d’abord, bien sûr, comme un temps de mise sur le marché plus rapide. C’est crucial dans le monde qui évolue rapidement d’aujourd’hui, où être trop optimiste sur une architecture ou une fonctionnalité pourrait signifier que vous manquez le marché entièrement.

Ne pas adopter une vision logicielle d’abord aboutit généralement à ne pas avoir dérisqué les choses importantes nécessaires à l’adoption du produit sur le marché, à ne pas être en mesure de répondre aux changements du marché, par exemple, lorsque les charges de travail évoluent de manière inattendue, et à avoir du matériel sous-utilisé. Tout cela n’est pas très bon. C’est une grande raison pour laquelle nous nous soucions beaucoup d’être centrés sur le logiciel et pourquoi notre point de vue est que vous ne pouvez pas être une entreprise de semi-conducteurs sans vraiment être une entreprise de logiciels.

Pouvez-vous discuter de vos objectifs immédiats pour la pile logicielle ?

Lorsque nous avons conçu notre architecture et réfléchi à la feuille de route à venir et où se trouvaient les opportunités pour apporter plus de performances et d’efficacité énergétique, il est devenu clair que nous allions voir beaucoup plus d’hétérogénéité, ce qui allait créer beaucoup de problèmes logiciels. Et nous n’avons pas seulement besoin de pouvoir programmer de manière productive des architectures hétérogènes, nous devons les gérer à l’échelle du centre de données, ce qui est un défi comme nous n’en avons jamais rencontré auparavant.

Cela nous a inquiétés, car la dernière fois que nous avions dû passer par une transition majeure, c’était lorsque l’industrie est passée des architectures mono-cœur aux architectures multi-cœur, et à ce moment-là, il a fallu 10 ans pour que le logiciel fonctionne et que les gens l’utilisent. Nous ne pouvons pas attendre 10 ans pour résoudre le logiciel pour l’hétérogénéité à grande échelle, cela doit être réglé maintenant. Et ainsi, nous nous sommes mis au travail pour comprendre le problème et ce qui doit exister pour que cette pile logicielle existe.

Nous travaillons actuellement avec de nombreuses entreprises de semi-conducteurs et de fournisseurs de services cloud/hyperscalers et nous allons publier notre pile logicielle dans les 12 prochains mois. Il s’agit d’un modèle de programmation unifié avec un compilateur et un runtime capable de cibler n’importe quel type d’architecture, et d’orchestrer le travail à travers des grappes composées de différents types de matériel, et capable de passer d’un nœud unique à un cluster de mille nœuds pour les meilleures performances possibles.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Lemurian Labs.