Elad Raz, PDG de NextSilicon – Série d’entretiens

Elad Raz, PDG de NextSilicon, est un entrepreneur expérimenté et un leader technologique largement respecté pour son expertise approfondie dans les systèmes de bas niveau, la sécurité, les réseaux et le développement de systèmes de fichiers. Au cours d’une carrière qui a couvert des rôles d’ingénierie militaire de haut niveau, des postes de direction logicielle, la création d’entreprise et des investissements à long terme, Raz a dirigé des projets complexes et critiques pour la mission, couvrant les internes du système d’exploitation et l’intégration du matériel et du logiciel. Avant de fonder NextSilicon, il a créé et vendu plusieurs entreprises technologiques, occupé des postes de direction supérieure dans une société de semi-conducteurs de premier plan et investi dans un portefeuille diversifié de startups, combinant une profondeur d’ingénierie pratique avec une exécution solide et une vision stratégique à long terme.

NextSilicon est une société israélienne de calcul haute performance et de semi-conducteurs fondée en 2017 qui redéfinit l’architecture de calcul pour des charges de travail exigeantes telles que l’IA et le calcul scientifique. La société a développé une plate-forme de calcul intelligente définie par logiciel conçue pour offrir des performances élevées et une efficacité sans nécessiter aux développeurs de réécrire les applications. En se concentrant sur l’adaptabilité au niveau du matériel, NextSilicon vise à résoudre les goulets d’étranglement fondamentaux dans les centres de données modernes et les environnements de calcul haute performance, se positionnant comme une alternative de nouvelle génération aux accélérateurs traditionnels.

Pouvez-vous nous parler de votre parcours qui a mené à la fondation de NextSilicon ? Qu’est-ce qui a déclenché l’idée initiale, et comment vos premières expériences avec l’informatique ont-elles façonné votre vision ?

J’ai été fasciné par les ordinateurs depuis que j’étais gamin. Cette fascination m’a mené de la manipulation d’anciens Commodore 64 et Atari (que je collectionne encore aujourd’hui) à la cofondation de startups, et finalement à la vente de mon entreprise précédente à Mellanox. Mais même avec ces premiers succès, je voyais constamment le même défi dans cette industrie. À mesure que les charges de travail de calcul sont devenues plus complexes, les architectures traditionnelles de CPU et de GPU atteignent les limites de performances, d’efficacité énergétique et de scalabilité. Que ce soit pour optimiser les algorithmes ou exécuter des simulations à grande échelle, il est devenu clair que les architectures actuelles obligeaient les charges de travail à s’adapter au matériel – et non l’inverse.

L’idée de départ pour NextSilicon est née de ce défi récurrent et a soulevé la question : Et si nous pouvions inverser les choses et construire des architectures de calcul qui s’adaptent aux charges de travail, plutôt que de forcer les charges de travail à s’adapter au matériel ? Mes premières expériences avec la conception d’algorithmes et le matériel m’ont enseigné que la véritable percée viendrait de la combinaison des deux en temps réel. C’est le fondement de notre Architecture de Calcul Intelligente (ICA) et la vision directrice de NextSilicon depuis le début.

Maverick-2 est décrit comme un accélérateur de calcul intelligent qui s’adapte aux charges de travail en temps réel. Comment son architecture diffère-t-elle des GPU ou des FPGA traditionnels, et qu’est-ce qui permet ce niveau d’adaptabilité ?

Les CPU et les GPU ont transformé notre monde et nous ont bien servis. Mais ils n’ont jamais été conçus pour répondre aux exigences des charges de travail d’IA et de calcul haute performance (HPC) modernes dans des domaines tels que la science, la météorologie, l’énergie et la défense. Ces charges de travail ont des dépendances de données complexes, des modèles d’accès à la mémoire et des modèles de calcul que les processeurs actuels n’ont pas été conçus pour gérer. Le résultat est des goulets d’étranglement qui ralentissent l’innovation.

<p-La différence clé de Maverick-2 réside dans son approche novatrice qui combine un moteur de flux de données reconfigurable avec une optimisation logicielle en temps réel. La différence architecturale clé est que le matériel est configuré en fonction de votre charge de travail, et non l'inverse. Pour Maverick-2, la disponibilité des données détermine le calcul, plutôt qu'un compteur de programme qui détermine l'exécution des instructions comme dans les processeurs traditionnels. Cela nous permet de créer des unités de traitement virtuelles définies par logiciel qui peuvent être configurées et reconfigurées en temps réel pour correspondre à des modèles de charge de travail spécifiques.

Les résultats parlent d’eux-mêmes : Maverick-2 offre plus de 4 fois les performances par watt des GPU et plus de 20 fois celles des CPU, tout en réduisant les coûts d’exploitation de plus de la moitié. En conséquence, les chercheurs et les ingénieurs peuvent exécuter des simulations importantes et irrégulières plus rapidement et de manière plus efficace, débloquant des connaissances et des percées en une fraction du temps.

Vous avez signalé avoir atteint plus de 4 fois les performances par watt par rapport aux GPU et plus de 20 fois par rapport aux CPU hautes performances. Quelles sont les innovations clés qui conduisent à ces gains de performances dans les charges de travail réelles ?

Les gains de performances proviennent de quelques innovations clés qui fonctionnent ensemble.

Tout d’abord, nous nous sommes écartés du modèle de Von Neumann qui a dominé l’informatique pendant 80 ans. Au lieu d’une exécution d’instructions séquentielle, Maverick-2 utilise une architecture de flux de données où le calcul suit la disponibilité des données. C’est fondamentalement mieux adapté pour les charges de travail irrégulières et intensives en mémoire.

Deuxièmement, notre architecture auto-optimisante génère des cœurs de processeur définis par logiciel en temps réel. Le matériel s’adapte aux besoins de chaque application sans nécessiter de réécriture de code – vous obtenez l’optimisation sans la surcharge.

Troisièmement, et c’est critique : nous nous concentrons sur les performances réelles et durables, et non sur les pics théoriques. De nombreuses architectures paraissent excellentes sur le papier mais défaillent sur les charges de travail réelles. Maverick-2 maintient l’efficacité à travers l’IA, le HPC et les bases de données vectorielles en s’adaptant continuellement aux besoins de la charge de travail.

Maverick-2 prend en charge C/C++, Fortran, OpenMP et Kokkos sans nécessiter de modifications de code. Comment les développeurs ont-ils réagi à cette compatibilité, et quels sont vos plans pour prendre en charge CUDA, ROCm ou des frameworks d’IA populaires ?

Les développeurs adorent que Maverick-2 soit un véritable « remplacement direct ». Ils peuvent exécuter leurs applications existantes immédiatement sans les barrières de portage qui caractérisent cette industrie. Nous prenons actuellement en charge C/C++, Fortran, OpenMP et Kokkos, avec CUDA, ROCm et des frameworks d’IA majeurs tels que TensorFlow, JAX, PyTorch et ONNX en développement actif. Cela élimine le verrouillage des fournisseurs et les coûteuses réécritures de code, permettant aux clients d’évaluer et d’adopter de nouvelles architectures sans perturber leurs flux de travail.

Comment fonctionne l’optimisation du système basée sur la télémétrie de Maverick-2 en arrière-plan ? Qu’est-ce qui est impliqué dans le profilage et la reconfiguration de la puce en temps réel ?

Pensez à notre optimisation du système comme une boucle continue : pendant l’exécution, notre système de télémétrie mesure des centaines d’indicateurs de performance (par exemple, largeur de bande de mémoire, utilisation, profondeur de file d’attente). Toutes ces données sont alimentées dans un optimiseur en temps réel qui détermine si la configuration matérielle actuelle reste optimale pour la charge de travail et ses besoins prévus. Si ce n’est pas le cas, il peut répartir les ressources, réorganiser les chemins de données et ajuster les pipelines de calcul en continu, ce qui signifie que l’application ne s’arrête pas. Cela se produit en millisecondes, de sorte que l’application maintient une efficacité de pointe constante à mesure que son profil de calcul change.

Existe-t-il des types de charges de travail ou des cas de bord spécifiques où l’ajustement des performances en temps réel est moins efficace ou introduit des compromis en termes de latence ou de puissance ?

Toute architecture présentera des compromis. Maverick-2 excelle dans les charges de travail complexes et irrégulières avec des modèles de calcul et d’accès aux données changeants. Pour les charges de travail hautement prévisibles et à fonction fixe, un GPU bien réglé peut être très efficace sans la surcharge de l’adaptation. Dans ces cas, notre adaptabilité livre encore de solides performances, mais l’avantage relatif peut être plus petit.

La conception de NextSilicon est tout à propos de la polyvalence et de la compétitivité dans les cas simples, mais elle est transformative dans les cas difficiles.

Pourquoi avez-vous décidé de donner la priorité au marché du HPC dès le début, alors que la plupart des startups se précipitaient dans l’IA ? Comment cela a-t-il façonné votre stratégie de produit et d’entreprise ?

Le HPC représente la frontière de la complexité de calcul et de la résolution de problèmes pour les grands ensembles de données, l’accès à la mémoire irrégulier et les modèles de calcul imprévisibles. Si vous pouvez construire une architecture qui prospère là-bas – comme exécuter des simulations à l’échelle de l’exabyte dans la modélisation du climat ou la physique des particules, elle excellerait également dans l’IA.

En nous concentrant d’abord sur le HPC, nous avons prouvé Maverick-2 sur les charges de travail les plus exigeantes dans la modélisation du climat, la physique et les sciences de la vie. Cela nous a donné de la crédibilité, des données de performances réelles et un produit mature avant de nous lancer plus profondément dans les marchés de l’IA. Maintenant, nous sommes positionnés pour servir les deux, sans avoir compromis notre architecture pour capitaliser sur les tendances ou les besoins à court terme.

Maintenant que Maverick-2 est en production et déployé chez des dizaines de clients, pouvez-vous partager des exemples de son utilisation ? Des résultats ou des références spécifiques à partir de déploiements phares ?

Un exemple phare est notre déploiement au Sandia National Labs, où Maverick-2 alimente leur supercalculateur Spectra dans le cadre du programme Vanguard-II. Nous voyons des résultats de performances hors boîte impressionnants sans nécessiter de modifications de code. Nous travaillons également avec ODISSEE (Online Data Intensive Solutions for Science in the Exabytes Era), qui rassemble des institutions de recherche de premier plan pour gérer des données à l’échelle de l’exabyte provenant du collisionneur de hadrons à luminosité élevée du CERN et de l’observatoire du Square Kilometre Array. Le rôle que Maverick-2 jouera est de résoudre le défi du traitement de pétaoctets de données expérimentales brutes en une fraction du temps et de l’énergie précédemment requis. L’objectif final est de permettre des analyses de physique et des découvertes astronomiques plus rapides.

Vous avez levé plus de 300 millions de dollars, avec des tours majeures annoncées en 2021 et plus récemment. Pouvez-vous partager comment ce financement a accéléré le développement de votre produit et votre portée sur le marché ?

Le financement nous a permis de faire trois choses. Premièrement, nous pouvions pousser l’architecture plus loin, pas seulement des améliorations incrémentielles, mais des avancées fondamentales qui ont rendu Maverick-2 prêt pour la production. Deuxièmement, nous avons échelonné notre fabrication et notre chaîne d’approvisionnement pour répondre à la demande croissante, un défi non trivial pour le silicium novateur. Troisièmement, nous avons élargi notre écosystème logiciel pour permettre aux clients d’intégrer et de déployer plus rapidement.

Cela nous a également permis des partenariats stratégiques avec des centres de calcul haute performance et des fournisseurs de cloud, nous permettant de rationaliser notre processus de conception à déploiement et d’expansion beaucoup plus rapidement que les startups de matériel traditionnelles.

Dans un paysage qui comprend Cerebras (CBRS ), SambaNova et Nvidia (NVDA ), comment voyez-vous NextSilicon se positionner ? Quelle est votre approche de marché en tant que challenger ?

Nous voyons NextSilicon comme plus une entreprise technologique que comme une simple société de puces. Nous optimisons chaque charge de travail, offrons de l’adaptabilité et ne verrouillons pas les clients dans une programmation ou un matériel propriétaires. Nos clients peuvent apporter leur code existant et atteindre une accélération immédiate sans cycles de portage longs ou de verrouillage dans un écosystème unique, comme CUDA. Cela compte particulièrement à mesure que les charges de travail d’IA évoluent au-delà de la formation pure. Les modèles de raisonnement, l’inférence étendue et les fenêtres de contexte importantes nécessitent des modèles de calcul fondamentalement différents : un accès plus dynamique à la mémoire, un calcul à longueur de variable et une allocation de ressources adaptative. Ce ne sont pas des problèmes que l’on résout avec plus de la même architecture fixe.

Notre stratégie de marché se concentre sur la résolution des problèmes les plus difficiles en premier lieu : travailler avec des institutions de recherche, des laboratoires nationaux et des entreprises où les performances, l’efficacité énergétique et la flexibilité sont critiques. À partir de là, nous échelonnons vers les marchés de l’IA et des données intensives plus larges. L’industrie est dominée par des architectures fixes. Nous offrons quelque chose de différent, une adaptabilité construite dès le départ. L’IA passe d’une pure échelle à l’intelligence. Les modèles plus importants permettent un raisonnement plus intelligent, des invites courtes à une compréhension de long contexte. Dans cette transition, les architectures adaptatives ne seront pas seulement nouvelles ; elles seront essentielles.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter NextSilicon.