Andrew Feldman, co-fondateur et PDG de Cerebras Systems – Série d’entretiens

Andrew est co-fondateur et PDG de Cerebras Systems (CBRS ). Il est un entrepreneur dédié à repousser les limites de l’espace de calcul. Avant Cerebras, il a co-fondé et a été PDG de SeaMicro, un pionnier des micro-serveurs économes en énergie et à bande passante élevée. SeaMicro a été acquis par AMD en 2012 pour 357 millions de dollars. Avant SeaMicro, Andrew était vice-président de la gestion de produits, du marketing et du développement commercial chez Force10 Networks, qui a ensuite été vendu à Dell Computing pour 800 millions de dollars. Avant Force10 Networks, Andrew était vice-président du marketing et du développement commercial chez RiverStone Networks, de la création de l’entreprise à son introduction en bourse en 2001. Andrew est titulaire d’un BA et d’un MBA de l’Université Stanford.

Cerebras Systems est en train de construire une nouvelle classe de systèmes informatiques, conçus desde les premiers principes pour l’objectif unique d’accélérer l’IA et de changer l’avenir du travail de l’IA.

Pouvez-vous partager l’histoire de la genèse derrière Cerebras Systems ?

Mes co-fondateurs et moi avons tous travaillé ensemble dans une startup précédente que mon CTO Gary et moi avons lancée en 2007, appelée SeaMicro (qui a été vendue à AMD en 2012 pour 334 millions de dollars). Mes co-fondateurs sont certains des principaux architectes et ingénieurs informatiques de l’industrie – Gary Lauterbach, Sean Lie, JP Fricker et Michael James. Lorsque nous nous sommes réunis à nouveau en 2015, nous avons écrit deux choses sur un tableau blanc – que nous voulions travailler ensemble, et que nous voulions construire quelque chose qui transformerait l’industrie et serait dans le Musée de l’histoire de l’informatique, qui est l’équivalent du Temple de la renommée de l’informatique. Nous avons été honorés lorsque le Musée de l’histoire de l’informatique a reconnu nos réalisations et a ajouté le processeur WSE-2 à sa collection l’année dernière, en citant la façon dont il a transformé le paysage de l’intelligence artificielle.

Cerebras Systems est une équipe de pionniers de l’informatique, de scientifiques en informatique, de chercheurs en apprentissage automatique et d’ingénieurs de tous types qui aiment faire de l’ingénierie sans crainte. Notre mission, lorsqu’on s’est réunis, était de construire une nouvelle classe d’ordinateurs pour accélérer l’apprentissage automatique, qui est devenu l’un des plus importants travaux de notre époque.

Nous avons réalisé que l’apprentissage automatique a des exigences computationnelles uniques, massives et en constante augmentation. Et il n’est pas bien adapté aux machines héritées comme les unités de traitement graphique (GPUs), qui ont été fondamentalement conçues pour d’autres travaux. En conséquence, l’IA d’aujourd’hui est limitée non pas par les applications ou les idées, mais par la disponibilité du calcul. Tester une nouvelle hypothèse – former un nouveau modèle – peut prendre des jours, des semaines ou même des mois et coûter des centaines de milliers de dollars en temps de calcul. C’est un obstacle majeur à l’innovation.

Donc, la genèse de Cerebras a été de construire un nouveau type d’ordinateur optimisé exclusivement pour l’apprentissage automatique, à partir d’une feuille de papier vierge. Pour répondre aux énormes exigences computationnelles de l’apprentissage automatique, nous avons conçu et fabriqué le plus grand circuit intégré jamais construit – le Wafer-Scale Engine (WSE). En créant le premier processeur à l’échelle de la wafer du monde, nous avons surmonté des défis dans la conception, la fabrication et le conditionnement – tous lesquels avaient été considérés comme impossibles pour l’ensemble des 70 années d’histoire de l’informatique. Chaque élément du WSE est conçu pour permettre la recherche en apprentissage automatique à des vitesses et à une échelle sans précédent, alimentant le supercalculateur d’IA le plus rapide de l’industrie, le Cerebras CS-2.

Avec chaque composant optimisé pour le travail d’IA, le CS-2 offre plus de performances de calcul à moins d’espace et moins de puissance que tout autre système. Il le fait tout en réduisant radicalement la complexité de la programmation, le temps de calcul et le temps de résolution. Selon la charge de travail, de l’IA à la haute performance informatique, le CS-2 offre des performances plusieurs centaines ou milliers de fois supérieures à celles des alternatives héritées. Le CS-2 fournit les ressources de calcul d’IA équivalentes à celles de centaines de GPUs, tout en offrant la facilité de programmation, de gestion et de déploiement d’un seul appareil.

Il y a quelques mois, Cerebras semblait être partout dans les actualités, qu’est-ce que vous pouvez nous dire sur le nouveau supercalculateur d’IA Andromeda ?

Nous avons annoncé Andromeda en novembre de l’année dernière, et c’est l’un des plus grands et des plus puissants supercalculateurs d’IA jamais construits. Offrant plus d’un exaflop de calcul d’IA et 120 petaflops de calcul dense, Andromeda dispose de 13,5 millions de cœurs sur 16 systèmes CS-2, et est le seul supercalculateur d’IA à avoir jamais démontré une mise à l’échelle linéaire presque parfaite pour les charges de travail de modèles de langage à grande échelle. Il est également très simple à utiliser.

À titre de rappel, le plus grand supercalculateur de la Terre – Frontier – a 8,7 millions de cœurs. En nombre de cœurs brut, Andromeda est plus d’une fois et demie plus grand. Il fait un travail différent, bien sûr, mais cela donne une idée de l’ampleur : près de 100 téraoctets de bande passante interne, près de 20 000 cœurs AMD Epyc l’alimentent, et – contrairement aux géants supercalculateurs qui prennent des années à se mettre en place – nous avons mis Andromeda en place en trois jours et, immédiatement après, il a fourni une mise à l’échelle linéaire presque parfaite de l’IA.

Le laboratoire national d’Argonne a été notre premier client à utiliser Andromeda, et ils l’ont appliqué à un problème qui cassait leur cluster de 2 000 GPUs appelé Polaris. Le problème consistait à exécuter de très grands modèles génératifs GPT-3XL, tout en plaçant l’ensemble du génome Covid dans la fenêtre de séquence, afin que vous puissiez analyser chaque gène dans le contexte de l’ensemble du génome de Covid. Andromeda a exécuté une charge de travail génétique unique avec des longueurs de séquence longues (MSL de 10 000) sur 1, 2, 4, 8 et 16 nœuds, avec une mise à l’échelle linéaire presque parfaite. La mise à l’échelle linéaire est l’une des caractéristiques les plus recherchées d’un grand cluster. Andromeda a fourni 15,87 fois le débit sur 16 systèmes CS-2, par rapport à un seul CS-2, et une réduction du temps de formation pour correspondre.

Pouvez-vous nous parler du partenariat avec Jasper qui a été dévoilé fin novembre et ce que cela signifie pour les deux entreprises ?

Jasper est une entreprise vraiment intéressante. Ils sont des leaders dans le contenu d’IA génératif pour le marketing, et leurs produits sont utilisés par plus de 100 000 clients dans le monde pour écrire des copies pour le marketing, les publicités, les livres et plus encore. C’est évidemment un espace très excitant et en pleine croissance en ce moment. L’année dernière, nous avons annoncé un partenariat avec eux pour accélérer l’adoption et améliorer la précision de l’IA générative dans les applications d’entreprise et de consommation. Jasper utilise notre supercalculateur Andromeda pour former ses modèles extrêmement intensifs en calcul dans une fraction du temps. Cela étendra la portée des modèles d’IA générative à la masse.

Avec la puissance du supercalculateur Andromeda de Cerebras, Jasper peut avancer de manière spectaculaire dans le travail d’IA, notamment la formation de réseaux GPT pour adapter les sorties d’IA à tous les niveaux de complexité et de granularité de l’utilisateur final. Cela améliore la précision contextuelle des modèles génératifs et permettra à Jasper de personnaliser le contenu à travers plusieurs classes de clients rapidement et facilement.

Notre partenariat permet à Jasper d’inventer l’avenir de l’IA générative, en faisant des choses qui sont impossibles ou impraticables avec les infrastructures traditionnelles, et d’accélérer le potentiel de l’IA générative, en apportant ses avantages à notre base de clients en constante croissance dans le monde.

Dans un communiqué de presse récent, le National Energy Technology Laboratory et le Pittsburgh Supercomputing Center ont annoncé la première simulation de dynamique des fluides computationnelle sur le moteur à l’échelle de la wafer de Cerebras. Pouvez-vous décrire ce qu’est spécifiquement un moteur à l’échelle de la wafer et comment il fonctionne ?

Notre Wafer-Scale Engine (WSE) est le processeur d’IA révolutionnaire pour notre système informatique d’apprentissage automatique, le CS-2. Contrairement aux processeurs généraux hérités, le WSE a été construit dès le départ pour accélérer l’apprentissage automatique : il dispose de 850 000 cœurs optimisés pour les opérations de tenseurs creux, d’une mémoire à grande bande passante sur puce et d’interconnexions dont la vitesse est plusieurs ordres de grandeur supérieure à celle qu’un cluster traditionnel pourrait atteindre. Tout cela nous donne les ressources de calcul d’IA équivalentes à un cluster de machines héritées dans un seul appareil, facile à programmer comme un seul nœud – réduisant radicalement la complexité de la programmation, le temps de calcul et le temps de résolution.

Notre deuxième génération de WSE-2, qui alimente notre système CS-2, peut résoudre des problèmes extrêmement rapidement. Assez rapidement pour permettre des modèles en temps réel et de haute fidélité de systèmes ingénieurs. C’est un exemple rare de « forte mise à l’échelle », qui est l’utilisation du parallélisme pour réduire le temps de résolution avec un problème de taille fixe.

Et c’est ce que le National Energy Technology Laboratory et le Pittsburgh Supercomputing Center utilisent. Nous venons d’annoncer des résultats vraiment passionnants d’une simulation de dynamique des fluides computationnelle, composée d’environ 200 millions de cellules, à des taux quasi en temps réel. Cette vidéo montre la simulation à haute résolution de la convection de Rayleigh-Bénard, qui se produit lorsqu’une couche de fluide est chauffée desde le bas et refroidie desde le haut. Ces flux de fluide thermiquement entraînés sont partout autour de nous – depuis les jours venteux, jusqu’aux tempêtes de neige du lac, en passant par les mouvements de magma dans le noyau terrestre et les mouvements de plasma dans le soleil. Comme le narrateur le dit, ce n’est pas seulement la beauté visuelle de la simulation qui est importante : c’est la vitesse à laquelle nous pouvons la calculer. Pour la première fois, en utilisant notre Wafer-Scale Engine, le NETL est capable de manipuler une grille de près de 200 millions de cellules en quasi-temps réel.

Quel type de données est simulé ?

La charge de travail testée était les flux de fluide thermiquement entraînés, également appelés convection naturelle, qui est une application de la dynamique des fluides computationnelle. Les flux de fluide se produisent naturellement partout autour de nous — depuis les jours venteux, jusqu’aux tempêtes de neige du lac, en passant par les mouvements de plaques tectoniques. Cette simulation, composée d’environ 200 millions de cellules, se concentre sur un phénomène appelé « convection de Rayleigh-Bénard », qui se produit lorsqu’un fluide est chauffé desde le bas et refroidi desde le haut. Dans la nature, ce phénomène peut conduire à des événements météorologiques graves comme les downbursts, les microbursts et les derechos. C’est également responsable du mouvement de magma dans le noyau terrestre et du mouvement de plasma dans le soleil.

En novembre 2022, le NETL a introduit une nouvelle API de modélisation d’équations de champ, alimentée par le système CS-2, qui était jusqu’à 470 fois plus rapide que ce qui était possible sur le supercalculateur Joule du NETL. Cela signifie qu’il pouvait atteindre des vitesses au-delà de celles qu’un cluster de CPU ou de GPU pourrait atteindre. En utilisant une API Python simple qui permet le traitement à l’échelle de la wafer pour une grande partie de la science computationnelle, WFA offre des gains en termes de performances et d’utilisabilité qui ne pouvaient pas être obtenus sur les ordinateurs et les supercalculateurs conventionnels – en fait, il a surpassé OpenFOAM sur le supercalculateur Joule 2.0 du NETL de plus de deux ordres de grandeur en termes de temps de résolution.

En raison de la simplicité de l’API WFA, les résultats ont été obtenus en quelques semaines et poursuivent la collaboration étroite entre le NETL, le PSC et Cerebras Systems.

En transformant la vitesse de la dynamique des fluides computationnelle (qui a toujours été une tâche lente et hors ligne) sur notre WSE, nous pouvons ouvrir un large éventail de nouveaux cas d’utilisation en temps réel pour cela, et de nombreuses autres applications HPC de base. Notre objectif est que, en permettant plus de puissance de calcul, nos clients puissent effectuer plus d’expériences et inventer une meilleure science. Le directeur du laboratoire NETL, Brian Anderson, nous a dit que cela accélérera considérablement et améliorera le processus de conception pour certains grands projets sur lesquels le NETL travaille pour atténuer le changement climatique et assurer un avenir énergétique sécurisé – des projets tels que la séquestration du carbone et la production d’hydrogène bleu.

Cerebras est constamment en tête de la concurrence lorsqu’il s’agit de lancer des supercalculateurs, quels sont les défis derrière la construction de supercalculateurs de pointe ?

Ironiquement, l’un des plus grands défis du grand IA n’est pas l’IA. C’est le calcul distribué.

Pour former les réseaux de neurones de pointe d’aujourd’hui, les chercheurs utilisent souvent des centaines à des milliers d’unités de traitement graphique (GPUs). Et ce n’est pas facile. La mise à l’échelle de la formation de modèles de langage à grande échelle sur un cluster de GPUs nécessite de distribuer une charge de travail sur de nombreux petits appareils, de gérer les tailles de mémoire des appareils et les contraintes de bande passante de la mémoire, et de gérer soigneusement les communications et les synchronisations.

Nous avons adopté une approche complètement différente pour concevoir nos supercalculateurs grâce au développement du cluster à l’échelle de la wafer de Cerebras, et du mode d’exécution de streaming de poids de Cerebras. Avec ces technologies, Cerebras aborde une nouvelle façon de mettre à l’échelle basée sur trois points clés :

Le remplacement du traitement par CPU et GPU par des accélérateurs à l’échelle de la wafer tels que le système Cerebras CS-2. Ce changement réduit le nombre d’unités de calcul nécessaires pour atteindre une vitesse de calcul acceptable.

Pour relever le défi de la taille du modèle, nous employons une architecture de système qui dissocie le calcul de la mémoire du modèle. Un service de calcul basé sur un cluster de systèmes CS-2 (fournissant une bande passante de calcul suffisante) est étroitement couplé à un service de mémoire (avec une grande capacité de mémoire) qui fournit des sous-ensembles du modèle au cluster de calcul à la demande. Comme d’habitude, un service de données sert des lots de données de formation au service de calcul selon les besoins.

Un modèle innovant pour la planification et la coordination de la formation de travail sur le cluster CS-2 qui emploie le parallélisme des données, la formation étape par étape avec des poids creux transmis à la demande, et la conservation des activations dans le service de calcul.

Il y a des craintes quant à la fin de la loi de Moore depuis près d’une décennie, combien d’années encore l’industrie peut-elle serrer et quels types d’innovations sont nécessaires pour cela ?

Je pense que la question à laquelle nous sommes tous confrontés est de savoir si la loi de Moore – telle que l’a écrite Moore – est morte. Ce n’est plus en deux ans que l’on obtient plus de transistors. Cela prend maintenant quatre ou cinq ans. Et ces transistors n’arrivent pas au même prix – ils arrivent à des prix nettement plus élevés. Donc, la question devient : sommes-nous toujours en train d’obtenir les mêmes avantages en passant de 7 à 5 à 3 nanomètres ? Les avantages sont plus petits et ils coûtent plus cher, et les solutions deviennent plus compliquées que simplement le circuit intégré.

Jack Dongarra, un architecte informatique de premier plan, a donné un discours récemment et a dit : « Nous sommes devenus beaucoup meilleurs pour faire des FLOPs et pour faire des I/O. » C’est vraiment vrai. Notre capacité à déplacer des données hors de la puce est en retard par rapport à notre capacité à augmenter les performances sur une puce d’un grand nombre. Chez Cerebras, nous étions heureux lorsqu’il a dit cela, car cela valide notre décision de faire un plus grand circuit intégré et de déplacer moins de choses hors de la puce. Cela fournit également des conseils sur les moyens futurs de faire fonctionner les systèmes avec des circuits intégrés pour améliorer les performances. Il y a du travail à faire, non seulement pour obtenir plus de FLOPs, mais aussi pour déplacer les données d’une puce à une autre puce – même d’une très grande puce à une très grande puce.

Y a-t-il autre chose que vous aimeriez partager sur Cerebras Systems ?

Pour le meilleur ou pour le pire, les gens mettent souvent Cerebras dans cette catégorie de « les gars du très grand circuit intégré ». Nous avons pu fournir des solutions convaincantes pour les très grands réseaux de neurones, éliminant ainsi le besoin de faire un calcul distribué douloureux. Je pense que c’est énormément intéressant et qu’il est au cœur de pourquoi nos clients nous aiment. Le domaine intéressant pour 2023 sera de savoir comment faire du grand calcul pour atteindre un niveau d’exactitude plus élevé, en utilisant moins de FLOPs.

Notre travail sur la rareté offre une approche extrêmement intéressante. Nous ne faisons pas de travail qui ne nous amène pas vers la ligne de but, et multiplier par zéro est une mauvaise idée. Nous allons publier un article très intéressant sur la rareté bientôt, et je pense qu’il y aura plus d’efforts pour regarder comment nous pouvons atteindre ces points efficaces, et comment nous pouvons le faire avec moins de puissance. Et pas seulement pour moins de puissance et de formation ; comment pouvons-nous minimiser le coût et la puissance utilisés dans l’inférence ? Je pense que la rareté aide sur les deux fronts.

Je vous remercie pour ces réponses approfondies, les lecteurs qui souhaitent en savoir plus peuvent visiter Cerebras Systems.