Andrew Feldman, medeoprichter en CEO van Cerebras Systems – Interviewreeks

Andrew is medeoprichter en CEO van Cerebras Systems (CBRS ). Hij is een ondernemer die zich inzet om de grenzen van de compute-ruimte te verleggen. Voordat hij Cerebras oprichtte, was hij medeoprichter en CEO van SeaMicro, een pionier op het gebied van energie-efficiënte, hoge-bandbreedte microservers. SeaMicro werd in 2012 door AMD overgenomen voor $357M. Voordat hij bij SeaMicro werkte, was Andrew Vice President of Product Management, Marketing en BD bij Force10 Networks, dat later door Dell Computing werd overgenomen voor $800M. Voordat hij bij Force10 Networks werkte, was Andrew Vice President of Marketing en Corporate Development bij RiverStone Networks vanaf de oprichting van het bedrijf tot de beursgang in 2001. Andrew heeft een BA en een MBA van Stanford University.

Cerebras Systems bouwt een nieuwe klasse van computersystemen, ontworpen vanuit het eerste principe voor het enige doel om AI te versnellen en de toekomst van AI-werk te veranderen.

Kunt u ons het verhaal achter Cerebras Systems vertellen?

Mijn medeoprichters en ik werkten allemaal samen bij een vorige startup die mijn CTO Gary en ik in 2007 zijn begonnen, genaamd SeaMicro (dat in 2012 door AMD voor $334 miljoen werd overgenomen). Mijn medeoprichters zijn enkele van de toonaangevende computerarchitecten en -ingenieurs in de industrie – Gary Lauterbach, Sean Lie, JP Fricker en Michael James. Toen we in 2015 weer bij elkaar kwamen, schreven we twee dingen op een whiteboard – dat we samen wilden werken en dat we iets wilden bouwen dat de industrie zou veranderen en in de Computer History Museum terecht zou komen, wat het equivalent is van de Compute Hall of Fame. We waren vereerd toen de Computer History Museum onze prestaties erkende en de WSE-2 processor aan hun collectie toevoegde, waarin werd vermeld hoe deze de kunstmatige intelligentielandschap had getransformeerd.

Cerebras Systems is een team van pionierende computerarchitecten, computerwetenschappers, onderzoekers op het gebied van diepe leertheorie en ingenieurs van alle soorten die graag fearlessly engineering doen. Onze missie toen we samenkwamen was om een nieuwe klasse van computer te bouwen om diepe leertheorie te versnellen, wat een van de belangrijkste werkbelastingen van onze tijd is geworden.

We realiseerden ons dat diepe leertheorie unieke, enorme en groeiende computationele vereisten heeft. En het is niet goed afgestemd op legacy-machines zoals graphics processing units (GPUs), die fundamenteel zijn ontworpen voor ander werk. Als gevolg daarvan wordt AI vandaag beperkt, niet door toepassingen of ideeën, maar door de beschikbaarheid van compute. Het testen van een enkel nieuw hypothese – het trainen van een nieuw model – kan dagen, weken of zelfs maanden duren en honderdduizenden dollars aan compute-tijd kosten. Dat is een grote belemmering voor innovatie.

Dus was de oorsprong van Cerebras het bouwen van een nieuw type computer, geoptimaliseerd voor diepe leertheorie, vanuit een schone lei. Om de enorme computationele eisen van diepe leertheorie te vervullen, ontwierpen en fabriceerden we de grootste chip ooit gebouwd – de Wafer-Scale Engine (WSE). Bij het creëren van de eerste wafer-schaalprocessor ter wereld, overwonnen we uitdagingen op het gebied van ontwerp, fabricage en verpakking – allemaal waren dit uitdagingen die voor de hele 70-jarige geschiedenis van computers onmogelijk werden geacht. Elk onderdeel van de WSE is ontworpen om diepe leertheorie-onderzoek te ermöglichen op ongekende snelheden en schaal, waardoor de snelste AI-supercomputer ter wereld, de Cerebras CS-2, wordt aangedreven.

Met elke component geoptimaliseerd voor AI-werk, levert de CS-2 meer compute-prestaties bij minder ruimte en minder stroom dan enig ander systeem. Het doet dit terwijl het radicaal de programmeercomplexiteit, de wandklokcompute-tijd en de tijd tot oplossing vermindert. Afhankelijk van de workload, van AI tot HPC, levert de CS-2 honderden of duizenden keer meer prestaties dan legacy-alternatieven. De CS-2 biedt de diepe leertheorie-compute-bronnen equivalent aan honderden GPUs, terwijl het de eenvoud van programmering, beheer en implementatie van een enkel apparaat biedt.

De afgelopen maanden lijkt Cerebras overal in het nieuws te zijn, kunt u ons vertellen over de nieuwe Andromeda AI-supercomputer?

We kondigden Andromeda aan in november van vorig jaar en het is een van de grootste en krachtigste AI-supercomputers ooit gebouwd. Met meer dan 1 Exaflop aan AI-compute en 120 Petaflops aan dense compute, heeft Andromeda 13,5 miljoen cores over 16 CS-2-systemen en is het de enige AI-supercomputer die ooit near-perfect lineaire schaling op grote taalmodelwerkbelastingen heeft gedemonstreerd. Het is ook extreem eenvoudig in gebruik.

Om eraan te herinneren, de grootste supercomputer op aarde – Frontier – heeft 8,7 miljoen cores. In raw core count is Andromeda meer dan een en een half keer zo groot. Het doet ander werk, maar dit geeft een idee van de omvang: bijna 100 terabits aan interne bandbreedte, bijna 20.000 AMD Epyc-cores voeden het en – in tegenstelling tot de reusachtige supercomputers die jaren nodig hebben om op te zetten – hebben we Andromeda in drie dagen opgezet en onmiddellijk daarna leverde het near-perfect lineaire schaling van AI.

Argonne National Labs was onze eerste klant die Andromeda gebruikte en ze pasten het toe op een probleem dat hun 2.000 GPU-cluster, genaamd Polaris, brak. Het probleem was het uitvoeren van zeer grote, GPT-3XL generatieve modellen, terwijl de hele Covid-genoom in het sequentievenster werd geplaatst, zodat elke gen in de context van het hele Covid-genoom kon worden geanalyseerd. Andromeda voerde een unieke genetische workload uit met lange sequentielengtes (MSL van 10K) over 1, 2, 4, 8 en 16 knooppunten, met near-perfect lineaire schaling. Lineaire schaling is een van de meest gewilde kenmerken van een grote cluster. Andromeda leverde 15,87X throughput over 16 CS-2-systemen, vergeleken met een enkel CS-2-systeem, en een reductie in trainingsduur om overeen te komen.

Kunt u ons vertellen over de samenwerking met Jasper die eind november werd aangekondigd en wat dit betekent voor beide bedrijven?

Jasper is een heel interessant bedrijf. Ze zijn een leider in generatieve AI-inhoud voor marketing en hun producten worden door meer dan 100.000 klanten over de hele wereld gebruikt om marketingtekst, advertenties, boeken en meer te schrijven. Het is duidelijk een heel spannend en snel groeiend gebied op dit moment. Vorig jaar kondigden we een samenwerking aan om de adoptie en nauwkeurigheid van generatieve AI over enterprise- en consumententoepassingen te versnellen. Jasper gebruikt onze Andromeda-supercomputer om hun uiterst computationeel intensieve modellen in een fractie van de tijd te trainen. Dit zal de reikwijdte van generatieve AI-modellen naar de massa uitbreiden.

Met de kracht van de Cerebras Andromeda-supercomputer kan Jasper dramatisch AI-werk versnellen, waaronder het trainen van GPT-netwerken om AI-uitvoer aan te passen aan alle niveaus van eindgebruikercomplexiteit en granulariteit. Dit verbetert de contextuele nauwkeurigheid van generatieve modellen en zal Jasper in staat stellen om inhoud over meerdere klassen van klanten snel en eenvoudig te personaliseren.

Onze samenwerking stelt Jasper in staat om de toekomst van generatieve AI uit te vinden, door dingen te doen die onpraktisch of onmogelijk zijn met traditionele infrastructuur, en om het potentieel van generatieve AI te versnellen, waardoor de voordelen ervan naar onze snel groeiende klantenbasis over de hele wereld worden gebracht.

In een recente persbericht werd aangekondigd dat het National Energy Technology Laboratory en het Pittsburgh Supercomputing Center de eerste ooit Computational Fluid Dynamics-simulatie op de Cerebras wafer-scale engine hebben uitgevoerd. Kunt u ons vertellen wat specifiek een wafer-scale engine is en hoe deze werkt?

Onze Wafer-Scale Engine (WSE) is de revolutionaire AI-processor voor ons diepe leertheorie-computersysteem, de CS-2. In tegenstelling tot legacy, algemene doelprocessors, is de WSE van de grond af aan gebouwd om diepe leertheorie te versnellen: het heeft 850.000 AI-geoptimaliseerde cores voor sparse tensoroperaties, enorme hoge bandbreedte op-chipgeheugen en interconnect orders van magnitude sneller dan een traditionele cluster ooit zou kunnen bereiken. Alles bij elkaar geeft het u de diepe leertheorie-compute-bronnen equivalent aan een cluster van legacy-machines, allemaal in één apparaat, eenvoudig te programmeren als één knooppunt – radicaal de programmeercomplexiteit, wandklokcompute-tijd en tijd tot oplossing vermindert.

Onze tweede generatie WSE-2, die onze CS-2-systeem aandrijft, kan problemen extreem snel oplossen. Snel genoeg om real-time, hoge-fidelitymodellen van geëngineerde systemen van belang te ermöglichen. Het is een zeldzaam voorbeeld van succesvolle “strong scaling”, wat het gebruik van parallelle verwerking is om de oplossingstijd te verminderen met een vaste probleemgrootte.

En dat is waar het National Energy Technology Laboratory en het Pittsburgh Supercomputing Center het voor gebruiken. We hebben onlangs enkele heel interessante resultaten aangekondigd van een computational fluid dynamics (CFD)-simulatie, bestaande uit ongeveer 200 miljoen cellen, op near-real-time tarieven. Deze video toont de hoogresolutiesimulatie van Rayleigh-Bénard-convectie, die optreedt wanneer een vloeistoflaag van onderen wordt verwarmd en van boven wordt afgekoeld. Deze thermisch gedreven vloeistofstromen zijn overal om ons heen – van winderige dagen tot lake-effect sneeuwstormen, tot magmastromen in de aardkern en plasma-beweging in de zon. Zoals de verteller zegt, is het niet alleen de visuele schoonheid van de simulatie die belangrijk is: het is de snelheid waarmee we het kunnen berekenen. Voor het eerst kan het National Energy Technology Laboratory, met behulp van onze Wafer-Scale Engine, een rooster van bijna 200 miljoen cellen in near-real-time manipuleren.

Wat voor soort gegevens worden gesimuleerd?

De workload die getest werd, waren thermisch gedreven vloeistofstromen, ook bekend als natuurlijke convectie, wat een toepassing van computational fluid dynamics (CFD) is. Vloeistofstromen komen van nature overal om ons heen voor – van winderige dagen tot lake-effect sneeuwstormen, tot tectonische plaatbeweging. Deze simulatie, bestaande uit ongeveer 200 miljoen cellen, richt zich op een fenomeen dat bekend staat als “Rayleigh-Bénard”-convectie, dat optreedt wanneer een vloeistof van onderen wordt verwarmd en van boven wordt afgekoeld. In de natuur kan dit fenomeen leiden tot ernstige weersomstandigheden zoals downbursts, microbursts en derechos. Het is ook verantwoordelijk voor magma-beweging in de aardkern en plasma-beweging in de zon.

Terug in november 2022 introduceerde het National Energy Technology Laboratory een nieuwe veldvergelijking-API, aangedreven door het CS-2-systeem, die tot 470 keer sneller was dan wat mogelijk was op het Joule Supercomputer van het National Energy Technology Laboratory. Dit betekent dat het snelheden kan leveren die verder gaan dan wat clusters van CPUs of GPUs kunnen bereiken. Met behulp van een eenvoudige Python-API die wafer-schaalverwerking ermöglicht voor een groot deel van de computationele wetenschap, levert WFA prestatie- en gebruikersgemak winsten die niet op conventionele computers en supercomputers kunnen worden behaald – in feite overtrof het OpenFOAM op het Joule 2.0-supercomputer van het National Energy Technology Laboratory met meer dan twee orders van magnitude in tijd tot oplossing.

Vanwege de eenvoud van de WFA-API werden de resultaten in slechts een paar weken behaald en zetten ze de nauwe samenwerking tussen het National Energy Technology Laboratory, het Pittsburgh Supercomputing Center en Cerebras Systems voort.

Door de snelheid van CFD (die altijd een langzame, off-line taak is geweest) op onze WSE te transformeren, kunnen we een hele reeks nieuwe, real-time toepassingen voor dit en veel andere core HPC-toepassingen openen. Ons doel is dat door meer compute-kracht te ermöglichen, onze klanten meer experimenten kunnen uitvoeren en betere wetenschap kunnen uitvinden. De labdirecteur van het National Energy Technology Laboratory, Brian Anderson, heeft ons verteld dat dit de ontwerp- en ontwikkelingsprocessen voor enkele grote projecten waar het National Energy Technology Laboratory aan werkt om klimaatverandering te mitigeren en een veilige energietoekomst te ermöglichen, aanzienlijk zal versnellen en verbeteren – projecten zoals koolstofopslag en blauwe waterstofproductie.

Cerebras presteert consistent beter dan de concurrentie als het gaat om het uitbrengen van supercomputers, wat zijn enkele van de uitdagingen achter het bouwen van state-of-the-art supercomputers?

Ironisch genoeg is een van de moeilijkste uitdagingen van grote AI niet de AI zelf. Het is de gedistribueerde compute.

Om de state-of-the-art neurale netwerken van vandaag te trainen, gebruiken onderzoekers vaak honderden tot duizenden graphics processing units (GPUs). En het is niet gemakkelijk. Het schalen van grote taalmodeltraining over een cluster van GPUs vereist het distribueren van een workload over veel kleine apparaten, het omgaan met apparaatgeheugengroottes en geheugenbandbreedtebeperkingen, en het zorgvuldig beheren van communicatie- en synchronisatieoverhead.

We hebben een heel andere aanpak gekozen voor het ontwerpen van onze supercomputers door de ontwikkeling van de Cerebras Wafer-Scale Cluster en de Cerebras Weight Streaming execution mode. Met deze technologieën adresseert Cerebras een nieuwe manier van schalen op basis van drie sleutelpunten:

De vervanging van CPU- en GPU-verwerking door wafer-schaalaccelerators zoals het Cerebras CS-2-systeem. Deze verandering vermindert het aantal compute-eenheden dat nodig is om een aanvaardbare computesnelheid te bereiken.

Om de uitdaging van modelgrootte aan te pakken, gebruiken we een systeemarchitectuur die compute van modelopslag scheidt. Een compute-service op basis van een cluster van CS-2-systemen (die voldoende compute-bandbreedte biedt) is nauw verbonden met een memory-service (met een grote geheugencapaciteit) die subsets van het model aan de compute-cluster op aanvraag levert. Zoals gebruikelijk levert een data-service batches van trainingsgegevens aan de compute-service als nodig.

Een innovatief model voor het plannen en coördineren van trainingswerk over de CS-2-cluster dat data-parallelle verwerking, laag-voor-laag training met sparse gewichten die op aanvraag worden gestreamd, en het behoud van activaties in de compute-service gebruikt.

Er is al bijna een decennium lang angst voor het einde van de wet van Moore, hoeveel jaar kan de industrie nog uitknijpen en welke soorten innovaties zijn nodig voor dit?

Ik denk dat de vraag waar we allemaal mee worstelen is of de wet van Moore – zoals geschreven door Moore – dood is. Het duurt nu niet meer twee jaar om meer transistors te krijgen. Het duurt nu vier of vijf jaar. En die transistors komen niet tegen dezelfde prijs – ze komen tegen een veel hogere prijs. Dus de vraag wordt, krijgen we nog steeds dezelfde voordelen van het verplaatsen van zeven naar vijf naar drie nanometer? De voordelen zijn kleiner en ze kosten meer, en dus worden de oplossingen ingewikkelder dan alleen de chip.

Jack Dongarra, een toonaangevende computerarchitect, gaf onlangs een toespraak en zei: “We zijn veel beter geworden in het maken van FLOPs en in het maken van I/O.” Dat is echt waar. Onze mogelijkheid om gegevens van de chip af te halen, houdt geen gelijke tred met onze mogelijkheid om de prestaties op een chip te verhogen. Bij Cerebras waren we blij toen hij dat zei, omdat het onze beslissing om een grotere chip te maken en minder dingen van de chip af te halen, valideert. Het biedt ook enige richting voor toekomstige manieren om systemen met chips beter te laten presteren. Er moet nog veel werk worden verzet, niet alleen in het wringen van meer FLOPs, maar ook in technieken om ze te verplaatsen en om de gegevens van chip tot chip te verplaatsen – zelfs van een heel grote chip naar een heel grote chip.

Is er nog iets anders dat u over Cerebras Systems wilt delen?

Om het goed of slecht te zeggen, mensen plaatsen Cerebras vaak in de categorie “de grote chipjongens”. We zijn in staat geweest om overtuigende oplossingen te bieden voor zeer grote neurale netwerken, waardoor de noodzaak om pijnlijke gedistribueerde computing te doen, wordt geëlimineerd. Ik geloof dat dit enorm interessant is en dat het de reden is waarom onze klanten van ons houden. Het interessante domein voor 2023 zal zijn hoe we grote compute naar een hoger niveau van nauwkeurigheid kunnen brengen, met minder FLOPs.

Ons werk op sparsity biedt een extreem interessante aanpak. We doen geen werk dat ons niet dichter bij de finishlijn brengt, en vermenigvuldigen met nul is een slecht idee. We zullen binnenkort een heel interessant artikel over sparsity publiceren en ik denk dat er meer inspanningen zullen worden geleverd om te kijken hoe we deze efficiënte punten kunnen bereiken, en hoe we dit kunnen doen met minder stroom. En niet alleen met minder stroom en training; hoe kunnen we de kosten en stroom die worden gebruikt voor inferentie minimaliseren? Ik denk dat sparsity op beide fronten helpt.

Dank u voor deze diepgaande antwoorden, lezers die meer willen leren, kunnen Cerebras Systems bezoeken.