Jay Dawani is mede-oprichter en CEO van Lemurian Labs – Interviewreeks

Jay Dawani is mede-oprichter en CEO van Lemurian Labs. Lemurian Labs heeft als missie om betaalbare, toegankelijke en efficiënte AI-computers te leveren, gedreven door de overtuiging dat AI geen luxe moet zijn, maar een instrument dat voor iedereen toegankelijk moet zijn. Het oprichtingsteam van Lemurian Labs combineert expertise in AI, compilers, numerieke algoritmen en computerarchitectuur, verenigd door een enkel doel: om versneld rekenen opnieuw uit te vinden.

Kunt u ons meenemen door uw achtergrond en wat u in AI heeft geïnteresseerd?

Absoluut. Ik programmeerde al sinds mijn 12e en bouwde mijn eigen games en dergelijke, maar ik raakte eigenlijk geïnteresseerd in AI toen ik 15 was vanwege een vriend van mijn vader die geïnteresseerd was in computers. Hij voedde mijn nieuwsgierigheid en gaf me boeken om te lezen zoals Von Neumanns ‘De computer en de hersenen’, Minsky’s ‘Perceptrons’, Russel en Norvigs ‘AI: een moderne benadering’. Deze boeken hebben mijn denken veel beïnvloed en het leek toen bijna vanzelfsprekend dat AI transformerend zou zijn en dat ik deel moest uitmaken van dit veld.

Toen het tijd werd voor de universiteit, wilde ik echt AI studeren, maar ik vond geen universiteiten die dat aanboden, dus besloot ik toegepaste wiskunde te studeren en niet lang daarna hoorde ik over de resultaten van AlexNet op ImageNet, wat echt spannend was. Op dat moment had ik een soort ‘nu of nooit’-moment in mijn hoofd en ging ik volledig op in het lezen van elk papier en elke boek die ik te pakken kon krijgen over neurale netwerken en zocht alle leiders in het veld op om van hen te leren, want hoe vaak krijg je de kans om erbij te zijn bij de geboorte van een nieuwe industrie en van de pioniers te leren.

Al snel realiseerde ik me dat ik geen onderzoek doe, maar ik wel geniet van het oplossen van problemen en het bouwen van AI-geactiveerde producten. Dat leidde ertoe dat ik werkte aan autonome auto’s en robots, AI voor materiaalontdekking, generatieve modellen voor multi-fysica-simulaties, AI-gebaseerde simulators voor het trainen van professionele raceauto-chauffeurs en het helpen bij auto-instellingen, space-robots, algoritmische handel en veel meer.

Nu, na al dit te hebben gedaan, probeer ik de kosten van AI-training en -implementatie in te dammen, omdat dat de grootste hindernis zal zijn die we tegenkomen op onze weg naar het mogelijk maken van een wereld waarin elke persoon en elk bedrijf toegang kan hebben tot en kan profiteren van AI op de meest economische manier mogelijk.

Veel bedrijven die werken aan versneld rekenen hebben oprichters die carrières hebben opgebouwd in halfgeleiders en infrastructuur. Hoe denkt u dat uw eerdere ervaring in AI en wiskunde uw vermogen beïnvloedt om de markt te begrijpen en effectief te concurreren?

Ik denk eigenlijk dat niet uit de industrie komen me het voordeel geeft van de buitenstaander. Ik heb het vaak meegemaakt dat niet weten van industrienormen of conventionele wijsheid me de vrijheid geeft om vrijer te onderzoeken en dieper te gaan dan de meeste anderen, omdat je niet gehinderd wordt door vooroordelen.

Ik heb de vrijheid om ‘domme’ vragen te stellen en aannamen te testen op een manier die anderen niet zouden doen, omdat veel dingen als vanzelfsprekend worden aanvaard. In de afgelopen twee jaar heb ik verschillende gesprekken gehad met mensen in de industrie die heel dogmatisch zijn over iets, maar ze kunnen me niet vertellen waar het idee vandaan komt, wat ik heel verwarrend vind. Ik wil begrijpen waarom bepaalde keuzes zijn gemaakt, en wat de aannamen of voorwaarden waren op dat moment en of ze nog steeds gelden.

Vanuit mijn AI-achtergrond neig ik ertoe om een softwarevisie te hebben door te kijken naar waar de workloads vandaag zijn, en hier zijn alle mogelijke manieren waarop ze in de loop van de tijd kunnen veranderen, en het hele ML-pipeline voor training en inferentie te modelleren om de knelpunten te begrijpen, wat me vertelt waar de kansen liggen om waarde te leveren. En omdat ik een wiskundige achtergrond heb, hou ik van modelleren om zo dicht mogelijk bij de waarheid te komen, en dat gebruiken als leidraad. Bijvoorbeeld, we hebben modellen gebouwd om systeemprestaties te berekenen voor de totale kosten van eigendom en we kunnen de voordelen meten die we klanten kunnen bieden met software en/of hardware en beter begrijpen wat onze beperkingen zijn en de verschillende knoppen die voor ons beschikbaar zijn, en tientallen andere modellen voor allerlei dingen. We zijn heel gegevensgedreven en gebruiken de inzichten uit deze modellen om onze inspanningen en compromissen te leiden.

Het lijkt erop dat de vooruitgang in AI voornamelijk is gekomen van schaalvergroting, wat exponentieel meer rekenkracht en energie vereist. Het lijkt erop dat we in een wapenwedloop zitten met elk bedrijf dat probeert de grootste model te bouwen, en er lijkt geen einde aan te komen. Denkt u dat er een uitweg is?

Er zijn altijd manieren. Schaalvergroting heeft zich extreem nuttig bewezen, en ik denk niet dat we het einde nog hebben gezien. We zullen binnenkort modellen zien die getraind worden met een kosten van tenminste een miljard dollar. Als je een leider wilt zijn in generatieve AI en baanbrekende foundation-modellen wilt creëren, moet je tenminste een paar miljard per jaar uitgeven aan rekenkracht. Nu zijn er natuurlijke grenzen aan schaalvergroting, zoals het kunnen construeren van een groot genoeg dataset voor een model van die grootte, toegang krijgen tot mensen met de juiste know-how, en toegang krijgen tot voldoende rekenkracht.

De voortdurende schaalvergroting van modelgrootte is onvermijdelijk, maar we kunnen de hele aardoppervlakte niet omvormen tot een planeetgrote supercomputer om LLM’s te trainen en te serveren voor voor de hand liggende redenen. Om dit onder controle te krijgen, hebben we verschillende knoppen die we kunnen bedienen: betere datasets, nieuwe modelarchitecturen, nieuwe trainingsmethoden, betere compilers, algoritmische verbeteringen en exploitering, betere computerarchitecturen, enz. Als we dat allemaal doen, is er ongeveer drie ordes van grootte van verbetering te vinden. Dat is de beste manier om hier uit te komen.

U bent een voorstander van first principles denken, hoe vormt dit uw mindset voor hoe u Lemurian Labs runt?

We passen zeker veel first principles denken toe bij Lemurian. Ik heb altijd gevonden dat conventionele wijsheid misleidend is omdat die kennis werd gevormd op een bepaald moment in de tijd toen bepaalde aannamen golden, maar dingen veranderen altijd en je moet aannamen vaak opnieuw testen, vooral in een snel veranderende wereld.

Ik stel mezelf vaak vragen zoals ‘dit lijkt een heel goed idee, maar waarom zou dit niet werken’, of ‘wat moet waar zijn om dit te laten werken’, of ‘wat weten we dat absolute waarheden zijn en wat zijn de aannamen die we maken en waarom?’, of ‘waarom geloven we dat deze benadering de beste manier is om dit probleem op te lossen’. Het doel is om ideeën zo snel en goedkoop mogelijk te weerleggen en te doden. We willen proberen het aantal dingen dat we op een gegeven moment proberen te maximaliseren. Het gaat erom dat we geobsedeerd zijn door het probleem dat moet worden opgelost, en niet te veel van mening zijn over welke technologie het beste is. Te veel mensen hebben de neiging om te veel te focussen op de technologie en ze eindigen met het misverstaan van de problemen van de klant en missen de overgangen in de industrie die hun aanpak kunnen ongeldig maken en ze onvermogen om aan te passen aan de nieuwe staat van de wereld.

Maar first principles denken is niet heel nuttig op zichzelf. We hebben de neiging om dit te combineren met backcasting, wat eigenlijk betekent dat je je een ideale of gewenste toekomstige uitkomst voorstelt en terugwerkt om de verschillende stappen of acties te identificeren die nodig zijn om dit te realiseren. Dit zorgt ervoor dat we convergeren naar een zinvolle oplossing die niet alleen innovatief is, maar ook geworteld is in de realiteit. Het heeft geen zin om tijd te besteden aan het creëren van de perfecte oplossing, alleen om later te realiseren dat het niet haalbaar is om het te bouwen vanwege verschillende wereldwijde beperkingen zoals middelen, tijd, regelgeving, of het creëren van een ogenschijnlijk perfecte oplossing, maar later ontdekken dat je het te moeilijk hebt gemaakt voor klanten om het te adopteren.

Soms vinden we onszelf in een situatie waarin we een beslissing moeten nemen, maar we hebben geen gegevens, en in dit scenario passen we minimum testbare hypothesen toe, die ons een signaal geven of iets de moeite waard is om na te streven met de minste hoeveelheid energie-uitgaven.

Alles bij elkaar geeft ons wendbaarheid, snelle iteratiecycli om items snel te de-risicoën, en heeft ons geholpen om strategieën aan te passen met hoge vertrouwen, en veel vooruitgang te boeken op heel moeilijke problemen in een heel korte tijd.

Aanvankelijk richtte u zich op edge AI, wat heeft u doen herfocussen en pivoteren naar cloud computing?

We begonnen met edge AI omdat ik op dat moment heel gefocust was op het proberen op te lossen van een heel specifiek probleem dat ik had ondervonden bij het proberen een wereld van algemene autonome robots tot stand te brengen. Autonome robots beloven de grootste platformshift in onze collectieve geschiedenis te zijn, en het leek alsof we alles nodig hadden om een foundation-model voor robots te bouwen, maar we misten de ideale inferentie-chip met de juiste balans tussen doorvoer, latentie, energoefficiëntie en programmeerbaarheid om het foundation-model te draaien.

Ik dacht niet aan het datacenter op dat moment, omdat er meer dan genoeg bedrijven daarop focusten en ik verwachtte dat ze het wel zouden oplossen. We ontwierpen een heel krachtige architectuur voor deze applicatie en waren klaar om het te tappen, en toen werd het overduidelijk dat de wereld was veranderd en het probleem echt in het datacenter zat. Het tempo waarin LLM’s schaalvergroting en rekenkracht verbruiken, overtreft de vooruitgang in computing, en wanneer je adoptie meeneemt, begint het een zorgwekkend beeld te schetsen.

Het leek alsof dit waar we onze inspanningen op moesten richten, om de energiekosten van AI in datacenters zo veel mogelijk te verlagen zonder beperkingen op te leggen aan waar en hoe AI zou moeten evolueren. En dus gingen we aan de slag om dit probleem op te lossen.

Kunt u het verhaal van de mede-oprichting van Lemurian Labs delen?

Het verhaal begint in het vroege 2018. Ik werkte aan het trainen van een foundation-model voor algemene autonomie, samen met een model voor generatieve multi-fysica-simulatie om de agent te trainen en te fijnen voor verschillende toepassingen, en enkele andere dingen om te helpen schalen naar multi-agent-omgevingen. Maar heel snel had ik de hoeveelheid rekenkracht die ik had uitgeput, en ik schatte dat ik meer dan 20.000 V100-GPU’s nodig had. Ik probeerde genoeg te verzamelen om toegang te krijgen tot de rekenkracht, maar de markt was nog niet klaar voor die schaal. Het kreeg me wel aan het denken over de implementatiekant van dingen en ik ging zitten om te berekenen hoeveel prestaties ik nodig had voor het serveren van dit model in de doelomgevingen en ik realiseerde me dat er geen chip bestond die me daar kon krijgen.

Een paar jaar later, in 2020, ontmoette ik Vassil – mijn latere mede-oprichter – om bij te praten en ik deelde de uitdagingen die ik had ondervonden bij het bouwen van een foundation-model voor autonomie, en hij stelde voor om een inferentie-chip te bouwen die het foundation-model kon draaien, en hij deelde dat hij veel had nagedacht over nummerformaten en betere voorstellingen zouden helpen bij het niet alleen maken van neurale netwerken die nauwkeurigheid behouden bij lagere bit-breedte, maar ook bij het creëren van krachtigere architectuur.

Het was een intrigerend idee, maar het was ver buiten mijn expertise. Maar het liet me niet los, wat me ertoe bracht om maanden en maanden te besteden aan het leren van de nuances van computerarchitectuur, instructiesets, runtime, compilers en programmeringsmodellen. Uiteindelijk begon het opbouwen van een halfgeleiderbedrijf zin te hebben en had ik een these gevormd over wat het probleem was en hoe we het aan konden pakken. En tegen het einde van het jaar startten we Lemurian.

U hebt eerder gesproken over de noodzaak om eerst software aan te pakken bij het bouwen van hardware, kunt u uw mening toelichten over waarom het hardwareprobleem eerst en vooral een softwareprobleem is?

Wat veel mensen niet beseffen, is dat de softwarekant van halfgeleiders veel moeilijker is dan de hardware zelf. Het bouwen van een nuttige computerarchitectuur voor klanten om te gebruiken en voordeel uit te halen, is een full-stack-probleem, en als je dat begrip en die voorbereidheid niet hebt bij het begin, eindig je met een prachtige architectuur die heel performant en efficiënt is, maar totaal onbruikbaar voor ontwikkelaars, wat eigenlijk belangrijk is.

Er zijn andere voordelen aan het nemen van een software-eerst-benadering, zoals een snellere time-to-market. Dit is cruciaal in de snel veranderende wereld van vandaag, waar te optimistisch zijn over een architectuur of functie kan betekenen dat je de markt helemaal mist.

Het niet nemen van een software-eerst-visie resulteert meestal in het niet hebben van de belangrijke dingen gedeklareerd die nodig zijn voor productadoptie op de markt, niet in staat zijn om te reageren op veranderingen in de markt, bijvoorbeeld wanneer workloads op een onverwachte manier evolueren, en onderbenutte hardware. Dat zijn allemaal niet goede dingen. Dat is een grote reden waarom we veel om software-centrisch geven en waarom onze visie is dat je geen halfgeleiderbedrijf kunt zijn zonder echt een softwarebedrijf te zijn.

Kunt u uw onmiddellijke software-stack-doelen bespreken?

Toen we onze architectuur ontwierpen en nadachten over de toekomstige roadmap en waar de kansen lagen om meer prestaties en energoefficiëntie te brengen, begon het heel duidelijk te worden dat we veel meer heterogeniteit zouden zien, wat een heleboel problemen op softwaregebied zou creëren. En we moeten niet alleen in staat zijn om heterogene architectuur productief te programmeren, we moeten er ook mee omgaan op datacenter-schaal, wat een uitdaging is zoals we die nog nooit hebben meegemaakt.

Dit maakte ons bezorgd, omdat de laatste keer dat we een grote overgang moesten doormaken, was toen de industrie van single-core naar multi-core-architecturen ging, en op dat moment duurde het 10 jaar om software werkend te krijgen en mensen eraan te laten wennen. We kunnen niet 10 jaar wachten om software voor heterogeniteit op schaal uit te werken, het moet nu worden opgelost. En dus gingen we aan de slag om het probleem te begrijpen en wat er moet bestaan om deze software-stack te laten bestaan.

We zijn momenteel in gesprek met veel van de toonaangevende halfgeleiderbedrijven en hyperscalers/wolken-serviceproviders en zullen onze software-stack binnen de komende 12 maanden uitbrengen. Het is een uniform programmeringsmodel met een compiler en runtime die elk type architectuur kan richten, en taken kunnen coördineren over clusters die bestaan uit verschillende soorten hardware, en kan schalen van een enkele node tot een cluster van duizend nodes voor de hoogst mogelijke prestaties.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Lemurian Labs bezoeken.