Jay Dawani is mede-oprichter en CEO van Lemurian Labs – Interview Series

Jay Dawani is mede-oprichter en CEO van Lemurian Labs. Lemurische Labs is op een missie om betaalbare, toegankelijke en efficiënte AI-computers te leveren, gedreven door de overtuiging dat AI geen luxe moet zijn, maar een hulpmiddel dat voor iedereen toegankelijk moet zijn. Het oprichtende team van Lemurian Labs combineert expertise op het gebied van AI, compilers, numerieke algoritmen en computerarchitectuur, verenigd door één enkel doel: het opnieuw bedenken van versneld computergebruik.

Kunt u ons door uw achtergrond en wHoe ben je überhaupt bij AI terechtgekomen?

Absoluut. Ik programmeerde al sinds mijn twaalfde en bouwde mijn eigen games en dergelijke, maar ik kwam pas op mijn vijftiende in aanraking met AI dankzij een vriend van mijn vader die met computers bezig was. Hij voedde mijn nieuwsgierigheid en gaf me boeken om te lezen zoals Von Neumanns 'The Computer and The Brain', Minsky's 'Perceptrons', Russel en Norvigs 'AI A Modern Approach'. Deze boeken hebben mijn denken enorm beïnvloed en het voelde toen bijna voor de hand liggend dat AI transformatief zou zijn en dat ik gewoon deel moest uitmaken van dit vakgebied. 

Toen het tijd werd om naar de universiteit te gaan, wilde ik heel graag AI studeren, maar ik vond geen enkele universiteit die dat aanbood, dus besloot ik in plaats daarvan een hoofdvak in toegepaste wiskunde te gaan volgen. Een tijdje nadat ik naar de universiteit ging, hoorde ik over de resultaten van AlexNet op ImageNet, dat was echt spannend. Op dat moment had ik een 'nu of nooit'-moment in mijn hoofd en ging ik met volle overgave elk artikel en boek lezen dat ik in handen kon krijgen met betrekking tot neurale netwerken en zocht ik alle leiders in het veld op om van hen te leren, want hoe vaak sta je aan de wieg van een nieuwe industrie en leer je van de pioniers ervan. 

Al snel besefte ik dat ik niet van onderzoek houd, maar wel van het oplossen van problemen en het bouwen van AI-producten. Dat bracht mij ertoe te werken aan autonome auto's en robots, AI voor materiaalontdekking, generatieve modellen voor multifysische simulaties, op AI gebaseerde simulatoren voor het trainen van professionele autocoureurs en het helpen bij het instellen van auto's, ruimterobots, algoritmische handel en nog veel meer. 

Nu ik dat allemaal heb gedaan, probeer ik de kosten van AI-training en -implementaties te beheersen, omdat dat de grootste hindernis zal zijn die we tegenkomen op onze weg naar het mogelijk maken van een wereld waarin elke persoon en elk bedrijf toegang kan hebben tot en kan profiteren van AI. op de meest economische manier mogelijk.

Veel bedrijven die zich bezighouden met versneld computergebruik hebben oprichters die een carrière hebben opgebouwd in halfgeleiders en infrastructuur. Hoe denkt u dat uw eerdere ervaring met AI en wiskunde van invloed is op uw vermogen om de markt te begrijpen en effectief te concurreren?

Ik denk eigenlijk dat het feit dat ik niet uit de industrie kom, mij het voordeel geeft dat ik het voordeel van een buitenstaander heb. Ik heb vaak ondervonden dat het ontbreken van kennis van industriële normen of conventionele wijsheden iemand de vrijheid geeft om vrijer te verkennen en dieper te gaan dan de meeste anderen, omdat je niet gehinderd wordt door vooroordelen. 

Ik heb de vrijheid om 'dommer' vragen te stellen en aannames te testen op een manier die de meeste anderen niet zouden doen, omdat veel dingen geaccepteerde waarheden zijn. In de afgelopen twee jaar heb ik verschillende gesprekken gehad met mensen binnen de branche, waar ze ergens heel dogmatisch over zijn, maar ze kunnen me de herkomst van het idee niet vertellen, wat ik erg verwarrend vind. Ik begrijp graag waarom bepaalde keuzes zijn gemaakt, welke aannames of voorwaarden er destijds waren en of deze nog steeds gelden. 

Omdat ik een AI-achtergrond heb, heb ik de neiging om vanuit een softwareperspectief te kijken door te kijken naar waar de werklast vandaag de dag ligt, en hier zijn alle mogelijke manieren waarop deze in de loop van de tijd kunnen veranderen, en door de hele ML-pijplijn te modelleren voor training en gevolgtrekking om de knelpunten te begrijpen, wat vertelt waar de kansen liggen om waarde te leveren. En omdat ik een wiskundige achtergrond heb, modelleer ik graag dingen om zo dicht mogelijk bij de waarheid te komen, en laat mij daardoor leiden. We hebben bijvoorbeeld modellen gebouwd om de systeemprestaties te berekenen voor de totale eigendomskosten en we kunnen het voordeel meten dat we klanten kunnen bieden met software en/of hardware en om onze beperkingen en de verschillende knoppen die voor ons beschikbaar zijn beter te begrijpen, en tientallen andere modellen voor verschillende dingen. We zijn zeer datagedreven en gebruiken de inzichten uit deze modellen om onze inspanningen en afwegingen te sturen. 

Het lijkt erop dat de vooruitgang op het gebied van AI vooral voortkomt uit schaalvergroting, waarvoor exponentieel meer rekenkracht en energie nodig is. Het lijkt alsof we in een wapenwedloop zitten waarbij elk bedrijf probeert het grootste model te bouwen, en er lijkt geen einde in zicht te zijn. Denkt u dat er een uitweg is?

Er zijn altijd manieren. Schalen is uiterst nuttig gebleken, en ik denk niet dat we het einde nog hebben gezien. We zullen zeer binnenkort zien dat modellen worden getraind met een kostprijs van minstens een miljard dollar. Als je toonaangevend wilt zijn op het gebied van generatieve AI en baanbrekende basismodellen wilt creëren, zul je minstens een paar miljard per jaar aan rekenkracht moeten uitgeven. Nu zijn er natuurlijke grenzen aan het opschalen, zoals het kunnen construeren van een dataset die groot genoeg is voor een model van die omvang, het verkrijgen van toegang tot mensen met de juiste knowhow en het verkrijgen van toegang tot voldoende rekenkracht. 

Voortdurende schaalvergroting van de modelgrootte is onvermijdelijk, maar we kunnen om voor de hand liggende redenen ook niet het hele aardoppervlak veranderen in een supercomputer ter grootte van een planeet om LLM's op te leiden en te bedienen. Om dit onder controle te krijgen, hebben we verschillende knoppen waarmee we kunnen spelen: betere datasets, nieuwe modelarchitecturen, nieuwe trainingsmethoden, betere compilers, algoritmische verbeteringen en exploitaties, betere computerarchitecturen, enzovoort. Als we dat allemaal doen, zijn er grofweg drie ordes van grootte aan verbeteringen te vinden. Dat is de beste uitweg. 

U gelooft in het denken op basis van de eerste principes. Hoe vormt dit uw manier van denken voor de manier waarop u Lemurian Labs leidt?

Bij Lemurian hanteren we zeker veel basisprincipes. Ik heb conventionele wijsheid altijd misleidend gevonden omdat die kennis werd gevormd op een bepaald moment in de tijd toen bepaalde aannames nog stand hielden, maar dingen veranderen altijd en je moet aannames vaak opnieuw testen, vooral als je in zo’n snelle wereld leeft. 

Ik stel mezelf vaak vragen als ‘dit lijkt een heel goed idee, maar waarom zou dit niet werken’, of ‘wat moet waar zijn om dit te laten werken’, of ‘wat weten we dat absolute waarheden zijn en wat wat zijn de aannames die we maken en waarom?”, of “waarom geloven we dat deze specifieke aanpak de beste manier is om dit probleem op te lossen”. Het doel is om ideeën zo snel en goedkoop mogelijk te ontkrachten en te vernietigen. We willen proberen het aantal dingen dat we op een bepaald moment uitproberen te maximaliseren. Het gaat erom geobsedeerd te zijn door het probleem dat moet worden opgelost, en niet overdreven eigenwijs te zijn over welke technologie de beste is. Te veel mensen hebben de neiging zich te veel op de technologie te concentreren en uiteindelijk begrijpen ze de problemen van klanten verkeerd en missen ze de transities die in de branche plaatsvinden, wat hun aanpak ongeldig zou kunnen maken, wat resulteert in hun onvermogen om zich aan te passen aan de nieuwe toestand van de wereld.

Maar het denken op basis van de eerste beginselen is op zichzelf niet zo nuttig. We hebben de neiging om het te combineren met backcasting, wat in feite betekent dat we ons een ideaal of gewenst toekomstig resultaat voorstellen en achteruit werken om de verschillende stappen of acties te identificeren die nodig zijn om dit te realiseren. Dit zorgt ervoor dat we samenkomen tot een zinvolle oplossing die niet alleen innovatief is, maar ook op de realiteit is gebaseerd. Het heeft geen zin om tijd te besteden aan het bedenken van de perfecte oplossing om vervolgens te beseffen dat het niet haalbaar is om te bouwen vanwege een verscheidenheid aan beperkingen in de echte wereld, zoals middelen, tijd, regelgeving of het bouwen van een schijnbaar perfecte oplossing, maar daar later achter komen Je hebt het te moeilijk gemaakt voor klanten om het te adopteren.

Zo nu en dan bevinden we ons in een situatie waarin we een beslissing moeten nemen maar geen gegevens hebben, en in dit scenario gebruiken we minimaal toetsbare hypothesen die ons een signaal geven of iets wel of niet zinvol is om met de minste hoeveelheid geld na te streven. van het energieverbruik. 

Dit alles bij elkaar heeft ons behendigheid en snelle iteratiecycli gegeven om de risico's van items snel te verminderen, en heeft ons geholpen strategieën met groot vertrouwen aan te passen en in zeer korte tijd veel vooruitgang te boeken bij zeer moeilijke problemen. 

In eerste instantie was je gefocust op rand AIWat was de reden dat u zich opnieuw concentreerde en overstapte op cloud computing?

We zijn begonnen met edge-AI omdat ik destijds erg gefocust was op het oplossen van een heel specifiek probleem waarmee ik te maken kreeg toen ik probeerde een wereld van autonome robotica voor algemene doeleinden in te luiden. Autonome robotica heeft de belofte de grootste platformverschuiving in onze collectieve geschiedenis te zijn, en het leek erop dat we alles hadden wat nodig was om een ​​basismodel voor robotica te bouwen, maar we misten de ideale inferentiechip met de juiste balans tussen doorvoer, latentie en energie-efficiëntie. , en programmeerbaarheid om het genoemde basismodel op uit te voeren.

Ik dacht op dat moment niet aan het datacenter omdat er meer dan genoeg bedrijven waren die zich daarop concentreerden en ik verwachtte dat ze er wel achter zouden komen. We ontwierpen een werkelijk krachtige architectuur voor deze toepassingsruimte en waren ons aan het voorbereiden om deze uit te werken, en toen werd het overduidelijk dat de wereld was veranderd en dat het probleem zich werkelijk in het datacenter bevond. De snelheid waarmee LLM's computers opschaalden en consumeerden, overtreft ruimschoots het tempo van de vooruitgang op het gebied van computers, en als je de adoptie daarbij meeneemt, begint dit een zorgwekkend beeld te schetsen. 

Het voelde alsof we onze inspanningen hierop moesten richten, om de energiekosten van AI in datacenters zoveel mogelijk omlaag te brengen zonder beperkingen op te leggen aan waar en hoe AI zou moeten evolueren. En dus gingen we aan de slag om dit probleem op te lossen. 

Kunt u het ontstaansverhaal van de medeoprichter van Lemurian Labs delen?

Het verhaal begint begin 2018. Ik was bezig met het trainen van een basismodel voor autonomie voor algemene doeleinden, samen met een model voor generatieve multifysica-simulatie om de agent te trainen en te verfijnen voor verschillende toepassingen, en een aantal andere dingen om te helpen opschalen naar meerdere toepassingen. -agent-omgevingen. Maar al snel was de hoeveelheid rekenkracht die ik had uitgeput, en ik schatte dat ik meer dan 20,000 V100 GPU's nodig had. Ik probeerde genoeg geld op te halen om toegang te krijgen tot de computer, maar de markt was nog niet klaar voor dat soort schaal. Het zette me echter aan het denken over de implementatiekant van de dingen en ik ging zitten om te berekenen hoeveel prestaties ik nodig zou hebben om dit model in de doelomgevingen te kunnen bedienen, en ik realiseerde me dat er geen chip bestond die me daar kon krijgen. 

Een paar jaar later, in 2020, ontmoette ik Vassil – mijn uiteindelijke medeoprichter – om bij te praten en ik deelde de uitdagingen die ik doormaakte bij het bouwen van een basismodel voor autonomie, en hij stelde voor een inferentiechip te bouwen die de basis zou kunnen vormen. model, en hij vertelde dat hij veel had nagedacht over getalformaten en dat betere representaties niet alleen zouden helpen om neurale netwerken hun nauwkeurigheid te laten behouden bij lagere bitbreedtes, maar ook om krachtigere architecturen te creëren. 

Het was een intrigerend idee, maar het lag ver buiten mijn stuurhuis. Maar het liet me niet los, wat me ertoe bracht maanden en maanden te besteden aan het leren van de fijne kneepjes van computerarchitectuur, instructiesets, runtimes, compilers en programmeermodellen. Uiteindelijk begon het zinvol te worden een halfgeleiderbedrijf op te richten en had ik een stelling opgesteld over wat het probleem was en hoe ik het moest aanpakken. En tegen het einde van het jaar zijn we met Lemurian begonnen. 

U heeft eerder gesproken over de noodzaak om eerst software aan te pakken bij het bouwen van hardware. Kunt u uw mening toelichten over waarom het hardwareprobleem in de eerste plaats een softwareprobleem is?

Wat veel mensen zich niet realiseren is dat de softwarekant van halfgeleiders veel moeilijker is dan de hardware zelf. Het bouwen van een bruikbare computerarchitectuur die klanten kunnen gebruiken en waar ze voordeel uit kunnen halen, is een full-stack-probleem, en als je dat inzicht en de voorbereiding niet hebt, zul je eindigen met een prachtig ogende architectuur die zeer performant en efficiënt is. maar totaal onbruikbaar voor ontwikkelaars, wat eigenlijk belangrijk is. 

Er zijn uiteraard ook andere voordelen verbonden aan een software-first-aanpak, zoals een snellere time-to-market. Dit is van cruciaal belang in de snel veranderende wereld van vandaag, waar te optimistisch zijn over een architectuur of functie ertoe kan leiden dat u de markt volledig mist. 

Als software niet eerst wordt bekeken, resulteert dit doorgaans in het niet onderschatten van de belangrijke zaken die nodig zijn voor de adoptie van producten op de markt, het niet kunnen reageren op veranderingen in de markt, bijvoorbeeld wanneer werklasten op een onverwachte manier evolueren, en het hebben van onderbenutte hardware. Allemaal geen geweldige dingen. Dat is een belangrijke reden waarom wij het belangrijk vinden dat software centraal staat en waarom wij van mening zijn dat je geen halfgeleiderbedrijf kunt zijn zonder echt een softwarebedrijf te zijn. 

Kunt u uw directe softwarestackdoelen bespreken?

Toen we onze architectuur aan het ontwerpen waren en nadachten over de toekomstgerichte routekaart en waar de kansen lagen om meer prestaties en energie-efficiëntie te brengen, begon het heel duidelijk te worden dat we veel meer heterogeniteit zouden zien, wat voor veel problemen zou zorgen. op software. En we moeten niet alleen heterogene architecturen productief kunnen programmeren, we moeten er ook mee omgaan op datacenterschaal, wat een uitdaging is die we nog niet eerder zijn tegengekomen. 

Dit baarde ons zorgen omdat de laatste keer dat we een grote transitie moesten doormaken, was toen de industrie overging van single-core naar multi-core architecturen. In die tijd duurde het tien jaar voordat de software werkte en de mensen deze gingen gebruiken. We kunnen het ons niet veroorloven om tien jaar te wachten met het uitzoeken van software voor heterogeniteit op grote schaal; dat moet nu worden opgelost. En dus gingen we aan de slag om het probleem te begrijpen en te begrijpen wat er nodig is om deze softwarestack te laten bestaan. 

We werken momenteel samen met veel van de toonaangevende halfgeleiderbedrijven en hyperscalers/cloudserviceproviders en zullen onze softwarestack in de komende twaalf maanden vrijgeven. Het is een uniform programmeermodel met een compiler en runtime die zich op elke soort architectuur kan richten en werk kan orkestreren over clusters die zijn samengesteld uit verschillende soorten hardware, en dat kan schalen van een enkel knooppunt naar een cluster met duizend knooppunten voor de hoogst mogelijke prestaties .

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken Lemurische Labs.