Jay Dawani er medstifter og administrerende direktør for Lemurian Labs – Interview Series

Jay Dawani er medstifter og administrerende direktør for Lemurian Labs. Lemurian Labs er på en mission om at levere overkommelige, tilgængelige og effektive AI-computere, drevet af troen på, at AI ikke skal være en luksus, men et værktøj, der er tilgængeligt for alle. Grundlæggerteamet hos Lemurian Labs kombinerer ekspertise inden for kunstig intelligens, compilere, numeriske algoritmer og computerarkitektur, forenet af et enkelt formål: at genskabe accelereret computing.

Kan du lede os gennem din baggrund og wfik du dig til AI til at begynde med?

Absolut. Jeg havde programmeret siden jeg var 12 og bygget mine egne spil og sådan noget, men jeg kom faktisk til AI, da jeg var 15 på grund af en ven af ​​mine fædre, der var til computere. Han nærede min nysgerrighed og gav mig bøger at læse, såsom Von Neumanns 'Computeren og hjernen', Minskys 'Perceptroner', Russel og Norvigs 'AI A Modern Approach'. Disse bøger påvirkede min tankegang meget, og det føltes næsten indlysende dengang, at AI ville blive transformerende, og jeg skulle bare være en del af dette felt. 

Da det blev tid til universitetet, ville jeg virkelig gerne studere kunstig intelligens, men jeg fandt ingen universiteter, der tilbød det, så jeg besluttede at tage hovedfag i anvendt matematik i stedet for, og lidt efter jeg kom på universitetet hørte jeg om AlexNets resultater på ImageNet, som var rigtig spændende. På det tidspunkt havde jeg dette nu eller aldrig-øjeblik i mit hoved, og jeg gik fuld i gang med at læse alle papirer og bøger, jeg kunne få fingrene i relateret til neurale netværk og opsøgte alle lederne på området for at lære af dem, for hvordan ofte kommer du til at være der ved fødslen af ​​en ny industri og lære af dens pionerer. 

Meget hurtigt indså jeg, at jeg ikke nyder forskning, men jeg nyder at løse problemer og bygge AI-aktiverede produkter. Det førte mig til at arbejde på autonome biler og robotter, AI til materialeopdagelse, generative modeller til multifysiksimuleringer, AI-baserede simulatorer til træning af professionelle racerkørere og hjælp til bilopsætning, rumrobotter, algoritmisk handel og meget mere. 

Nu, efter at have gjort alt det, prøver jeg at regere i omkostningerne ved AI-træning og -implementering, fordi det vil være den største hindring, vi står over for på vores vej til at muliggøre en verden, hvor enhver person og virksomhed kan have adgang til og drage fordel af AI på den mest økonomiske måde.

Mange virksomheder, der arbejder med accelereret computing, har grundlæggere, der har opbygget karrierer inden for halvledere og infrastruktur. Hvordan tror du, at din tidligere erfaring med kunstig intelligens og matematik påvirker din evne til at forstå markedet og konkurrere effektivt?

Jeg tror faktisk, at det, at jeg ikke kommer fra branchen, giver mig fordelen ved at have outsiderfordel. Jeg har oplevet, at det ganske ofte er tilfældet, at ikke at have kendskab til industrinormer eller konventionelle visdom giver en frihed til at udforske mere frit og gå dybere, end de fleste andre ville, fordi du ikke er behæftet med skævheder. 

Jeg har friheden til at stille 'dummere' spørgsmål og teste antagelser på en måde, som de fleste andre ikke ville, fordi mange ting er accepterede sandheder. I de sidste to år har jeg haft adskillige samtaler med folk i branchen, hvor de er meget dogmatiske omkring noget, men de kan ikke fortælle mig, hvorfra ideen kommer fra, hvilket jeg finder meget forvirrende. Jeg kan godt lide at forstå, hvorfor visse valg blev truffet, og hvilke antagelser eller betingelser der var der på det tidspunkt, og om de stadig holder. 

Jeg kommer fra en AI-baggrund, og jeg har en tendens til at anlægge et softwaresyn ved at se på, hvor arbejdsbelastningerne er i dag, og her er alle de mulige måder, de kan ændre sig over tid, og modellere hele ML-pipelinen til træning og slutninger for at forstå flaskehalsene, hvilket fortæller mig, hvor mulighederne for at levere værdi er. Og fordi jeg kommer fra en matematisk baggrund, kan jeg godt lide at modellere ting for at komme så tæt på sandheden, som jeg kan, og få det til at guide mig. For eksempel har vi bygget modeller til at beregne systemets ydeevne for de samlede ejeromkostninger, og vi kan måle den fordel, vi kan give kunderne med software og/eller hardware og for bedre at forstå vores begrænsninger og de forskellige knapper, der er tilgængelige for os, og snesevis af andre modeller til forskellige ting. Vi er meget datadrevne, og vi bruger indsigten fra disse modeller til at guide vores indsats og afvejninger. 

Det ser ud til, at fremskridt inden for AI primært er kommet fra skalering, som kræver eksponentielt mere beregning og energi. Det ser ud til, at vi er i et våbenkapløb med alle virksomheder, der forsøger at bygge den største model, og der ser ikke ud til at være nogen ende i sigte. Tror du, der er en vej ud af dette?

Der er altid måder. Skalering har vist sig ekstremt nyttigt, og jeg tror ikke, vi har set slutningen endnu. Vi vil meget snart se modeller blive trænet med en pris på mindst en milliard dollars. Hvis du vil være førende inden for generativ kunstig intelligens og skabe avancerede fundamentmodeller, skal du bruge mindst et par milliarder om året på computere. Nu er der naturlige grænser for skalering, såsom at kunne konstruere et stort nok datasæt til en model af den størrelse, få adgang til folk med den rette knowhow og få adgang til nok computer. 

Fortsat skalering af modelstørrelse er uundgåelig, men vi kan heller ikke forvandle hele jordens overflade til en supercomputer på planetstørrelse til at træne og betjene LLM'er af indlysende årsager. For at få styr på dette har vi flere knapper, vi kan lege med: bedre datasæt, nye modelarkitekturer, nye træningsmetoder, bedre kompilatorer, algoritmiske forbedringer og udnyttelser, bedre computerarkitekturer og så videre. Hvis vi gør alt det, er der groft sagt tre størrelsesordener af forbedringer at finde. Det er den bedste vej ud. 

Du er tilhænger af første principstænkning, hvordan former dette din tankegang for, hvordan du driver Lemurian Labs?

Vi anvender helt sikkert en masse førsteprincipstænkning hos Lemurian. Jeg har altid fundet konventionel visdom vildledende, fordi den viden blev dannet på et bestemt tidspunkt, hvor visse antagelser holdt, men tingene ændrer sig altid, og du er nødt til at teste antagelser igen ofte, især når du lever i en verden med så høj tempo. 

Jeg synes ofte, at jeg stiller spørgsmål som "det virker som en rigtig god idé, men hvorfor virker det måske ikke", eller "hvad skal være sandt for at det kan virke", eller "hvad ved vi, der er absolutte sandheder og hvad er de antagelser, vi gør, og hvorfor?", eller "hvorfor tror vi, at denne særlige tilgang er den bedste måde at løse dette problem på". Målet er at ugyldiggøre og aflive ideer så hurtigt og billigt som muligt. Vi vil prøve at maksimere antallet af ting, vi prøver på et givet tidspunkt. Det handler om at være besat af det problem, der skal løses, og ikke at være alt for meningsfuld om, hvilken teknologi der er bedst. Alt for mange mennesker har en tendens til at fokusere for meget på teknologien, og de ender med at misforstå kundernes problemer og går glip af de overgange, der sker i branchen, hvilket kan ugyldiggøre deres tilgang, hvilket resulterer i deres manglende evne til at tilpasse sig den nye tilstand i verden.

Men første principtænkning er ikke så nyttigt i sig selv. Vi har en tendens til at parre det med backcasting, hvilket grundlæggende betyder, at vi forestiller os et ideelt eller ønsket fremtidigt resultat og arbejder baglæns for at identificere de forskellige trin eller handlinger, der er nødvendige for at realisere det. Dette sikrer, at vi konvergerer om en meningsfuld løsning, der ikke kun er innovativ, men også funderet i virkeligheden. Det giver ikke mening at bruge tid på at finde den perfekte løsning for kun at indse, at det ikke er muligt at bygge på grund af en række begrænsninger i den virkelige verden, såsom ressourcer, tid, regulering eller at bygge en tilsyneladende perfekt løsning, men senere finde ud af det. du har gjort det for svært for kunderne at adoptere.

Nu og da befinder vi os i en situation, hvor vi skal træffe en beslutning, men ikke har nogen data, og i dette scenarie anvender vi minimumstestbare hypoteser, som giver os et signal om, hvorvidt noget giver mening at forfølge med det mindste beløb. af energiforbruget. 

Alt dette kombineret er at give os smidighed, hurtige iterationscyklusser for hurtigt at fjerne risikoen for emner og har hjulpet os med at justere strategier med høj selvtillid og gøre en masse fremskridt på meget svære problemer på meget kort tid. 

I starten var du fokuseret på kant AI, hvad fik dig til at omfokusere og skifte til cloud computing?

Vi startede med edge AI, fordi jeg på det tidspunkt var meget fokuseret på at forsøge at løse et meget særligt problem, som jeg havde stået over for i forsøget på at indlede en verden af ​​autonom robotik til generelle formål. Autonome robotter har løftet om at være det største platformskifte i vores kollektive historie, og det så ud til, at vi havde alt det nødvendige for at bygge en grundmodel for robotteknologi, men vi manglede den ideelle inferenschip med den rette balance mellem gennemløb, latens og energieffektivitet , og programmerbarhed til at køre nævnte fundamentmodel på.

Jeg tænkte ikke på datacentret på dette tidspunkt, fordi der var mere end nok virksomheder, der fokuserede der, og jeg forventede, at de ville finde ud af det. Vi designede en virkelig kraftfuld arkitektur til denne applikationsplads og var ved at gøre klar til at tape den ud, og så blev det helt klart, at verden havde ændret sig, og at problemet virkelig lå i datacentret. Den hastighed, hvormed LLM'er skalerede og forbrugte databehandling, overstiger langt tempoet i fremskridtene inden for databehandling, og når du medregner adoption, begynder det at tegne et bekymrende billede. 

Det føltes, som om det er her, vi bør fokusere vores indsats for at reducere energiomkostningerne ved AI i datacentre så meget som muligt uden at pålægge begrænsninger for, hvor og hvordan AI skal udvikle sig. Og så skal vi arbejde på at løse dette problem. 

Kan du dele tilblivelseshistorien om Co-Founding Lemurian Labs?

Historien starter i begyndelsen af ​​2018. Jeg arbejdede på at træne en basismodel til generel autonomi sammen med en model for generativ multifysiksimulering for at træne agenten i og finjustere den til forskellige applikationer og nogle andre ting for at hjælpe med at skalere til multi -agentmiljøer. Men meget hurtigt opbrugte jeg den mængde computer, jeg havde, og jeg anslåede, at jeg havde brug for mere end 20,000 V100 GPU'er. Jeg forsøgte at hæve nok til at få adgang til computeren, men markedet var ikke klar til den slags skala endnu. Det fik mig dog til at tænke over implementeringssiden af ​​tingene, og jeg satte mig ned for at beregne, hvor meget ydeevne jeg ville have brug for for at betjene denne model i målmiljøerne, og jeg indså, at der ikke fandtes nogen chip, der kunne bringe mig derhen. 

Et par år senere, i 2020, mødtes jeg med Vassil – min eventuelle medstifter – for at indhente det tempo, og jeg delte de udfordringer, jeg gik igennem med at bygge en fundamentmodel for autonomi, og han foreslog at bygge en inferenschip, der kunne køre fundamentet. model, og han delte, at han havde tænkt meget over talformater, og bedre repræsentationer ville hjælpe med ikke kun at få neurale netværk til at bevare nøjagtigheden ved lavere bitbredder, men også med at skabe mere kraftfulde arkitekturer. 

Det var en spændende idé, men det var langt ude af mit styrehus. Men det ville ikke forlade mig, hvilket drev mig til at bruge måneder og måneder på at lære forviklingerne af computerarkitektur, instruktionssæt, runtimes, compilere og programmeringsmodeller. Til sidst begyndte det at give mening at bygge en halvledervirksomhed, og jeg havde lavet en afhandling om, hvad problemet var, og hvordan man skulle gribe det an. Og så mod slutningen af ​​året startede vi Lemurian. 

Du har tidligere talt om behovet for først at tackle software, når du bygger hardware, kan du uddybe dine synspunkter om, hvorfor hardwareproblemet først og fremmest er et softwareproblem?

Hvad mange mennesker ikke er klar over er, at softwaresiden af ​​halvledere er meget sværere end selve hardwaren. At bygge en brugbar computerarkitektur, som kunderne kan bruge og få gavn af, er et problem i fuld stack, og hvis du ikke har den forståelse og beredskab, vil du ende med en smuk arkitektur, der er meget ydende og effektiv, men totalt ubrugelig af udviklere, hvilket er det, der faktisk er vigtigt. 

Der er selvfølgelig også andre fordele ved at tage en software-første tilgang, såsom hurtigere time to market. Dette er afgørende i nutidens hurtigt bevægende verden, hvor at være for bullish på en arkitektur eller funktion kan betyde, at du går glip af markedet helt. 

Ikke at tage et software-first view resulterer generelt i, at man ikke har afskåret de vigtige ting, der kræves for produktadoption på markedet, ikke er i stand til at reagere på ændringer på markedet, for eksempel når arbejdsbelastninger udvikler sig på en uventet måde, og at man har underudnyttet hardware. Alle ikke store ting. Det er en stor grund til, at vi går meget op i at være softwarecentrerede, og hvorfor vores opfattelse er, at man ikke kan være en halvledervirksomhed uden virkelig at være en softwarevirksomhed. 

Kan du diskutere dine umiddelbare softwarestablemål?

Da vi designede vores arkitektur og tænkte på den fremadrettede køreplan, og hvor mulighederne var for at bringe mere ydeevne og energieffektivitet, begyndte det at blive meget tydeligt, at vi ville se meget mere heterogenitet, hvilket ville skabe en masse problemer på software. Og vi skal ikke kun være i stand til produktivt at programmere heterogene arkitekturer, vi skal håndtere dem i datacenterskala, hvilket er en udfordring, som vi ikke har mødt før. 

Dette gjorde os bekymrede, fordi sidste gang, vi skulle igennem en større overgang, var, da industrien flyttede fra single-core til multi-core arkitekturer, og på det tidspunkt tog det 10 år at få software til at virke og folk bruge det. Vi har ikke råd til at vente 10 år på at finde ud af software til heterogenitet i skala, det skal ordnes nu. Så vi skulle arbejde på at forstå problemet, og hvad der skal eksistere, for at denne softwarestak kan eksistere. 

Vi er i øjeblikket i dialog med mange af de førende halvledervirksomheder og hyperscalere/cloud-tjenesteudbydere og vil frigive vores softwarestak i løbet af de næste 12 måneder. Det er en samlet programmeringsmodel med en compiler og runtime, der er i stand til at målrette enhver form for arkitektur og orkestrere arbejde på tværs af klynger sammensat af forskellige slags hardware og er i stand til at skalere fra en enkelt node til en tusind node-klynge for den højest mulige ydeevne .

Tak for det gode interview, læsere, der ønsker at lære mere, bør besøge Lemurian Labs.