Jay Dawani er medstifter og CEO av Lemurian Labs – Intervju-serie

Jay Dawani er medstifter og CEO av Lemurian Labs. Lemurian Labs har som mål å levere rimelige, tilgjengelige og effektive AI-datamaskiner, drevet av overbevisningen om at AI ikke bør være en luksus, men et verktøy som er tilgjengelig for alle. Grunnleggerlaget i Lemurian Labs kombinerer ekspertise i AI, kompilatorer, numeriske algoritmer og datamaskinarkitektur, forent av ett enkelt formål: å゛tenke akselerert databehandling.

Kan du fortelle oss om din bakgrunn og hva som førte deg inn i AI?

Absolutt. Jeg hadde vært programmerer siden jeg var 12 år og bygget mine egne spill og lignende, men jeg kom faktisk inn i AI da jeg var 15 år gammel på grunn av en venn av min fars som var interessert i datamaskiner. Han næret min nysgjerrighet og ga meg bøker å lese, som Von Neumanns “The Computer and The Brain”, Minskys “Perceptrons”, Russel og Norvigs “AI A Modern Approach”. Disse bøkene påvirkte min tenkning mye og det føltes nesten selvinnlysende at AI ville bli transformasjonelt og at jeg bare måtte være en del av dette feltet.

Da det var tid for universitet, ønsket jeg virkelig å studere AI, men jeg fant ingen universiteter som tilbød det, så jeg bestemte meg for å studere anvendt matematikk i stedet. Etter hvert jeg kom til universitetet, hørte jeg om AlexNets resultater på ImageNet, som var virkelig spennende. På den tiden hadde jeg et nå-eller-aldri-øyeblikk og gikk fullt ut i å lese hver eneste artikkel og bok jeg kunne få tak i som var relatert til neurale nettverk og søkte etter alle ledere i feltet for å lære av dem, fordi hvor ofte får du muligheten til å være der ved fødselen av en ny industri og lære av dens pionerer.

Veldig raskt innsett jeg at jeg ikke liker forskning, men jeg liker å løse problemer og bygge AI-aktiverede produkter. Dette ledet meg til å arbeide med autonome biler og roboter, AI for materialeoppdagelse, generative modeller for multi-fysikk-simuleringer, AI-baserte simulatorer for å trene profesjonelle racerbilførere og hjelpe med biloppsett, rom-roboter, algoritme-basert handel og mye mer.

Nå, etter å ha gjort all dette, prøver jeg å holde ned kostnadene for AI-trening og -utvikling, fordi det vil være det største hindret vi møter på vår vei mot å muliggjøre en verden hvor hver person og bedrift kan ha tilgang til og dra nytte av AI på den mest økonomiske måten mulig.

Mange bedrifter som arbeider med akselerert databehandling har grunnleggere som har bygget karriere innen halvledere og infrastruktur. Hvordan tror du din tidligere erfaring i AI og matematikk påvirker din evne til å forstå markedet og konkurere effektivt?

Jeg tror faktisk at ikke å komme fra industrien gir meg fordelen av å ha outsider-fordelen. Jeg har funnet det å være tilfelle mange ganger at ikke å ha kunnskap om industrinormer eller konvensjonell visdom gir en friheten til å utforske mer fritt og gå dypere enn de fleste andre ville, fordi du ikke er belastet av fordommer.

Jeg har friheten til å stille “dummere” spørsmål og teste antakelser på en måte som de fleste andre ikke ville, fordi mange ting er aksepterte sannheter. I de siste to årene har jeg hatt flere samtaler med folk innen industrien hvor de er svært dogmatiske om noe, men de kan ikke fortelle meg proveniens av ideen, noe jeg finner svært forvirrende. Jeg liker å forstå hvorfor visse valg ble gjort og hva antakelser eller betingelser det var på den tiden og om de fortsatt gjelder.

Kommer fra en AI-bakgrunn, har jeg en tendens til å se på ting fra en programvare-synspunkt, ved å se på hvor arbeidsbelastningene er i dag og hvordan de kan endre seg over tid, og modellere hele ML-pipeline for trening og inferens for å forstå flaskenhalser, noe som forteller meg hvor mulighetene til å levere verdi ligger. Og fordi jeg kommer fra en matematisk bakgrunn, liker jeg å modellere ting for å komme så nære sannheten som mulig og la det guide meg.

Det ser ut som om fremgangen i AI hovedsakelig har kommet fra skaleringsmuligheter, som krever eksponentielt mer beregning og energi. Det ser ut som om vi er i en våpenkappløp hvor hver enkelt bedrift prøver å bygge den største modellen, og det ser ut som om det ikke er noen ende i sikte. Tror du det er en måte ut av dette?

Det er alltid måter. Skaleringsmuligheter har vist seg å være svært nyttige, og jeg tror ikke vi har sett slutten ennå. Vi vil snart se modeller som blir trent med en kostnad på minst en milliard dollar. Hvis du ønsker å være en leder i generativ AI og skape banebrytende grunnmodeller, må du være villig til å bruke minst noen få milliarder om året på beregning.

Fortsettende skaleringsmuligheter for modellstørrelse er uunngåelig, men vi kan ikke gjøre hele jordens overflate til en planetsize superdatamaskin for å trene og betjene LLM-er av åpenbare årsaker. For å få dette under kontroll har vi flere muligheter å spille med: bedre datasett, nye modellarkitekturer, nye treningsmetoder, bedre kompilatorer, algoritme-forbedringer og utnyttelser, bedre datamaskinarkitekturer og så videre. Hvis vi gjør alt dette, er det omtrent tre størrelsesordener av forbedring å finne.

Du er en tilhenger av først-prinsipp-tenkning, hvordan former dette din holdning til hvordan du driver Lemurian Labs?

Vi bruker absolutt først-prinsipp-tenkning på Lemurian. Jeg har alltid funnet konvensjonell visdom misvisende fordi den kunnskapen ble dannet på et visst tidspunkt da visse antakelser gjaldt, men ting endrer seg alltid og du må teste antakelser ofte, spesielt når du lever i en så raskt foranderlig verden.

Jeg stiller ofte spørsmål som “Dette ser ut som en virkelig god idé, men hvorfor kan dette ikke fungere”, eller “Hva må være sant for at dette skal fungere”, eller “Hva vet vi som absolutte sannheter og hva er antakelser vi gjør og hvorfor?”, eller “Hvorfor tror vi at denne tilnærmingen er den beste måten å løse dette problemet på”. Målet er å underkaste og drepe idéer så raskt og billig som mulig. Vi ønsker å maksimere antall ting vi prøver på et gitt tidspunkt.

Kan du fortelle oss om opphavet til å medstifte Lemurian Labs?

Historien starter tidlig i 2018. Jeg arbeidet med å trene en grunnmodell for generell autonomi sammen med en modell for generativ multi-fysikk-simulering for å trene agenten i og finjustere den for ulike anvendelser, og noen andre ting for å hjelpe med å skalerer inn i multi-agent-miljøer. Men veldig raskt uttømte jeg mengden beregning jeg hadde, og jeg estimerte å trenge mer enn 20 000 V100-GPU-er. Jeg prøvde å samle inn nok penger for å få tilgang til beregningen, men markedet var ikke klar for den type skala ennå.

Et par år senere, i 2020, møtte jeg opp med Vassil – min eventuelle medstifter – for å holde kontakten og jeg delte utfordringene jeg hadde møtt i å bygge en grunnmodell for autonomi, og han foreslo å bygge en inferens-chip som kunne kjøre grunnmodellen, og han delte at han hadde tenkt mye på tallformater og bedre representasjoner ville hjelpe med ikke bare å gjøre neurale nettverk mer nøyaktige ved lavere bit-bredde, men også å skape mer kraftfulle arkitekturer.

Det var en interessant idé, men det var langt utenfor min komfortsone. Men det ville ikke forlate meg, noe som drev meg til å bruke måneder og måneder på å lære intrikatisitetene i datamaskinarkitektur, instruksjonssett, kjøretid, kompilatorer og programmeringsmodeller. Til slutt begynte det å gjøre mening å bygge en halvlederbedrift, og jeg hadde dannet en tese om hva problemet var og hvordan man kunne gå til verks.

Du har tidligere talt om behovet for å takle programvare først når du bygger maskinvare, kan du utdype dine synspunkter på hvorfor maskinvare-problemet i første rekke er et programvare-problem?

Hva mange mennesker ikke innser er at programvare-siden av halvledere er mye vanskeligere enn maskinvaren i seg selv. Bygging av en nyttig datamaskinarkitektur for kunder å bruke og få nytte av er et fullstendig stack-problem, og hvis du ikke har den forståelsen og forberedelsen fra starten, vil du ende opp med en vakker arkitektur som er svært performant og effektiv, men fullstendig ubrukelig for utviklere, noe som er det viktigste.

Det er andre fordeler med å ta en programvare-først-tilnærming også, som for eksempel raskere tid til markedet. Dette er avgjørende i dagens raskt foranderlige verden hvor å være for optimistisk om en arkitektur eller funksjon kan bety at du måler markedet feil.

Ikke å ta en programvare-først-tilnærming resulterer vanligvis i at du ikke har avrisikert de viktigste tingene som kreves for produkt-aksept i markedet, ikke kan svare på endringer i markedet når arbeidsbelastninger utvikler seg på en uventet måte, og har underutnyttet maskinvare. Alle disse tingene er ikke gode. Dette er en stor grunn til at vi bryr oss om å være programvare-sentriske og hvorfor vår synspunkt er at du ikke kan være en halvlederbedrift uten å være en programvarebedrift.

Kan du diskutere dine umiddelbare programvare-stack-mål?

Da vi designet vår arkitektur og tenkte på fremovervendte veikart og hvor mulighetene var til å bringe mer ytelse og energi-effektivitet, begynte det å bli svært tydelig at vi ville se mye mer heterogenitet, noe som ville skape mange problemer på programvare-siden. Og vi må ikke bare kunne programmere heterogene arkitekturer produktivt, vi må også kunne håndtere dem på datasenter-skala, noe som er en utfordring av en størrelsesorden vi ikke har møtt før.

Dette gjorde oss bekymret fordi siste gang vi måtte gå gjennom en stor overgang var da industrien gikk fra enkeltkjerne- til flerkjerne-arkitekturer, og på den tiden tok det 10 år å få programvaren til å fungere og folk til å bruke den. Vi kan ikke vente 10 år for å finne ut hvordan programvaren skal fungere for heterogenitet i skala, det må løses nå. Og så begynte vi å forstå problemet og hva som måtte eksistere for at denne programvare-staken skulle eksistere.

Vi samarbeider for tiden med mange av de ledende halvlederbedriftene og hyperskalerte/tjenesteleverandørene og vil lansere vår programvare-stack i løpet av de neste 12 månedene. Det er en forent programmeringsmodell med en kompilator og kjøretid som kan målrette enhver type arkitektur, og koordinere arbeid over cluster sammensatt av ulike typer maskinvare, og kan skaleres fra en enkelt node til en tusen-nodes cluster for beste mulig ytelse.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Lemurian Labs.