Jay Dawani är medgrundare och VD för Lemurian Labs – Intervjuserie

Jay Dawani är medgrundare och VD för Lemurian Labs. Lemurian Labs har som mål att leverera prisvärd, tillgänglig och effektiv AI-datorer, driven av övertygelsen att AI inte ska vara en lyx utan ett verktyg som alla kan ha tillgång till. Grundarteamet på Lemurian Labs kombinerar expertis inom AI, kompilatorer, numeriska algoritmer och datorarkitektur, enade av ett enda syfte: att omdefiniera accelererad beräkning.

Kan du berätta om din bakgrund och vad som fick dig att börja med AI?

Absolut. Jag hade programmerat sedan jag var 12 och byggt mina egna spel och sådant, men jag kom in i AI när jag var 15 tack vare en vän till min far som var intresserad av datorer. Han väckte min nyfikenhet och gav mig böcker att läsa, som Von Neumanns “The Computer and The Brain”, Minskys “Perceptrons”, Russel och Norvigs “AI: A Modern Approach”. Dessa böcker påverkade mina tankar mycket och det kändes nästan självklart att AI skulle bli en transformerande kraft och att jag bara måste vara en del av det här fältet.

När det var dags för universitet ville jag verkligen studera AI, men jag hittade inga universitet som erbjöd det, så jag bestämde mig för att läsa tillämpad matematik istället. Efter ett tag på universitetet hörde jag talas om AlexNets resultat på ImageNet, vilket var riktigt spännande. Då hade jag ett “nu eller aldrig”-ögonblick och gick fullt ut i att läsa alla papper och böcker jag kunde få tag på som rörde neuronnät och sökte upp alla ledande experter inom fältet för att lära av dem, eftersom hur ofta får man vara med om födelsen av en ny industri och lära av dess pionjärer?

Mycket snabbt insåg jag att jag inte tycker om forskning, men jag tycker om att lösa problem och bygga AI-aktiverade produkter. Det ledde mig till att arbeta med autonoma bilar och robotar, AI för materialupptäckt, generativa modeller för multi-fysiksimuleringar, AI-baserade simuleringar för att träna professionella racerförare och hjälpa till med bilinställningar, rymdrobotar, algoritmbaserad handel och mycket mer.

Nu, efter att ha gjort allt detta, försöker jag att få ner kostnaden för AI-träning och distributioner, eftersom det kommer att vara det största hindret vi möter på vår väg mot att möjliggöra en värld där varje person och företag kan ha tillgång till och dra nytta av AI på det mest ekonomiska sättet.

Många företag som arbetar med accelererad beräkning har grundare som har byggt karriärer inom halvledare och infrastruktur. Hur tror du att din tidigare erfarenhet inom AI och matematik påverkar din förmåga att förstå marknaden och konkurrera effektivt?

Jag tror faktiskt att att inte komma från branschen ger mig fördelen att ha en utomståendes perspektiv. Jag har funnit att det ofta är fallet att att inte ha kunskap om branschstandarder eller konventionell visdom ger en frihet att utforska mer fritt och gå djupare än de flesta andra, eftersom man inte är belastad av fördomar.

Jag har friheten att ställa “dummare” frågor och testa antaganden på ett sätt som de flesta andra inte skulle, eftersom många saker är accepterade sanningar. Under de senaste två åren har jag haft flera samtal med personer inom branschen som är mycket dogmatiska om något, men de kan inte berätta för mig om ursprunget till idén, vilket jag tycker är mycket förvillande. Jag vill förstå varför vissa val gjordes och vilka antaganden eller förhållanden som fanns vid den tiden och om de fortfarande gäller.

Som någon med en AI-bakgrund tenderar jag att ta en mjukvaruorienterad syn genom att titta på var arbetsbelastningarna är idag och hur de kan förändras över tiden, och modellera hela ML-pipelinen för träning och inferens för att förstå flaskhalsarna, vilket berättar för mig var möjligheterna att leverera värde finns. Och eftersom jag kommer från en matematisk bakgrund gillar jag att modellera saker för att komma så nära sanningen som möjligt och låta det vägleda mig.

Det verkar som om framsteg inom AI främst har kommit från skalning, vilket kräver exponentiellt mer beräkning och energi. Det verkar som om vi är i en kapprustning där varje företag försöker bygga den största modellen, och det verkar som om det inte finns någon ände i sikte. Tror du att det finns ett sätt ut ur detta?

Det finns alltid sätt. Skalning har visat sig vara extremt användbart, och jag tror inte att vi har sett slutet på det än. Vi kommer snart att se modeller som tränas med en kostnad på minst en miljard dollar. Om du vill vara en ledare inom generativ AI och skapa banbrytande grundmodeller måste du spendera minst några miljarder om året på beräkning.

Den fortsatta skalningen av modellstorlek är oundviklig, men vi kan inte förvandla hela jordens yta till en planets stor superdator för att träna och serva LLM:er av uppenbara skäl. För att få detta under kontroll har vi flera knappar att spela med: bättre datamängder, nya modellarkitekturer, nya träningsmetoder, bättre kompilatorer, algoritmiska förbättringar och exploateringar, bättre datorarkitektur och så vidare. Om vi gör allt detta finns det ungefär tre storleksordningar av förbättring att hitta.

Du är en troende på första principers tänkande, hur formar detta din inställning till hur du driver Lemurian Labs?

Vi använder definitivt mycket första principers tänkande på Lemurian. Jag har alltid funnit att konventionell visdom är vilseledande eftersom den kunskapen bildades vid en viss tidpunkt när vissa antaganden gällde, men saker förändras alltid och man måste testa antaganden ofta, särskilt i en så snabbt föränderlig värld.

Jag ställer ofta frågor som “detta verkar som en riktigt bra idé, men varför kan det inte fungera”, eller “vad behöver vara sant för att detta ska fungera”, eller “vad vet vi som absoluta sanningar och vilka antaganden gör vi och varför?”, eller “varför tror vi att denna specifika tillvägagångssätt är det bästa sättet att lösa det här problemet”. Målet är att ogiltigförklara och döda idéer så snabbt och billigt som möjligt.

Första principers tänkande är inte särskilt användbart i sig själv. Vi tenderar att para det med backcasting, som i princip innebär att man föreställer sig en idealisk eller önskad framtida utgång och arbetar bakåt för att identifiera de olika stegen eller åtgärderna som behövs för att uppnå den.

Allt detta kombinerat ger oss smidighet, snabba iterationscykler för att minska risker snabbt och har hjälpt oss att justera strategier med hög tillförlitlighet och göra mycket framsteg på mycket svåra problem på mycket kort tid.

Initialt fokuserade du på edge AI, vad fick dig att omfokusera och pivotera till molnberäkning?

Vi började med edge AI eftersom jag vid den tiden var mycket fokuserad på att lösa ett mycket specifikt problem som jag hade stött på i att införa en värld av allmänt syftande autonoma robotar. Autonoma robotar har potentialen att vara den största plattformsskiftningen i vår gemensamma historia, och det verkade som om vi hade allt som behövdes för att bygga en grundmodell för robotik, men vi saknade den idealiska inferenschippet med rätt balans av genomströmning, latens, energieffektivitet och programmerbarhet för att köra den modellen.

Jag tänkte inte på datacentret vid den tiden eftersom det fanns mer än tillräckligt med företag som fokuserade där och jag förväntade mig att de skulle lösa det. Vi designade en riktigt kraftfull arkitektur för detta programområde och var redo att börja producera den, och sedan blev det uppenbart att världen hade förändrats och att problemet verkligen var i datacentret.

Det kändes som att det var här vi skulle fokusera våra ansträngningar, för att minska energikostnaden för AI i datacenter så mycket som möjligt utan att påtvinga begränsningar för var och hur AI borde utvecklas.

Kan du dela historien om att medgrundande Lemurian Labs?

Historien börjar i början av 2018. Jag arbetade med att träna en grundmodell för allmänt syftande autonomi tillsammans med en modell för generativ multi-fysiksimulering för att träna agenten och finjustera den för olika tillämpningar, och några andra saker för att hjälpa skala upp till multi-agentmiljöer.

Men mycket snabbt uttömdes den mängd beräkning jag hade, och jag uppskattade att jag behövde mer än 20 000 V100-GPU:er. Jag försökte samla in tillräckligt med pengar för att få tillgång till beräkningen, men marknaden var inte redo för den skalan ännu.

Det fick mig att tänka på distributionsidan och jag satte mig ner för att beräkna hur mycket prestanda jag skulle behöva för att serva den modellen i målmiljöerna och jag insåg att det inte fanns någon chip som kunde ge mig det.

Ett par år senare, 2020, träffade jag Vassil – min eventuella medgrundare – för att hälsa på och jag delade de utmaningar jag hade mött i att bygga en grundmodell för autonomi, och han föreslog att bygga en inferenschip som kunde köra grundmodellen, och han delade att han hade tänkt mycket på talformat och bättre representationer som skulle hjälpa inte bara till att göra neuronnät mer exakta vid lägre bitbredd, men också till att skapa kraftfullare arkitektur.

Det var en intressant idé, men det var långt utanför min kompetens. Men det lämnade mig inte, vilket drev mig till att tillbringa månader och månader med att lära mig de intrikata detaljerna i datorarkitektur, instruktionsuppsättningar, körningar, kompilatorer och programmeringsmodeller.

Till slut började det att bli meningsfullt att bygga ett halvledarföretag och jag hade bildat en tes kring vad problemet var och hur man skulle gå tillväga. Och sedan, mot slutet av året, startade vi Lemurian.

Du har tidigare talat om behovet av att tackla mjukvara först när man bygger hårdvara, kan du förklara din syn på varför hårdvaruproblemet i första hand är ett mjukvaruproblem?

Vad många människor inte förstår är att mjukvarusidan av halvledare är mycket svårare än själva hårdvaran. Att bygga en användbar datorarkitektur för kunder att använda och dra nytta av är ett fullständigt stackproblem, och om man inte har den förståelsen och beredskapen från början kommer man att hamna med en vacker arkitektur som är mycket presterande och effektiv, men totalt oanvändbar för utvecklare, vilket är det som verkligen är viktigt.

Det finns andra fördelar med att ta en mjukvaruförst-approach också, som till exempel snabbare tid till marknaden. Detta är avgörande i dagens snabbt föränderliga värld, där att vara för optimistisk om en arkitektur eller funktion kan betyda att man missar marknaden helt.

Att inte ta en mjukvaruförst-synsätt resulterar vanligtvis i att man inte har avskräckt de viktiga sakerna som krävs för produktacceptans på marknaden, inte kan svara på förändringar på marknaden, till exempel när arbetsbelastningar utvecklas på ett oförutsägbart sätt, och har underutnyttjad hårdvara.

Kan du diskutera dina omedelbara mjukvarustackmål?

När vi designade vår arkitektur och tänkte på den framtida vägkartan och var möjligheterna var att bringa mer prestanda och energieffektivitet, började det bli väldigt tydligt att vi skulle se mycket mer heterogenitet, vilket skulle skapa många problem på mjukvarusidan.

Det fick oss att oroa oss eftersom den senaste gången vi behövde gå igenom en stor omställning var när branschen gick från enkärniga till flerkärniga arkitekturer, och vid den tiden tog det 10 år att få mjukvaran att fungera och människor att använda den.

Vi kan inte vänta 10 år för att lösa mjukvaruproblemen för heterogenitet i stor skala, det måste lösas nu. Så vi satte oss ner för att förstå problemet och vad som behöver finnas till för att den här mjukvarustacken ska existera.

Vi samarbetar för närvarande med många av de ledande halvledarföretagen och hyperskalare/molntjänsteleverantörer och kommer att släppa vår mjukvarustack under de kommande 12 månaderna. Det är en enhetlig programmeringsmodell med en kompilator och körning som kan rikta sig mot vilken typ av arkitektur som helst, och som kan samordna arbete över kluster som består av olika typer av hårdvara, och som kan skalas från en enda nod till en kluster med tusen noder för den högsta möjliga prestandan.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Lemurian Labs.