Jay Dawani je spoluzakladatelem a generálním ředitelem Lemurian Labs – Interview Series

Jay Dawani je spoluzakladatelem a generálním ředitelem Lemurian Labs. Lemurianské laboratoře je posláním dodávat cenově dostupné, dostupné a efektivní počítače s umělou inteligencí, poháněné přesvědčením, že umělá inteligence by neměla být luxusem, ale nástrojem dostupným pro každého. Zakládající tým v Lemurian Labs kombinuje odborné znalosti v oblasti umělé inteligence, kompilátorů, numerických algoritmů a počítačové architektury, které spojuje jediný účel: přetvořit zrychlené výpočty.

Můžete nám projít vaše pozadí a wco tě přivedlo do AI pro začátek?

Absolutně. Od 12 let jsem programoval a vytvářel si vlastní hry a podobně, ale k umělé inteligenci jsem se vlastně dostal, když mi bylo 15 kvůli kamarádovi mých otců, který se věnoval počítačům. Podnítil mou zvědavost a dal mi k přečtení knihy, jako je Von Neumannův „Počítač a mozek“, Minského „Perceptrony“, Russel a Norvigův „AI A Modern Approach“. Tyto knihy hodně ovlivnily mé myšlení a tehdy mi bylo téměř zřejmé, že umělá inteligence bude transformační a já prostě musím být součástí tohoto oboru. 

Když přišel čas na univerzitu, opravdu jsem chtěl studovat umělou inteligenci, ale nenašel jsem žádnou univerzitu, která by to nabízela, a tak jsem se rozhodl studovat aplikovanou matematiku a chvíli poté, co jsem se dostal na univerzitu, jsem se doslechl o výsledcích AlexNet na ImageNet, což bylo opravdu vzrušující. V té době jsem měl v hlavě tento okamžik teď nebo nikdy a pustil jsem se naplno do čtení všech novin a knih, které se mi dostaly do rukou a které se týkaly neuronových sítí, a hledal jsem všechny lídry v oboru, abych se z nich poučil, protože jak často stojíte u zrodu nového odvětví a učíte se od jeho průkopníků. 

Velmi rychle jsem si uvědomil, že mě nebaví výzkum, ale baví mě řešit problémy a vytvářet produkty s umělou inteligencí. To mě vedlo k práci na autonomních autech a robotech, AI pro objevování materiálů, generativních modelech pro multifyzikální simulace, simulátorech založených na AI pro výcvik profesionálních řidičů závodních aut a pomoc s nastavením auta, vesmírných robotů, algoritmické obchodování a mnoho dalšího. 

Nyní, když jsem to všechno udělal, se snažím ovládnout náklady na školení a nasazení umělé inteligence, protože to bude největší překážka, které čelíme na naší cestě k vytvoření světa, kde každý člověk a společnost může mít přístup k umělé inteligenci a těžit z ní. co nejekonomičtějším způsobem.

Mnoho společností pracujících v oblasti zrychlených počítačů má zakladatele, kteří si vybudovali kariéru v oblasti polovodičů a infrastruktury. Jak si myslíte, že vaše minulá zkušenost s umělou inteligencí a matematikou ovlivňuje vaši schopnost porozumět trhu a účinně konkurovat?

Vlastně si myslím, že to, že nepocházím z branže, mi dává tu výhodu, že mám výhodu outsidera. Dost často jsem zjistil, že neznalost průmyslových norem nebo konvenčních moudrostí dává člověku svobodu zkoumat svobodněji a jít hlouběji než většina ostatních, protože nejste zatíženi předsudky. 

Mám svobodu klást „hloupější“ otázky a testovat předpoklady způsobem, který by většina ostatních nedělala, protože spousta věcí je uznávanou pravdou. V posledních dvou letech jsem vedl několik rozhovorů s lidmi v oboru, kde jsou o něčem velmi dogmatičtí, ale nemohou mi říct původ myšlenky, což mi připadá velmi matoucí. Rád rozumím tomu, proč byly učiněny určité volby a jaké předpoklady nebo podmínky v té době existovaly a zda stále platí. 

Pocházím z prostředí umělé inteligence a obvykle se dívám na software tak, že se podívám na to, kde jsou dnes pracovní zátěže, a zde jsou všechny možné způsoby, jak se mohou v průběhu času měnit, a modeluji celý kanál ML pro školení a vyvozování, abych pochopil úzká místa, což říká kde jsou příležitosti k poskytování hodnoty. A protože pocházím z matematického prostředí, rád modeluji věci, abych se co nejvíce přiblížil pravdě, a to mě vedlo. Například jsme vytvořili modely pro výpočet výkonu systému pro celkové náklady na vlastnictví a můžeme měřit výhody, které můžeme zákazníkům přinést se softwarem a/nebo hardwarem a abychom lépe porozuměli našim omezením a různým knobům, které máme k dispozici, a desítkám jiné modely pro různé věci. Jsme velmi řízeni daty a poznatky z těchto modelů využíváme k usměrňování našeho úsilí a kompromisů. 

Zdá se, že pokrok v AI pochází především ze škálování, které vyžaduje exponenciálně více výpočetní techniky a energie. Zdá se, že jsme v závodě ve zbrojení, kde se každá společnost snaží postavit ten největší model, a zdá se, že konec v nedohlednu. Myslíte, že je z toho cesta ven?

Vždy existují způsoby. Škálování se ukázalo jako extrémně užitečné a myslím, že jsme se ještě nedočkali konce. Velmi brzy uvidíme trénovat modelky s náklady nejméně miliardy dolarů. Pokud chcete být lídrem v oblasti generativní umělé inteligence a vytvářet modely základních modelů, budete muset utratit alespoň několik miliard ročně za výpočetní techniku. Nyní existují přirozené limity pro škálování, jako je schopnost sestavit dostatečně velkou datovou sadu pro model takové velikosti, získat přístup k lidem se správným know-how a získat přístup k dostatečnému množství výpočetní techniky. 

Pokračující škálování velikosti modelu je nevyhnutelné, ale také nemůžeme ze zřejmých důvodů proměnit celý zemský povrch v superpočítač velikosti planety, který by trénoval a sloužil LLM. Abychom to dostali pod kontrolu, máme několik knobů, se kterými si můžeme hrát: lepší datové sady, nové architektury modelů, nové tréninkové metody, lepší kompilátory, vylepšení a využití algoritmů, lepší počítačové architektury a tak dále. Pokud to všechno uděláme, můžeme nalézt zhruba tři řády zlepšení. To je nejlepší cesta ven. 

Jste zastáncem myšlení prvních principů, jak to formuje vaše myšlení ohledně toho, jak vedete Lemurian Labs?

V Lemurianu rozhodně využíváme mnoho prvních principů myšlení. Vždy jsem považoval konvenční moudrost za zavádějící, protože tyto znalosti byly vytvořeny v určitém okamžiku, kdy platily určité předpoklady, ale věci se vždy mění a je třeba často znovu testovat předpoklady, zvláště když žijete v tak rychlém světě. 

Často se přistihnu, jak si kladu otázky jako „toto vypadá jako opravdu dobrý nápad, ale proč by to nemohlo fungovat“ nebo „co musí být pravda, aby to fungovalo“, nebo „co víme, že jsou absolutní pravdy a jaké jsou naše předpoklady a proč?“ nebo „proč věříme, že tento konkrétní přístup je nejlepší způsob, jak tento problém vyřešit“. Cílem je zneplatnit a zabít nápady co nejrychleji a nejlevněji. Chceme se pokusit maximalizovat počet věcí, které zkoušíme v daném okamžiku. Jde o to být posedlý problémem, který je třeba vyřešit, a nemít přehnané názory na to, která technologie je nejlepší. Příliš mnoho lidí má tendenci se přehnaně soustředit na technologii a nakonec nepochopí problémy zákazníků a přehlédnou přechody probíhající v odvětví, které by mohly zneplatnit jejich přístup, což by mělo za následek jejich neschopnost přizpůsobit se novému stavu světa.

Ale myšlení na základě prvních principů není samo o sobě tak užitečné. Máme tendenci to spárovat s backcastingem, což v podstatě znamená představit si ideální nebo požadovaný budoucí výsledek a pracovat zpětně na identifikaci různých kroků nebo akcí potřebných k jeho realizaci. To zajišťuje, že se sblížíme se smysluplným řešením, které je nejen inovativní, ale také založené na realitě. Nemá smysl trávit čas vymýšlením dokonalého řešení, jen abyste si uvědomili, že není proveditelné stavět kvůli různým omezením reálného světa, jako jsou zdroje, čas, regulace nebo budování zdánlivě dokonalého řešení, ale později zjistíte, jste příliš ztížili, aby si jej zákazníci osvojili.

Tu a tam se ocitáme v situaci, kdy se potřebujeme rozhodnout, ale nemáme žádná data, a v tomto scénáři používáme minimum testovatelných hypotéz, které nám dávají signál, zda má smysl něco usilovat s co nejmenším množstvím. energetického výdeje. 

To vše dohromady nám dává agilitu, rychlé iterační cykly k rychlému odstranění rizikových položek a pomohlo nám to upravit strategie s vysokou jistotou a dosáhnout velkého pokroku u velmi těžkých problémů ve velmi krátkém čase. 

Zpočátku jste se soustředili na hrana AI, co vás přimělo přeorientovat se a přejít na cloud computing?

Začali jsme s okrajovou umělou inteligencí, protože jsem se v té době velmi soustředil na řešení velmi konkrétního problému, kterému jsem čelil při pokusu uvést svět autonomní robotiky pro obecné účely. Autonomní robotika je příslibem největšího posunu platformy v naší společné historii a zdálo se, že jsme měli vše potřebné k vybudování základního modelu pro robotiku, ale chyběl nám ideální inferenční čip se správnou rovnováhou propustnosti, latence a energetické účinnosti. a programovatelnost pro spuštění uvedeného základního modelu.

V tuto chvíli jsem o datovém centru neuvažoval, protože se tam zaměřovalo více než dost společností a očekával jsem, že na to přijdou. Navrhli jsme skutečně výkonnou architekturu pro tento aplikační prostor a připravovali jsme se na její nalepení, a pak bylo naprosto jasné, že svět se změnil a problém je skutečně v datovém centru. Rychlost, s jakou LLM škálovaly a spotřebovávaly výpočty, daleko předčí tempo pokroku v oblasti výpočetní techniky, a když zohledníte přijetí, začne to vytvářet znepokojivý obrázek. 

Zdálo se, že právě na toto bychom měli zaměřit své úsilí, abychom co nejvíce snížili energetické náklady AI v datových centrech, aniž bychom uvalili omezení na to, kde a jak by se AI měla vyvíjet. A tak musíme pracovat na vyřešení tohoto problému. 

Můžete se podělit o příběh vzniku spoluzakládajících Lemurian Labs?

Příběh začíná počátkem roku 2018. Pracoval jsem na trénování základního modelu pro obecnou autonomii spolu s modelem pro generativní multifyzikální simulaci pro zaškolení agenta a jeho doladění pro různé aplikace a na některých dalších věcech, které pomohou škálovat do více -prostředí agentů. Ale velmi rychle jsem vyčerpal množství počítačů, které jsem měl, a odhadoval jsem, že potřebuji více než 20,000 100 GPU VXNUMX. Snažil jsem se získat dost peněz, abych získal přístup k výpočtům, ale trh ještě nebyl připraven na takový rozsah. Přimělo mě to však přemýšlet o implementační stránce věcí a posadil jsem se, abych si spočítal, kolik výkonu budu potřebovat pro obsluhu tohoto modelu v cílových prostředích, a uvědomil jsem si, že neexistuje žádný čip, který by mě tam mohl dostat. 

O pár let později, v roce 2020, jsem se setkal s Vassilem – mým konečným spoluzakladatelem –, abych to dohnal, a podělil jsem se o výzvy, kterými jsem prošel při budování základního modelu pro autonomii, a on mi navrhl vytvořit inferenční čip, který by mohl řídit nadaci. a řekl, že hodně přemýšlel o formátech čísel a lepší reprezentace by pomohly nejen k tomu, aby si neuronové sítě zachovaly přesnost při nižších bitových šířkách, ale také při vytváření výkonnějších architektur. 

Byl to zajímavý nápad, ale vyšel z mého kormidelny. Ale neopustilo mě to, což mě přimělo trávit měsíce a měsíce učením se složitosti počítačové architektury, instrukčních sad, runtime, kompilátorů a programovacích modelů. Nakonec budování polovodičové společnosti začalo dávat smysl a já jsem si vytvořil tezi o tom, v čem je problém a jak na to. A ke konci roku jsme začali s Lemurianem. 

Již dříve jste mluvili o tom, že je potřeba řešit nejprve software při sestavování hardwaru, mohl byste upřesnit své názory na to, proč je problém s hardwarem v první řadě problémem se softwarem?

Mnoho lidí si neuvědomuje, že softwarová stránka polovodičů je mnohem těžší než samotný hardware. Vybudovat užitečnou počítačovou architekturu, kterou by zákazníci mohli používat a využívat ji, je problém plného zásobníku, a pokud nemáte toto porozumění a připravenost, skončíte s nádherně vypadající architekturou, která je velmi výkonná a efektivní. ale vývojáři naprosto nepoužitelný, což je vlastně důležité. 

Zavedení přístupu k softwaru jako první má samozřejmě i další výhody, například rychlejší uvedení na trh. To je zásadní v dnešním rychle se vyvíjejícím světě, kde příliš býčí architektura nebo funkce může znamenat, že úplně minete trh. 

To, že se na software nepodíváte na první pohled, obecně vede k tomu, že se nepodceňujete důležité věci potřebné pro přijetí produktu na trh, nejste schopni reagovat na změny na trhu, například když se pracovní zátěže vyvíjejí neočekávaným způsobem, a máte nedostatečně využívaný hardware. Všechno nejsou skvělé věci. To je velký důvod, proč nám hodně záleží na tom, abychom byli zaměřeni na software, a proč náš názor je takový, že nemůžete být společností vyrábějící polovodiče, aniž byste skutečně byli softwarovou společností. 

Můžete prodiskutovat své bezprostřední cíle v oblasti softwarového balíčku?

Když jsme navrhovali naši architekturu a přemýšleli o perspektivním plánu ao tom, kde byly příležitosti přinést vyšší výkon a energetickou účinnost, začalo být velmi jasné, že uvidíme mnohem větší heterogenitu, která způsobí spoustu problémů. na softwaru. A nepotřebujeme být schopni produktivně programovat heterogenní architektury, musíme se s nimi vypořádat v měřítku datových center, což je výzva, s jakou jsme se ještě nesetkali. 

To nás znepokojilo, protože naposledy jsme museli projít velkým přechodem, když průmysl přešel z jednojádrových na vícejádrové architektury a v té době trvalo 10 let, než software fungoval a lidé jej používali. Nemůžeme si dovolit čekat 10 let, než přijdeme na software pro heterogenitu ve velkém měřítku, musíme to vyřešit hned. A tak jsme museli pracovat na pochopení problému a toho, co musí existovat, aby tento softwarový balík mohl existovat. 

V současné době spolupracujeme s mnoha předními polovodičovými společnostmi a poskytovateli hyperscalerů/cloudových služeb a během příštích 12 měsíců uvolníme náš softwarový balík. Jedná se o jednotný programovací model s kompilátorem a runtime schopným zacílit na jakýkoli druh architektury a orchestrovat práci napříč clustery složenými z různých druhů hardwaru a je schopen škálování z jednoho uzlu na cluster tisíce uzlů pro nejvyšší možný výkon. .

Děkuji za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Lemurianské laboratoře.