Jay Dawani je spoluzakladatel a CEO Lemurian Labs – Interview Series

Jay Dawani je spoluzakladatel a CEO Lemurian Labs. Lemurian Labs má za cíl dodávat dostupné, přístupné a efektivní počítače s umělou inteligencí, poháněné přesvědčením, že umělá inteligence by neměla být luxusem, ale nástrojem dostupným všem. Zakládající tým v Lemurian Labs kombinuje odborné znalosti v oblasti umělé inteligence, kompilátorů, numerických algoritmů a počítačové architektury, sjednocené jediným účelem: přepracovat urychlené výpočty.

Můžete nás provést vaším pozadím a tím, co vás přivedlo k umělé inteligenci?

Samozřejmě. Já programoval od 12 let a vytvářel své vlastní hry a podobně, ale vlastně jsem se dostal k umělé inteligenci ve 15 letech díky kamarádovi mého otce, který se zajímal o počítače. On nakrmil mou zvědavost a dal mi knihy k přečtení, jako je Von Neumannova „Počítač a mozek“, Minskyho „Perceptrony“, Russelova a Norviga „Umělá inteligence – moderní přístup“. Tyto knihy hodně ovlivnily mé myšlení a zdálo se mi skoro samozřejmé, že umělá inteligence bude transformační a já prostě musel být součástí tohoto oboru.

Když přišla doba na univerzitu, opravdu jsem chtěl studovat umělou inteligenci, ale nenašel jsem žádné univerzity, které by to nabízely, takže jsem se rozhodl studovat aplikovanou matematiku a trochu později, co jsem se dostal na univerzitu, jsem se dozvěděl o výsledcích AlexNetu na ImageNet, což bylo opravdu vzrušující. V té době jsem měl takový „teď nebo nikdy“ moment v hlavě a šel jsem naplno do čtení všech možných článků a knih souvisejících s neuronovými sítěmi a hledal jsem všechny lídry v oboru, aby se od nich mohl učit, protože jak často máte možnost být u zrodu nového odvětví a učit se od jeho průkopníků.

Velmi rychle jsem si uvědomil, že se mi nelíbí výzkum, ale líbí se mi řešit problémy a vytvářet produkty s umělou inteligencí. To mě vedlo k práci na autonomních autech a robotech, umělé inteligenci pro objev materiálu, generativních modelech pro multi-fyzikální simulace, simulátorech pro trénink profesionálních závodních řidičů a nastavení aut, roboty pro vesmír, algoritmickém obchodování a mnoho dalšího.

Nyní, po tom, co jsem tohle všechno udělal, se snažím zvládnout náklady na trénink a nasazení umělé inteligence, protože to bude největší překážka, se kterou se budeme potýkat na naší cestě k umožnění světa, kde každý člověk a společnost může mít přístup k umělé inteligenci nejekonomičtějším způsobem.

Mnohé společnosti pracující v urychleném výpočtu mají zakladatele, kteří vybudovali kariéru v polovodičích a infrastruktuře. Jak si myslíte, že vaše předchozí zkušenosti s umělou inteligencí a matematikou ovlivňují vaši schopnost porozumět trhu a účinně soutěžit?

Skutečně si myslím, že nepřicházet z odvětví mi dává výhodu outsidera. Mnohokrát jsem zjistil, že nemít znalosti o průmyslových normách nebo konvenční moudrosti mi dává svobodu prozkoumat věci více a jít hlouběji, než by šli ostatní, protože nejsem zatížen předpojatostmi.

Mám svobodu klást „hloupější“ otázky a testovat předpoklady způsobem, jakým by to ostatní neudělali, protože mnoho věcí je přijato jako pravda. V posledních dvou letech jsem měl několik rozhovorů s lidmi z odvětví, kteří jsou velmi dogmaticky nakloněni něčemu, ale nemohou mi říci, odkud pochází tato myšlenka, což mě velmi mátne. Rád bych pochopil, proč byly učiněny určité volby, a jaké předpoklady nebo podmínky existovaly v té době a zda tyto předpoklady stále platí.

Přicházející z pozadí umělé inteligence, mám tendenci se dívat na software a zjišťovat, kde jsou dnes zátěže, a zde jsou všechny možné způsoby, jak se mohou změnit v čase, a modeluji celý proces strojového učení pro trénink a inferenci, abych pochopil úzká místa, která mi ukazují, kde jsou příležitosti k dodání hodnoty. A protože pocházím z matematického pozadí, rád věci modeluji, abych se dostal co nejblíže k pravdě, a to mě vede. Například jsme vytvořili modely pro výpočet systémového výkonu pro celkové náklady na vlastnictví a můžeme měřit výhody, které můžeme přinést zákazníkům se softwarem a/nebo hardwarem, a lépe pochopit naše omezení a různé možnosti, které máme k dispozici, a desítky dalších modelů pro různé věci. Jsme velmi datově orientovaní a používáme poznatky z těchto modelů k vedení našich úsilí a kompromisů.

Zdá se, že pokrok v umělém inteligenci pochází primárně ze škálování, které vyžaduje exponenciálně více výpočetního výkonu a energie. Zdá se, že jsme v závodě ve zbrojení, kdy každá společnost se snaží postavit největší model, a nezdá se, že by byl konec tohoto trendu. Myslíte si, že existuje způsob, jak z tohoto trendu ven?

Vždy existují způsoby. Škálování se ukázalo jako velmi užitečné a nemyslím si, že jsme viděli jeho konec. Brzy uvidíme modely trénované za cenu alespoň jedné miliardy dolarů. Pokud chcete být lídrem v generativní umělém inteligenci a vytvořit špičkové základní modely, budete muset každý rok utratit alespoň několik miliard dolarů za výpočetní výkon.

Pokračující škálování velikosti modelů je nevyhnutelné, ale nemůžeme proměnit celou zemskou povrch v planetární superpočítač pro trénink a poskytování LLM pro zřejmé důvody. Abychom tento problém zvládli, máme několik možností, se kterými můžeme experimentovat: lepší datové sady, nové architektury modelů, nové metody tréninku, lepší kompilátory, algoritmické zlepšení a využití, lepší architektury počítačů a tak dále. Pokud uděláme vše tohle, existuje zhruba tři řády zlepšení, které můžeme dosáhnout. To je nejlepší způsob, jak z tohoto trendu ven.

Jste zastáncem myšlení z prvního principu, jak tohle ovlivňuje váš přístup k řízení Lemurian Labs?

Určitě uplatňujeme hodně myšlení z prvního principu v Lemurian. Já vždycky jsem našel konvenční moudrost matoucí, protože tato znalost byla vytvořena v určitém okamžiku, kdy platily určité předpoklady, ale věci se vždy mění a musíte často retestovat předpoklady, zejména když žijete v tak rychle se měnícím světě.

Často se ptám otázek, jako „toto se zdá být opravdu dobrý nápad, ale proč by to nemělo fungovat“, nebo „co musí být pravdou, aby to fungovalo“, nebo „co víme, že jsou absolutní pravdy a co jsou předpoklady, které děláme, a proč?“, nebo „proč věříme, že tento konkrétní přístup je nejlepší způsob, jak vyřešit tento problém“. Cílem je co nejrychleji a nejlevněji zpochybnit a zrušit nápady. Chceme maximalizovat počet věcí, které zkusíme v daném okamžiku. Je to o tom, být posedlý problémem, který musí být vyřešen, a nebýt příliš názorový na technologii. Mnozí lidé se příliš soustředí na technologii a pak nepochopí problémy zákazníků a propásnou přechody, které se dějí v odvětví, což může zneplatnit jejich přístup a způsobit, že nebudou moci se přizpůsobit novému stavu světa.

Myšlení z prvního principu samo o sobě není příliš užitečné. My tendujeme pairovat to s backcastingem, což基本ně znamená představit si ideální nebo požadovaný výsledek a pracovat zpět, aby identifikovat různé kroky nebo akce potřebné k dosažení tohoto výsledku. To zajišťuje, že se dostaneme k smysluplnému řešení, které není pouze inovativní, ale také založené na realitě. Není smysluplné trávit čas vytvářením perfektního řešení, pouze abychom později zjistili, že není možné jej postavit kvůli různým skutečným omezením, jako jsou zdroje, čas, regulace, nebo vytvořit zdánlivě perfektní řešení, ale později zjistit, že jsme je udělali příliš složité pro zákazníky, aby je mohli přijmout.

Občas se ourselves v situaci, kdy potřebujeme učinit rozhodnutí, ale nemáme žádná data, a v tomto scénáři používáme minimálně testovatelné hypotézy, které nám dávají signál, zda něco má smysl sledovat s minimálním výdajem energie.

Všechno tohle dohromady nám dává agilitu, rychlé iterace pro rychlé odstranění rizik, a pomohlo nám upravit strategie s vysokou jistotou a udělat mnoho pokroku na velmi složitých problémech za velmi krátkou dobu.

Původně jste se soustředili na edge AI, co vás vedlo k přehodnocení a přechodu k cloud computingu?

Začali jsme s edge AI, protože v té době jsem byl velmi soustředěn na řešení konkrétního problému, se kterým jsem se setkal při pokusu o zavedení světa obecně použitelné autonomní robotiky. Autonomní robotika slibuje být největší platformní změnou v naší kolektivní historii, a zdálo se, že máme všechno potřebné k vytvoření základního modelu pro robotiku, ale chyběl nám ideální čip pro inferenci s pravým poměrem propustnosti, latence, energetické efektivity a programovatelnosti pro spuštění zmíněného základního modelu.

Nezaměřoval jsem se na datový středisko, protože tam byly dostatečně mnoho společností, které se na to soustředily, a očekával jsem, že oni to vyřeší. Navrhli jsme opravdu silnou architekturu pro tuto aplikaci a byli jsme připraveni ji uvést do provozu, a pak bylo jasné, že se svět změnil a problém skutečně byl v datovém středisku. Rychlost, s jakou se LLM škálovaly a spotřebovávaly výpočetní výkon, daleko překračovala tempo pokroku v počítačích, a když faktorujete přijetí, začíná to malovat znepokojivý obraz.

Zdálo se, že toto je místo, kde bychom měli soustředit naše úsilí, aby snížit energetické náklady na umělou inteligenci v datových střediscích, jak je to možné, bez uvalení omezení na to, kde a jak by se umělá inteligence měla vyvíjet. A tak jsme se pustili do řešení tohoto problému.

Můžete sdílet příběh o založení Lemurian Labs?

Příběh začíná na počátku roku 2018. Pracoval jsem na tréninku základního modelu pro obecnou autonomii spolu s modelem pro generativní multi-fyzikální simulaci pro trénink agenta a jemné doladění pro různé aplikace, a některé další věci, aby se mohly škálovat do multi-agentních prostředí. Ale velmi rychle jsem vyčerpal dostupný výpočetní výkon, a odhadl jsem, že budu potřebovat více než 20 000 GPU V100. Zkusil jsem získat dostatek prostředků na přístup k výpočetnímu výkonu, ale trh nebyl připraven na takový rozsah ještě. To mě ale přimělo přemýšlet o straně nasazení a posadil jsem se, aby spočítal, kolik výkonu bych potřeboval pro spuštění tohoto modelu v cílovém prostředí, a uvědomil jsem si, že neexistuje žádný čip, který by mi to mohl poskytnout.

O pár let později, v roce 2020, jsem se setkal s Vassilem – mým budoucím spoluzakladatelem – aby jsme si povídali a sdílel jsem s ním výzvy, se kterými jsem se setkal při budování základního modelu pro autonomii, a on navrhl postavení čipu pro inferenci, který by mohl spustit základní model, a sdílel, že hodně přemýšlel o formátech čísel a lepší reprezentace by mohla pomoci nejenom udržení přesnosti neuronových sítí při nižších bitových šířkách, ale také při vytváření silnějších architektur.

Byla to zajímavá myšlenka, ale byla daleko mimo mou specializaci. Ale nemohla mě opustit, což mě vedlo k tomu, že jsem strávil měsíce a měsíce učením se o jemnostech počítačové architektury, souborů instrukcí, runtime, kompilátorů a programovacích modelů. Nakonec mi začalo dávat smysl budování polovodičové společnosti a vytvořil jsem si tezi o problému a o tom, jak ho řešit. A pak na konci roku jsme založili Lemurian.

Mluvili jste dříve o potřebě řešit software nejdříve, když budujete hardware, můžete vysvětlit, proč problém hardwaru je především problém softwaru?

Co mnoho lidí neuvědomuje, je to, že softwarová strana polovodičů je mnohem složitější než hardware sám. Budování užitečné počítačové architektury pro zákazníky, aby ji mohli použít a získat z ní prospěch, je plný problém, a pokud nemáte toto porozumění a připravenost na začátku, skončíte s krásně vypadající architekturou, která je velmi výkonná a efektivní, ale absolutně nepoužitelnou pro vývojáře, což je to, co je skutečně důležité.

Existují i další výhody softwarově-first přístupu, jako je rychlejší čas na trh. To je zásadní v dnešním rychle se měnícím světě, kde být příliš optimistický ohledně architektury nebo funkce by mohlo znamenat, že budete chybět trh úplně.

Nebýt softwarově-first přístupem obecně vede k tomu, že nebudete mít derisked důležité věci potřebné pro přijetí produktu na trhu, nebudete moci reagovat na změny na trhu, například když se zátěže vyvíjejí neočekávaným způsobem, a budete mít nevyužitý hardware. To nejsou dobré věci. To je velký důvod, proč se staráme o to, být softwarově-orientovaní, a proč náš pohled je, že nemůžete být polovodičovou společností, aniž byste byli skutečně softwarovou společností.

Můžete diskutovat o vašich bezprostředních cílech softwarového stacku?

Když jsme navrhovali naší architekturu a přemýšleli o budoucím roadmapu a kde jsou příležitosti k přinesení více výkonu a energetické efektivity, začalo být jasné, že uvidíme mnohem více heterogenity, což bude vytvářet mnoho problémů na softwarové straně. A my nemusíme být schopni produktivně programovat heterogenní architektury, musíme se také vypořádat s nimi v měřítku datového střediska, což je výzva, jakou jsme dosud nezažili.

To nás znepokojilo, protože posledně, kdy jsme museli projít velkou transformací, bylo, když se průmysl přesunul z jednoválcových na vícejádrové architektury, a v té době to trvalo 10 let, než se software začal používat a lidé ho začali používat. Nemůžeme si dovolit čekat 10 let, než budeme moci vyřešit software pro heterogenitu v měřítku, musí to být vyřešeno hned. A tak jsme se pustili do pochopení problému a toho, co musí existovat, aby softwarový stack mohl existovat.

Pracujeme s mnoha předními polovodičovými společnostmi a hyperscalery/cloudovými poskytovateli a budeme vydávat náš softwarový stack v příštích 12 měsících. Je to sjednocený programovací model s kompilátorem a runtime, který může cílit na jakoukoli architekturu, a orchestrací práce napříč klastry složenémi z různých typů hardwaru, a je schopný škálovat od jednoho uzlu na tisíc uzlů pro nejvyšší možný výkon.

Děkujeme za skvělý rozhovor, čtenáři, kteří chtějí se更多 dozvědět, by měli navštívit Lemurian Labs.