Jay Dawani je spoluzakladatel a CEO Lemurian Labs – Interview Series

Jay Dawani je spoluzakladatel a CEO Lemurian Labs. Lemurian Labs má za cíl dodávat dostupné, přístupné a efektivní počítače s umělou inteligencí, poháněné vírou, že umělá inteligence by neměla být luxusem, ale nástrojem dostupným všem. Zakládající tým Lemurian Labs kombinuje odborné znalosti v oblasti umělé inteligence, kompilátorů, numerických algoritmů a počítačové architektury, spojené jediným účelem: přepracovat urychlené výpočty.

Můžete nás provést vaším pozadím a tím, co vás přivedlo k umělé inteligenci?

Určitě. Já jsem programoval od 12 let a vytvářel své vlastní hry a podobně, ale vlastně jsem se dostal k umělé inteligenci, když mi bylo 15, díky příteli mého otce, který se zajímal o počítače. On nakrmil mou zvědavost a dal mi knihy k přečtení, jako je Von Neumannova „Počítač a mozek“, Minskyho „Perceptrony“, Russel a Norvig „Umělá inteligence – Moderní přístup“. Tyto knihy hodně ovlivnily mé myšlení a zdálo se mi skoro samozřejmé, že umělá inteligence bude transformační a já prostě musel být součástí tohoto oboru.

Když nastal čas pro univerzitu, opravdu jsem chtěl studovat umělou inteligenci, ale nenašel jsem žádnou univerzitu, která by nabízela tento obor, takže jsem se rozhodl studovat aplikovanou matematiku a trochu později, co jsem byl na univerzitě, jsem se dozvěděl o výsledcích AlexNetu na ImageNetu, což bylo opravdu vzrušující. V té době jsem měl takový „teď nebo nikdy“ moment v hlavě a šel jsem naplno do čtení každé možné práce a knihy související s neuronovými sítěmi a hledal všechny lídry v oboru, aby se od nich mohl učit, protože jak často máte možnost být u zrodu nové branže a učit se od jejích průkopníků.

Velmi brzy jsem si uvědomil, že mě výzkum nebaví, ale mám rád řešení problémů a vytváření produktů s umělou inteligencí. To mě vedlo k práci na autonomních autech a robotech, umělé inteligenci pro objevování materiálů, generativních modelech pro multi-fyzikální simulace, simulátorech pro trénink profesionálních řidičů a nastavení aut, roboty pro vesmír, algoritmické obchodování a mnoho dalšího.

Nyní, po tom, co jsem všechno tohle udělal, snažím se omezit náklady na trénink a nasazení umělé inteligence, protože to bude největší překážka, se kterou se budeme potýkat na naší cestě k umožnění světa, kde každý člověk a společnost může mít přístup k umělé inteligenci nejekonomičtějším způsobem.

Mnohé společnosti, které pracují v oblasti urychlených výpočtů, mají zakladatele, kteří postavili své kariéry ve polovodičích a infrastruktuře. Jak podle vás vaše předchozí zkušenosti v oblasti umělé inteligence a matematiky ovlivňují vaši schopnost porozumět trhu a účinně soutěžit?

Já si vlastně myslím, že to, že nepřicházím z tohoto odvětví, mi dává výhodu outsidera. Mnohokrát jsem zjistil, že nevědět o průmyslových normách nebo konvenčních moudrostech mi dává svobodu prozkoumat věci více a jít hlouběji, než by šli ostatní, protože nejsem zatížen předpojatostmi.

Mám svobodu klást „hloupější“ otázky a testovat předpoklady způsobem, jakým by to jiní neudělali, protože mnohé věci jsou přijímány jako pravdy. V posledních dvou letech jsem měl několik rozhovorů s lidmi z odvětví, kteří jsou velmi dogmaticky přesvědčeni o něčem, ale nemohou mi říct, odkud pochází tato myšlenka, což mě velmi mátne. Mám rád, když rozumím, proč byly učiněny určité volby, a co byly předpoklady nebo podmínky, které platily v té době, a zda tyto předpoklady stále platí.

Přicházím z pozadí umělé inteligence, takže se dívám na to, kde jsou dnes zátěže, a zde jsou všechny možné způsoby, jak se mohou změnit v čase, a modeluji celou pipeline ML pro trénink a inferenci, abych pochopil úzká místa, která mi říkají, kde jsou příležitosti k dodání hodnoty. A protože pocházím z matematického pozadí, rád věci modeluji, abych se dostal co nejblíže k pravdě, a nechám se jím vést. Například jsme vytvořili modely pro výpočet systémového výkonu pro celkové náklady na vlastnictví a můžeme měřit prospěch, který můžeme přinést zákazníkům se softwarem a/nebo hardwarem, a lépe pochopit naše omezení a různé možnosti, které máme k dispozici, a desítky dalších modelů pro různé věci. Jsme velmi datově orientovaní a používáme poznatky z těchto modelů k vedení našich úsilí a kompromisů.

Zdá se, že pokrok v oblasti umělé inteligence pochází především ze škálování, které vyžaduje exponenciálně více výpočetního výkonu a energie. Zdá se, že jsme v závodě ve zbrojení, kde každá společnost se snaží postavit největší model, a nezdá se, že by byl vidět konec. Myslíte, že existuje způsob, jak z tohoto dostat?

Vždy existují způsoby. Škálování se ukázalo jako velmi užitečné a já si nemyslím, že jsme viděli jeho konec. Brzy uvidíme modely, které budou trénovány za cenu alespoň miliardy dolarů. Pokud chcete být lídrem v oblasti generativní umělé inteligence a vytvořit špičkové základní modely, budete muset každý rok utratit alespoň několik miliard dolarů za výpočetní výkon.

Další škálování velikosti modelů je nevyhnutelné, ale nemůžeme proměnit celou zemskou povrch v planetární superpočítač, aby jsme trénovali a sloužili LLM. Abychom to dostali pod kontrolu, máme několik možností, se kterými můžeme pracovat: lepší datové sady, nové architektury modelů, nové metody tréninku, lepší kompilátory, algoritmické zlepšení a využití, lepší architektury počítačů a tak dále. Pokud uděláme vše tohle, je zde zhruba třířádový prostor pro zlepšení. To je nejlepší způsob, jak z tohoto dostat.

Jste zastáncem myšlení založeného na prvotních principech, jak tohle formuje váš přístup k vedení Lemurian Labs?

Určitě uplatňujeme mnoho myšlení založeného na prvotních principech v Lemurian. Já vždycky nalezl konvenční moudrost matoucí, protože tato znalost byla vytvořena v určitém okamžiku, kdy platily určité předpoklady, ale věci se vždy mění a musíte často testovat předpoklady, zejména v tak rychlém světě, ve kterém žijeme.

Často se ptám otázek, jako „toto vypadá jako opravdu dobrý nápad, ale proč by to nemuselo fungovat“, nebo „co musí být pravdou, aby tohle fungovalo“, nebo „co víme, že jsou absolutní pravdy a co jsou předpoklady, které děláme, a proč?“, nebo „proč věříme, že tento konkrétní přístup je nejlepší způsob, jak vyřešit tento problém“. Cílem je co nejrychleji a nejlevněji zneškodnit a zabít nápady. Chceme maximalizovat počet věcí, které zkoušíme v jakémkoli daném okamžiku.

Myšlení založené na prvotních principech samo o sobě není příliš užitečné. My tendujeme pairovat to s backcastingem, což znamená, že si představujeme ideální nebo požadovaný budoucí výsledek a pracujeme zpět, abychom identifikovali různé kroky nebo akce potřebné k dosažení toho. To zajišťuje, že konvergujeme na smysluplné řešení, které není pouze inovativní, ale také zakořeněné v realitě.

Několikrát se ourselves nacházíme v situaci, kdy potřebujeme učinit rozhodnutí, ale nemáme žádná data, a v tomto scénáři uplatňujeme minimální testovatelné hypotézy, které nám dávají signál, zda něco dává smysl sledovat s nejmenším možným výdajem energie.

Vše tohle kombinované nám dává agilitu, rychlé iterace, abychom mohli rychleji odstranit rizika, a pomohlo nám upravit strategie s vysokou důvěrou a udělat mnoho pokroku na velmi složitých problémech za velmi krátkou dobu.

Původně jste se zaměřovali na edge AI, co vás vedlo k přehodnocení a přechodu na cloud computing?

Začali jsme s edge AI, protože v té době jsem se velmi soustředil na řešení velmi konkrétního problému, se kterým jsem se setkal při pokusu o zavedení světa obecně účelových autonomních robotů. Autonomní robotika slibuje být největší platformovou změnou v naší kolektivní historii a zdálo se, že máme vše potřebné k vytvoření základního modelu pro robotiku, ale chyběla nám ideální inferenční čip s správnou rovnováhou propustnosti, latence, energetické efektivity a programovatelnosti pro běh tohoto základního modelu.

Nezaměřoval jsem se na datový středisko, protože tam bylo více než dost společností, které se tam soustředily, a očekával jsem, že je vyřeší. Navrhli jsme velmi silnou architekturu pro tuto aplikaci a byli jsme připraveni ji uvést do provozu, a pak bylo jasné, že se svět změnil a problém skutečně byl v datovém středisku. Rychlost, s jakou se LLM škálovaly a spotřebovávaly výpočetní výkon, daleko přesahuje tempo pokroku v počítačích a když vezmete v úvahu přijetí, začíná to malovat znepokojivý obraz.

Cítilo se, že by tohle mělo být místem, kde bychom měli soustředit své úsilí, abychom snížili energetické náklady na umělou inteligenci v datových střediscích, jak je to jenom možné, bez toho, aby jsme uvalili omezení na to, kde a jak by měla umělá inteligence evoluvovat. A tak jsme se pustili do řešení tohoto problému.

Můžete sdílet příběh o založení Lemurian Labs?

Příběh začíná na počátku roku 2018. Pracoval jsem na tréninku základního modelu pro obecnou autonomii a modelu pro generativní multi-fyzikální simulaci, abych trénoval a fine-tunoval agenta pro různé aplikace, a některé další věci, aby se dostal do multi-agentních prostředí. Ale velmi brzy jsem vyčerpal množství výpočetního výkonu, který jsem měl, a odhadl jsem, že budu potřebovat více než 20 000 V100 GPU. Pokoušel jsem se získat dostatek peněz, aby získal přístup k tomuto výpočetnímu výkonu, ale trh nebyl připraven na takový rozsah. To mě ale přimělo přemýšlet o straně nasazení.

O pár let později, v roce 2020, jsem se setkal s Vassilem – mým budoucím spoluzakladatelem – a sdílel jsem s ním výzvy, se kterými jsem se setkal při budování základního modelu pro autonomii, a on navrhl postavení inferenčního čipu, který by mohl běžet na tomto základním modelu, a sdílel, že přemýšlel hodně o formátech čísel a lepších reprezentacích, které by pomohly nejen zachovat přesnost neuronových sítí při nižších bitových šířkách, ale také vytvořit silnější architektury.

Byla to zajímavá myšlenka, ale byla úplně mimo mou kompetenci. Ale nemohla mě opustit, což mě vedlo k tomu, že jsem strávil měsíce a měsíce učením se o složitostech počítačové architektury, instrukčních sadách, runtime, kompilátorech a programovacích modelech. Nakonec začalo mít smysl budovat polovodičovou společnost a vytvořil jsem tezi o tom, co je problém a jak ho řešit. A pak, ke konci roku, jsme založili Lemurian.

Mluvili jste dříve o potřebě řešit software jako první, když budujete hardware, můžete vysvětlit, proč problém hardwaru je především problémem softwaru?

Co mnoho lidí neví, je to, že softwarová strana polovodičů je mnohem složitější než hardware sám. Budování užitečné počítačové architektury pro zákazníky, aby ji mohli použít a získat z ní prospěch, je plně stackový problém, a pokud nemáte toto porozumění a připravenost, když začínáte, skončíte s krásně vypadající architekturou, která je velmi výkonná a efektivní, ale úplně nepoužitelná vývojáři, což je to, co je skutečně důležité.

Existují i další výhody softwarově-first přístupu, jako je rychlejší čas na trh. To je zásadní v dnešním rychlém světě, kde být příliš optimistický ohledně architektury nebo funkce může znamenat, že úplně minete trh.

Nebýt softwarově-first přístupem obecně vede k tomu, že nemáte deriskované důležité věci pro přijetí produktu na trhu, nemůžete reagovat na změny na trhu, například když se zátěže vyvíjí neočekávaným způsobem, a máte nevyužitý hardware. To nejsou dobré věci. To je velký důvod, proč se staráme o to, abychom byli softwarově orientovaní a proč náš pohled je, že nemůžete být polovodičovou společností, aniž byste byli skutečně softwarovou společností.

Můžete diskutovat o svých bezprostředních cílech softwarového stacku?

Když jsme navrhovali naší architekturu a přemýšleli o naší budoucí cestě a kde jsou příležitosti k dodání hodnoty, začalo být jasné, že budeme vidět mnohem více heterogenity, což bude vytvářet spoustu problémů na softwarové straně. A my nemůžeme pouze produktivně programovat heterogenní architektury, musíme se také vypořádat s nimi na úrovni datového střediska, což je výzva, jakou jsme dosud nezažili.

To nás znepokojilo, protože poslední dobou, co jsme museli projít velkou transformací, bylo, když se průmysl přesunul z jednovláknových na vícejádrové architektury, a v té době to trvalo 10 let, než software začal fungovat a lidé ho začali používat. Nemůžeme si dovolit čekat 10 let, než budeme moci software pro heterogenitu v měřítku vyřešit, musí to být vyřešeno hned.

Pracujeme s mnoha vedoucími polovodičovými společnostmi a hyperscalery/cloudovými poskytovateli služeb a budeme vydávat náš softwarový stack v příštích 12 měsících. Jedná se o sjednocený programovací model s kompilátorem a runtime, který je schopen cílit na jakýkoli typ architektury, a orchestrace práce napříč clustery složenémi z různých typů hardwaru, a je schopen škálovat od jednoho uzlu na tisíc uzlů pro nejvyšší možný výkon.

Děkuji za skvělý rozhovor, čtenáři, kteří si chtějí přečíst více, by měli navštívit Lemurian Labs.