Jay Dawani je suosnivač i glavni izvršni direktor Lemurian Labs – serija intervjua

Jay Dawani je suosnivač i izvršni direktor Lemurian Labsa. Lemurijski laboratoriji ima misiju isporučiti pristupačna, pristupačna i učinkovita AI računala, vođena uvjerenjem da AI ne bi trebao biti luksuz, već alat dostupan svima. Osnivački tim Lemurian Labsa kombinira stručnost u umjetnoj inteligenciji, kompajlerima, numeričkim algoritmima i arhitekturi računala, ujedinjene jednom svrhom: ponovno osmisliti ubrzano računalstvo.

Možete li nas provesti kroz svoju pozadinu i wšto vas je navelo na AI za početak?

Apsolutno. Programirao sam od svoje 12. godine i izrađivao vlastite igre i slično, ali zapravo sam se počeo baviti umjetnom inteligencijom kada sam imao 15 godina zbog prijatelja mojih očeva koji se bavio računalima. Nahranio je moju znatiželju i dao mi knjige za čitanje kao što su Von Neumannovo 'Računalo i mozak', Minskyjevi 'Perceptroni', Russelova i Norvigova 'AI A Modern Approach'. Te su knjige dosta utjecale na moje razmišljanje i tada je bilo gotovo očito da će umjetna inteligencija biti transformativna i jednostavno sam morao biti dio ovog polja. 

Kad je došlo vrijeme za sveučilište, stvarno sam želio studirati AI, ali nisam našao nijedno sveučilište koje to nudi, pa sam umjesto toga odlučio upisati primijenjenu matematiku i malo nakon što sam stigao na sveučilište čuo sam za rezultate AlexNeta na ImageNetu, koji bilo stvarno uzbudljivo. U to sam vrijeme u glavi imao ovaj trenutak sad ili nikad i s punim sam se naporom posvetio čitanju svih novina i knjiga koje sam mogao dohvatiti u vezi s neuronskim mrežama i tražio sam sve vođe u tom području da učim od njih, jer kako često možete biti prisutni na rađanju nove industrije i učiti od njenih pionira. 

Vrlo brzo sam shvatio da ne uživam u istraživanju, ali uživam u rješavanju problema i izradi proizvoda koji podržavaju AI. To me dovelo do rada na autonomnim automobilima i robotima, umjetnoj inteligenciji za otkrivanje materijala, generativnim modelima za višefizičke simulacije, simulatorima temeljenim na umjetnoj inteligenciji za obuku profesionalnih vozača trkaćih automobila i pomoći pri postavljanju automobila, svemirskim robotima, algoritamskom trgovanju i još mnogo toga. 

Sada, nakon što sam sve to učinio, pokušavam prevladati troškove obuke i implementacije umjetne inteligencije jer će to biti najveća prepreka s kojom ćemo se suočiti na našem putu da omogućimo svijet u kojem svaka osoba i tvrtka može imati pristup i koristi od umjetne inteligencije na najekonomičniji mogući način.

Mnoge tvrtke koje se bave ubrzanim računalstvom imaju osnivače koji su izgradili karijere u poluvodičima i infrastrukturi. Što mislite kako vaše prošlo iskustvo u umjetnoj inteligenciji i matematici utječe na vašu sposobnost da razumijete tržište i učinkovito se natječete?

Zapravo mislim da to što ne dolazim iz industrije daje prednost prednosti autsajdera. Ustanovio sam da je prilično često slučaj da nepoznavanje industrijskih normi ili konvencionalnih mudrosti daje slobodu da slobodnije istražujete i idete dublje nego što bi većina drugih učinila jer ste neopterećeni predrasudama. 

Imam slobodu postavljati 'gluplja' pitanja i testirati pretpostavke na način na koji većina drugih ne bi jer su mnoge stvari prihvaćene istine. U protekle dvije godine imao sam nekoliko razgovora s ljudima iz industrije koji su vrlo dogmatični oko nečega, ali mi ne mogu reći porijeklo ideje, što smatram vrlo zbunjujućim. Volim razumjeti zašto su napravljeni određeni izbori i koje su pretpostavke ili uvjeti postojali u to vrijeme i vrijede li još uvijek. 

Budući da dolazim iz AI pozadine, sklon sam zauzeti pogled na softver gledajući gdje su radna opterećenja danas, a ovdje su svi mogući načini na koje se mogu promijeniti tijekom vremena, i modeliranje cijelog ML cjevovoda za obuku i zaključivanje kako bismo razumjeli uska grla, što govori ja gdje su prilike za isporuku vrijednosti. A budući da dolazim iz matematičkog okruženja, volim modelirati stvari kako bih došao što bliže istini i neka me to vodi. Na primjer, izgradili smo modele za izračun performansi sustava za ukupni trošak vlasništva i možemo izmjeriti korist koju možemo donijeti korisnicima sa softverom i/ili hardverom i kako bismo bolje razumjeli svoja ograničenja i različite gumbe koji su nam dostupni, i desetke drugi modeli za razne stvari. Jako smo vođeni podacima i koristimo se uvidima iz ovih modela za usmjeravanje naših nastojanja i kompromisa. 

Čini se da je napredak u AI prvenstveno došao od skaliranja, koje zahtijeva eksponencijalno više računanja i energije. Čini se kao da smo u utrci u naoružanju sa svakom tvrtkom koja pokušava napraviti najveći model, a čini se da se tome ne nazire kraj. Mislite li da postoji izlaz iz ovoga?

Uvijek ima načina. Skaliranje se pokazalo iznimno korisnim i mislim da još nismo vidjeli kraj. Vrlo brzo ćemo vidjeti modele koji se obučavaju uz cijenu od najmanje milijardu dolara. Ako želite biti vodeći u generativnoj umjetnoj inteligenciji i stvarati vrhunske temeljne modele, morat ćete trošiti najmanje nekoliko milijardi godišnje na računalstvo. Sada postoje prirodna ograničenja za skaliranje, kao što je mogućnost konstruiranja dovoljno velikog skupa podataka za model te veličine, dobivanje pristupa ljudima s pravim znanjem i iskustvom i dobivanje pristupa dovoljnoj količini računala. 

Kontinuirano skaliranje veličine modela je neizbježno, ali također ne možemo pretvoriti cijelu Zemljinu površinu u superračunalo veličine planeta za obuku i opsluživanje LLM-a iz očitih razloga. Kako bismo ovo kontrolirali, imamo nekoliko gumba s kojima se možemo igrati: bolji skupovi podataka, nove arhitekture modela, nove metode obuke, bolji kompajleri, algoritamska poboljšanja i iskorištavanja, bolje računalne arhitekture, i tako dalje. Ako sve to učinimo, možemo naći otprilike tri reda veličine poboljšanja. To je najbolji izlaz. 

Vjerujete u prve principe razmišljanja, kako to oblikuje vaš način razmišljanja na način na koji vodite Lemurian Labs?

U Lemurianu definitivno koristimo mnogo osnovnih načela razmišljanja. Uvijek sam smatrao da konvencionalna mudrost dovodi u zabludu jer je to znanje formirano u određenom vremenskom trenutku kada su određene pretpostavke postojale, ali stvari se uvijek mijenjaju i morate često iznova provjeravati pretpostavke, pogotovo kada živite u tako brzom svijetu. 

Često se zateknem kako postavljam pitanja poput "ovo se čini kao jako dobra ideja, ali zašto ovo možda ne funkcionira", ili "što mora biti istina da bi ovo funkcioniralo", ili "što znamo da su apsolutne istine i koje su pretpostavke koje donosimo i zašto?”, ili “zašto vjerujemo da je ovaj određeni pristup najbolji način za rješavanje ovog problema”. Cilj je poništiti i uništiti ideje što je brže i jeftinije moguće. Želimo pokušati maksimalno povećati broj stvari koje isprobavamo u bilo kojem trenutku. Radi se o opsjednutosti problemom koji treba riješiti, a ne o tome koja je tehnologija najbolja. Previše se ljudi previše usredotočuje na tehnologiju i na kraju krivo shvaćaju probleme kupaca i propuštaju prijelaze koji se događaju u industriji što bi moglo poništiti njihov pristup što rezultira njihovom nesposobnošću da se prilagode novom stanju u svijetu.

Ali razmišljanje o prvim načelima nije toliko korisno samo po sebi. Skloni smo to upariti s retrospektivom, što u osnovi znači zamišljanje idealnog ili željenog budućeg ishoda i rad unatrag kako bismo identificirali različite korake ili radnje potrebne za njegovu realizaciju. To osigurava da ćemo doći do smislenog rješenja koje nije samo inovativno već i utemeljeno na stvarnosti. Nema smisla trošiti vrijeme na smišljanje savršenog rješenja samo da bismo shvatili da ga nije moguće izgraditi zbog niza ograničenja u stvarnom svijetu kao što su resursi, vrijeme, propisi ili izgradnja naizgled savršenog rješenja, ali kasnije saznati kupcima ste ga učinili preteškim za usvajanje.

S vremena na vrijeme nađemo se u situaciji u kojoj trebamo donijeti odluku, ali nemamo podataka, au ovom scenariju koristimo minimalne hipoteze koje je moguće provjeriti i koje nam daju signal ima li smisla za nešto težiti uz najmanji iznos. utroška energije. 

Sve ovo u kombinaciji daje nam agilnost, brze cikluse ponavljanja za brzo smanjenje rizika, i pomoglo nam je da prilagodimo strategije s visokim povjerenjem i postignemo veliki napredak na vrlo teškim problemima u vrlo kratkom vremenu. 

U početku ste bili usredotočeni na rub AI, što vas je navelo da se ponovno usredotočite i okrenete računalstvu u oblaku?

Počeli smo s rubnom umjetnom inteligencijom jer sam u to vrijeme bio vrlo usredotočen na pokušaj rješavanja vrlo određenog problema s kojim sam se suočio pokušavajući uvesti svijet autonomne robotike opće namjene. Autonomna robotika obećava najveću promjenu platforme u našoj zajedničkoj povijesti i činilo se da imamo sve što je potrebno za izgradnju temeljnog modela za robotiku, ali nedostajao nam je idealan čip za zaključivanje s pravom ravnotežom propusnosti, latencije, energetske učinkovitosti , i mogućnost programiranja za pokretanje spomenutog modela temelja.

U ovom trenutku nisam razmišljao o podatkovnom centru jer je bilo više nego dovoljno tvrtki koje su se tamo usredotočile i očekivao sam da će oni to shvatiti. Dizajnirali smo stvarno moćnu arhitekturu za ovaj aplikacijski prostor i spremali se snimiti je, a onda je postalo potpuno jasno da se svijet promijenio i da je problem doista u podatkovnom centru. Brzina kojom su LLM-ovi skalirali i trošili računala daleko nadmašuje tempo napretka u računalstvu, a kada uračunate usvajanje, počinje slikati zabrinjavajuću sliku. 

Činilo se da bismo trebali usredotočiti svoje napore na ovo kako bismo smanjili troškove energije za AI u podatkovnim centrima što je više moguće bez nametanja ograničenja o tome gdje i kako bi se AI trebao razvijati. I tako, moramo raditi na rješavanju ovog problema. 

Možete li podijeliti priču o nastanku suosnivanja Lemurian Labsa?

Priča počinje početkom 2018. Radio sam na obučavanju temeljnog modela za autonomiju opće namjene zajedno s modelom za generativnu multifizičku simulaciju kako bih uvježbao agenta i fino ga podesio za različite aplikacije, te nekim drugim stvarima koje su pomogle skaliranju u multi -agentska okruženja. Ali vrlo brzo sam iscrpio količinu računala koju sam imao i procijenio sam da mi treba više od 20,000 V100 GPU-a. Pokušao sam prikupiti dovoljno da dobijem pristup računalu, ali tržište još nije bilo spremno za tu vrstu razmjera. Međutim, to me potaknulo na razmišljanje o implementacijskoj strani stvari i sjeo sam da izračunam koliko bih performansi trebao za posluživanje ovog modela u ciljanim okruženjima i shvatio sam da ne postoji čip koji bi me mogao dovesti do toga. 

Nekoliko godina kasnije, 2020., sastao sam se s Vassilom – svojim budućim suosnivačem – kako bismo nadoknadili propušteno i podijelio sam izazove kroz koje sam prošao u izgradnji modela temelja za autonomiju, a on je predložio izgradnju čipa za zaključivanje koji bi mogao pokrenuti temelj model, te je podijelio da je puno razmišljao o formatima brojeva i da bi bolji prikazi pomogli ne samo da neuronske mreže zadrže točnost pri nižim širinama bitova, već i u stvaranju moćnijih arhitektura. 

Bila je to intrigantna ideja, ali bila je daleko od moje kormilarnice. Ali to me nije napustilo, što me natjeralo da provedem mjesece i mjesece učeći zamršenosti računalne arhitekture, skupova instrukcija, vremena izvođenja, kompilatora i modela programiranja. Na kraju je izgradnja tvrtke poluvodiča počela imati smisla i ja sam formirao tezu oko toga u čemu je problem i kako ga riješiti. I onda smo pred kraj godine pokrenuli Lemurian. 

Prethodno ste govorili o potrebi da se prvo pozabavite softverom prilikom izgradnje hardvera, možete li razraditi svoja stajališta o tome zašto je hardverski problem prije svega softverski problem?

Ono što mnogi ljudi ne shvaćaju je da je softverska strana poluvodiča puno teža od samog hardvera. Izgradnja korisne računalne arhitekture koju korisnici mogu koristiti i izvući korist od nje je veliki problem, a ako nemate to razumijevanje i spremnost, završit ćete s prekrasnom arhitekturom koja je vrlo učinkovita i učinkovita, ali potpuno neupotrebljiv od strane programera, što je zapravo važno. 

Naravno, postoje i druge prednosti pristupa kojem je softver prvi, poput bržeg izlaska na tržište. To je ključno u današnjem svijetu koji se brzo mijenja gdje ako previše optimistički gledate na arhitekturu ili značajku možete u potpunosti propustiti tržište. 

Nezauzimanje prvotnog pogleda na softver općenito rezultira neisključivanjem važnih stvari potrebnih za usvajanje proizvoda na tržištu, nemogućnošću odgovora na promjene na tržištu, na primjer kada se radna opterećenja razvijaju na neočekivani način, i nedovoljno iskorištenog hardvera. Sve nisu sjajne stvari. To je veliki razlog zašto nam je jako stalo do toga da budemo usredotočeni na softver i zašto je naše mišljenje da ne možete biti tvrtka poluvodiča, a da niste stvarno softverska tvrtka. 

Možete li govoriti o svojim neposrednim ciljevima vezanim uz softverski paket?

Kad smo dizajnirali našu arhitekturu i razmišljali o planu puta koji je gledao u budućnost i gdje su bile prilike za postizanje više performansi i energetske učinkovitosti, počelo je postajati vrlo jasno da ćemo vidjeti mnogo više heterogenosti što će stvoriti mnogo problema na softveru. I ne trebamo samo biti u mogućnosti produktivno programirati heterogene arhitekture, moramo se nositi s njima na razini podatkovnog centra, što je izazov s kakvim se dosad nismo susreli. 

To nas je zabrinulo jer smo posljednji put morali proći kroz veliku tranziciju kada je industrija prešla s jednojezgrenih na višejezgrene arhitekture, a u to je vrijeme trebalo 10 godina da softver proradi i ljudi ga koriste. Ne možemo si priuštiti čekanje 10 godina da shvatimo softver za heterogenost na razini, to se mora riješiti sada. I tako, moramo raditi na razumijevanju problema i onoga što treba postojati da bi ovaj softverski skup postojao. 

Trenutačno surađujemo s mnogim vodećim poluvodičkim tvrtkama i pružateljima hiperskalera/usluga u oblaku i objavit ćemo naš softverski paket u sljedećih 12 mjeseci. To je unificirani programski model s kompajlerom i runtimeom koji može ciljati na bilo koju vrstu arhitekture i orkestrirati rad preko klastera koji se sastoje od različitih vrsta hardvera, a može se skalirati od jednog čvora do klastera od tisuću čvorova za najveću moguću izvedbu .

Hvala vam na sjajnom intervjuu, čitatelji koji žele saznati više neka ga posjete Lemurijski laboratoriji.