Jay Dawani on Lemurian Labs – Interview Seriesin perustaja ja toimitusjohtaja

Jay Dawani on Lemurian Labsin perustaja ja toimitusjohtaja. Lemurian Labs sen tehtävänä on toimittaa kohtuuhintaisia, helppokäyttöisiä ja tehokkaita tekoälytietokoneita, jotka perustuvat siihen uskomukseen, että tekoälyn ei pitäisi olla ylellisyyttä vaan työkalu, joka on kaikkien saatavilla. Lemurian Labsin perustajatiimi yhdistää tekoälyn, kääntäjien, numeeristen algoritmien ja tietokonearkkitehtuurien asiantuntemuksen, joita yhdistää yksi tarkoitus: kiihdytetyn tietojenkäsittelyn uusiminen.

Voitko käydä läpi taustasi ja whattu sai sinut alkuun tekoälyyn?

Ehdottomasti. Olin ohjelmoinut 12-vuotiaasta lähtien ja rakentanut omia pelejäni ja niin edelleen, mutta itse asiassa pääsin tekoälyyn 15-vuotiaana isäni ystävän ansiosta, joka oli tietokoneista kiinnostunut. Hän ruokki uteliaisuuteni ja antoi minulle luettavaksi kirjoja, kuten Von Neumannin "The Computer and The Brain", Minskyn "Perceptrons", Russelin ja Norvigin "AI A Modern Approach". Nämä kirjat vaikuttivat ajatteluuni paljon ja silloin tuntui melkein itsestään selvältä, että tekoäly tulee olemaan muuttava ja minun täytyi vain olla osa tätä alaa. 

Kun tuli yliopistoon aika, halusin todella opiskella tekoälyä, mutta en löytänyt yliopistoja, jotka olisivat tarjoaneet sitä, joten päätin opiskella sen sijaan soveltavaa matematiikkaa ja vähän aikaa yliopistoon päästyäni kuulin AlexNetin tuloksista ImageNetissä, joka oli todella jännittävää. Tuolloin mielessäni tapahtui tämä nyt tai ei koskaan -hetki ja innostuin lukemaan jokaista hermoverkkoihin liittyvää paperia ja kirjaa, jotka sain käsiini, ja etsin kaikki alan johtajat oppimaan heiltä, ​​koska usein saat olla mukana uuden alan syntyessä ja oppia sen pioneereilta. 

Hyvin nopeasti tajusin, etten pidä tutkimuksesta, mutta nautin ongelmien ratkaisemisesta ja tekoälyllä varustettujen tuotteiden rakentamisesta. Tämä sai minut työskentelemään autonomisten autojen ja robottien parissa, tekoälyn parissa materiaalien löytämisessä, generatiivisten mallien parissa monifysiikan simulaatioissa, tekoälypohjaisiin simulaattoreihin ammattikilpa-kuljettajien kouluttamiseen ja auttamaan autojen asennuksessa, avaruusroboteissa, algoritmisessa kaupankäynnissä ja paljon muuta. 

Nyt, kun olen tehnyt kaiken tämän, yritän hallita tekoälyn koulutuksen ja käyttöönottojen kustannuksia, koska se on suurin este, jonka kohtaamme tiellämme luodaksemme maailman, jossa jokainen ihminen ja yritys voi päästä tekoälyyn ja hyötyä siitä. edullisimmalla mahdollisella tavalla.

Monilla kiihdytetyn tietojenkäsittelyn parissa työskentelevillä yrityksillä on perustajia, jotka ovat rakentaneet uransa puolijohteiden ja infrastruktuurin parissa. Miten arvelet aiemman kokemuksesi tekoälystä ja matematiikasta vaikuttavan kykyysi ymmärtää markkinoita ja kilpailla tehokkaasti?

Itse asiassa luulen, että se, että en tule alalta, antaa minulle sen edun, että minulla on ulkopuolinen etu. Olen huomannut sen olevan melko usein niin, että alan normien tai tavanomaisten viisauksien tuntemattomuus antaa vapauden tutkia vapaammin ja mennä syvemmälle kuin useimmat muut, koska olet vapaa ennakkoluuloista. 

Minulla on vapaus esittää "tyhmempiä" kysymyksiä ja testata oletuksia tavalla, jota useimmat muut eivät tekisi, koska monet asiat ovat hyväksyttyjä totuuksia. Viimeisten kahden vuoden aikana olen käynyt useita keskusteluja alan ihmisten kanssa, joissa he ovat hyvin dogmaattisia jostain, mutta he eivät voi kertoa minulle idean alkuperää, mikä on mielestäni hyvin hämmentävää. Haluan ymmärtää, miksi tietyt valinnat tehtiin ja mitä oletuksia tai ehtoja oli tuolloin ja pätevätkö ne edelleen. 

Tekoälytaustasta kotoisena minulla on tapana ottaa ohjelmistonäkökulma katsomalla, missä työkuormat nykyään ovat, ja tässä on kaikki mahdolliset tavat, jotka voivat muuttua ajan myötä, ja mallintamalla koko ML-putkilinjan koulutusta ja johtopäätöksiä varten pullonkaulojen ymmärtämiseksi, mikä kertoo. missä on mahdollisuudet tuottaa arvoa. Ja koska olen kotoisin matemaattisesta taustasta, haluan mallintaa asioita päästäkseni niin lähelle totuutta kuin pystyn, ja se ohjaa minua. Olemme esimerkiksi rakentaneet malleja järjestelmän suorituskyvyn laskemiseksi kokonaisomistuskustannuksista ja voimme mitata hyödyt, joita voimme tuoda asiakkaille ohjelmistojen ja/tai laitteistojen avulla, ja ymmärtää paremmin rajoituksiamme ja käytettävissämme olevia erilaisia ​​nuppeja, ja kymmeniä muita malleja erilaisiin asioihin. Olemme erittäin tietopohjaisia, ja käytämme näiden mallien oivalluksia ohjaamaan ponnistelujamme ja kompromissejamme. 

Vaikuttaa siltä, ​​että tekoälyn edistyminen on tullut ensisijaisesti skaalauksesta, joka vaatii eksponentiaalisesti enemmän laskentaa ja energiaa. Näyttää siltä, ​​​​että olemme kilpavarustelussa, kun jokainen yritys yrittää rakentaa suurimman mallin, eikä loppua näytä olevan näkyvissä. Luuletko, että tästä on ulospääsyä?

Aina on keinoja. Skaalaus on osoittautunut erittäin hyödylliseksi, enkä usko, että olemme vielä nähneet loppua. Hyvin pian näemme malleja koulutettavan vähintään miljardin dollarin kustannuksin. Jos haluat olla generatiivisen tekoälyn johtaja ja luoda verrattavia perusmalleja, sinun on käytettävä vähintään muutama miljardi vuodessa laskemiseen. Skaalauksella on nyt luonnollisia rajoituksia, kuten riittävän suuren tietojoukon rakentaminen tämän kokoiselle mallille, oikean osaamisen omaavien ihmisten käyttö ja riittävän laskentatavan saaminen. 

Mallin koon jatkuva skaalautuminen on väistämätöntä, mutta emme myöskään voi ilmeisistä syistä muuttaa koko maan pintaa planeetan kokoiseksi supertietokoneeksi, joka kouluttaa ja palvelee LLM:itä. Tämän hallitsemiseksi meillä on useita nuppeja, joilla voimme pelata: paremmat tietojoukot, uudet malliarkkitehtuurit, uudet koulutusmenetelmät, paremmat kääntäjät, algoritmiset parannukset ja hyödyntämiset, paremmat tietokonearkkitehtuurit ja niin edelleen. Jos teemme kaiken tämän, on löydettävissä noin kolmen suuruusluokan parannusta. Se on paras tapa ulos. 

Uskot ensimmäisiin periaatteisiin ja ajattelet, miten tämä muokkaa ajattelutapaasi Lemurian Labsia?

Käytämme ehdottomasti paljon ensisijaisia ​​periaatteita ajattelussa Lemurialaisessa. Olen aina pitänyt tavanomaista viisautta harhaanjohtavana, koska se tieto syntyi tietyllä hetkellä, kun tietyt oletukset pitivät paikkaansa, mutta asiat muuttuvat aina ja olettamuksia täytyy testata uudelleen usein, varsinkin kun elät niin nopeatempoisessa maailmassa. 

Huomaan usein kysyväni kysymyksiä, kuten "tämä vaikuttaa todella hyvältä ajatukselta, mutta miksi tämä ei toimi", tai "mitä pitää olla totta, jotta tämä toimisi" tai "mitä tiedämme absoluuttisia totuuksia ja mitä oletuksia teemme ja miksi?" tai "miksi uskomme, että tämä lähestymistapa on paras tapa ratkaista tämä ongelma". Tavoitteena on mitätöidä ja tappaa ideat mahdollisimman nopeasti ja halvalla. Haluamme yrittää maksimoida niiden asioiden määrän, joita kokeilemme tiettynä ajankohtana. Kyse on siitä, että on pakkomielle ongelmasta, joka on ratkaistava, eikä siitä, että ollaan liian mielipiteisiä siitä, mikä tekniikka on parasta. Liian monet ihmiset keskittyvät liiaksi teknologiaan ja päätyvät ymmärtämään asiakkaiden ongelmat väärin ja kaipaamaan alalla tapahtuvia siirtymiä, jotka voivat mitätöidä heidän lähestymistavan ja johtaa heidän kyvyttömyytensä sopeutua uuteen maailmantilaan.

Mutta ensimmäisten periaatteiden ajattelu ei ole sinänsä niin hyödyllistä. Meillä on tapana yhdistää se backcastingiin, mikä tarkoittaa pohjimmiltaan ihanteellisen tai toivotun tulevan tuloksen kuvittelemista ja sen toteuttamiseen tarvittavien eri vaiheiden tai toimien tunnistamista taaksepäin. Tämä varmistaa, että löydämme mielekkään ratkaisun, joka ei ole vain innovatiivinen, vaan myös todellisuuteen perustuva. Ei ole järkevää käyttää aikaa täydellisen ratkaisun keksimiseen vain ymmärtääkseen, ettei sitä ole mahdollista rakentaa useiden todellisen maailman rajoitteiden, kuten resurssien, ajan, sääntelyn tai näennäisen täydellisen ratkaisun rakentamisen vuoksi, mutta myöhemmin selvitellään. olet tehnyt asiakkaiden adoptoimisen liian vaikeaksi.

Joudumme silloin tällöin tilanteeseen, jossa meidän on tehtävä päätös, mutta meillä ei ole tietoja, ja tässä skenaariossa käytämme testattavissa olevia vähimmäishypoteesia, jotka antavat meille signaalin siitä, onko jotain järkevää pyrkiä vähimmällä summalla. energiankulutuksesta. 

Kaikki tämä yhdessä antaa meille ketteryyttä, nopeita iteraatiosyklejä riskien poistamiseksi nopeasti, ja se on auttanut meitä säätämään strategioita suurella varmuudella ja edistymään paljon erittäin vaikeissa ongelmissa hyvin lyhyessä ajassa. 

Aluksi keskityit siihen reuna-AI, mikä sai sinut keskittymään uudelleen ja siirtymään pilvipalveluihin?

Aloitimme Edge AI:stä, koska olin tuolloin keskittynyt hyvin erityiseen ongelmaan, jonka olin kohdannut yrittäessään tuoda yleiskäyttöisen autonomisen robotiikan maailmaan. Autonominen robotiikka lupaa olla kollektiivisen historiamme suurin alustamuutos, ja näytti siltä, ​​että meillä oli kaikki tarvittava rakentaaksemme robotiikan perusmallin, mutta meiltä puuttui ihanteellinen johtopäätössiru, jossa on oikea tasapaino suorituskyvyn, latenssin ja energiatehokkuuden välillä. , ja ohjelmoitavuus mainitun perusmallin suorittamiseksi.

En ajatellut palvelinkeskusta tällä hetkellä, koska siellä oli enemmän kuin tarpeeksi yrityksiä, jotka keskittyivät ja odotin heidän ymmärtävän sen. Suunnittelimme tähän sovellustilaan todella tehokkaan arkkitehtuurin ja valmistauduimme nauhoittamaan sitä, ja sitten kävi täysin selväksi, että maailma oli muuttunut ja ongelma oli todellakin datakeskuksessa. Nopeus, jolla LLM:t skaalasivat ja kuluttivat laskentaa, ylittää huomattavasti tietojenkäsittelyn edistymisvauhdin, ja kun otetaan huomioon käyttöönotto, se alkaa maalata huolestuttavan kuvan. 

Tuntui siltä, ​​että tähän meidän pitäisi keskittää ponnistelumme, jotta voimme alentaa tekoälyn energiakustannuksia konesaleissa niin paljon kuin mahdollista ilman rajoituksia sille, missä ja miten tekoälyn tulisi kehittyä. Ja niin, meidän on työskenneltävä tämän ongelman ratkaisemiseksi. 

Voitko kertoa Lemurian Labsin perustajajäsenten syntytarinasta?

Tarina alkaa alkuvuodesta 2018. Harjoittelin yleiskäyttöisen autonomian perusmallin sekä generatiivisen monifysiikan simulaation mallin kouluttamista agentin kouluttamiseksi ja hienosäätämiseksi eri sovelluksiin sekä joitain muita asioita, jotka auttavat skaalautumaan moniin. -agenttiympäristöt. Mutta hyvin nopeasti käytin loppuun käyttämäni laskentamäärän ja arvelin tarvitsevani yli 20,000 100 VXNUMX GPU:ta. Yritin nostaa tarpeeksi päästäkseni laskentaan, mutta markkinat eivät olleet vielä valmiita sellaiseen mittakaavaan. Se sai minut kuitenkin miettimään asioiden käyttöönottopuolta, ja istuin laskemaan, kuinka paljon suorituskykyä tarvitsisin palvellakseni tätä mallia kohdeympäristöissä, ja tajusin, että olemassa ei ollut sirua, joka voisi viedä minut sinne. 

Pari vuotta myöhemmin, vuonna 2020, tapasin Vassilin – mahdollisen perustajani – päästäkseni kiinni ja kerroin haasteista, jotka kävin läpi autonomian perustan rakentamisessa, ja hän ehdotti johtopäätössirun rakentamista, joka voisi ohjata säätiötä. mallia, ja hän kertoi, että hän oli ajatellut paljon numeromuotoja ja paremmat esitykset auttaisivat paitsi saamaan hermoverkkoja säilyttämään tarkkuuden pienemmillä bittileveyksillä, myös luomaan tehokkaampia arkkitehtuureja. 

Se oli kiehtova idea, mutta se oli kaukana ohjaushytistäni. Mutta se ei jättänyt minua, mikä sai minut viettämään kuukausia ja kuukausia tietokonearkkitehtuurin, ohjesarjojen, suoritusaikojen, kääntäjien ja ohjelmointimallien monimutkaisuuden oppimiseen. Lopulta puolijohdeyrityksen rakentaminen alkoi tuntua järkevältä ja olin tehnyt opinnäytetyön siitä, mikä ongelma oli ja miten siihen edetä. Ja sitten vuoden lopulla aloitimme Lemurian. 

Olet puhunut aiemmin tarpeesta käsitellä ohjelmistoja ensin laitteistoa rakennettaessa. Voisitko tarkentaa näkemyksiäsi siitä, miksi laitteisto-ongelma on ennen kaikkea ohjelmisto-ongelma?

Monet ihmiset eivät ymmärrä, että puolijohteiden ohjelmistopuoli on paljon vaikeampi kuin itse laitteisto. Hyödyllisen tietokonearkkitehtuurin rakentaminen asiakkaiden käytettäväksi ja hyödyksi on täyspinon ongelma, ja jos sinulla ei ole tätä ymmärrystä ja valmistautumista, päädyt kauniin näköiseen arkkitehtuuriin, joka on erittäin suorituskykyinen ja tehokas. mutta täysin käyttökelvoton kehittäjille, mikä on itse asiassa tärkeää. 

Ohjelmistolähtöisellä lähestymistavalla on tietysti myös muita etuja, kuten nopeampi markkinoilletulo. Tämä on ratkaisevan tärkeää nykypäivän nopeasti muuttuvassa maailmassa, jossa arkkitehtuurin tai ominaisuuden liian nouseva suhtautuminen voi tarkoittaa, että ikävöit markkinoita kokonaan. 

Ohjelmiston ensinäkemyksen puuttuminen johtaa yleensä siihen, että ei ole pilkattu tärkeitä asioita, joita tuotteen käyttöönotto edellyttää markkinoilla, ei pystytä reagoimaan markkinoiden muutoksiin esimerkiksi silloin, kun työmäärät muuttuvat odottamattomalla tavalla, ja laitteisto on vajaakäytössä. Kaikki eivät ole mahtavia asioita. Tämä on suuri syy siihen, miksi välitämme paljon ohjelmistokeskeisyydestä ja miksi näkemyksemme on, että et voi olla puolijohdeyritys olematta todella ohjelmistoyritys. 

Voitko keskustella välittömistä ohjelmistopinotavoitteistasi?

Kun suunnittelimme arkkitehtuuriamme ja pohdimme tulevaisuuteen suuntautuvaa tiekarttaa ja mahdollisuuksia tuoda lisää suorituskykyä ja energiatehokkuutta, alkoi käydä hyvin selväksi, että tulemme näkemään paljon enemmän heterogeenisyyttä, mikä loisi monia ongelmia. ohjelmistolla. Eikä meidän tarvitse vain pystyä ohjelmoimaan tuottavasti heterogeenisia arkkitehtuureja, vaan meidän on käsiteltävä niitä datakeskusmittakaavassa, mikä on haaste, jonka kaltaisia ​​emme ole ennen kohdanneet. 

Tämä sai meidät huolestuneeksi, koska viimeksi jouduimme käymään läpi merkittävän muutoksen, kun teollisuus siirtyi yhden ytimen arkkitehtuureista moniytimiin arkkitehtuureihin, ja tuolloin kesti 10 vuotta saada ohjelmistot toimimaan ja ihmiset käyttämään niitä. Meillä ei ole varaa odottaa 10 vuotta selvittääksemme ohjelmiston heterogeenisyyden mittakaavassa, se on selvitettävä nyt. Joten meidän on työskenneltävä ymmärtääksemme ongelman ja sen, mitä on oltava olemassa, jotta tämä ohjelmistopino olisi olemassa. 

Teemme tällä hetkellä yhteistyötä monien johtavien puolijohdeyritysten ja hyperskaalaajien/pilvipalveluntarjoajien kanssa ja julkaisemme ohjelmistopinomme seuraavan 12 kuukauden aikana. Se on yhtenäinen ohjelmointimalli, jossa on kääntäjä ja ajonaika, joka pystyy kohdistamaan kaikenlaiseen arkkitehtuuriin ja organisoimaan työn erilaisista laitteistoista koostuvien klustereiden kesken, ja se pystyy skaalaamaan yhdestä solmusta tuhanteen solmuklusteriin parhaan mahdollisen suorituskyvyn saavuttamiseksi. .

Kiitos upeasta haastattelusta, lukijoiden, jotka haluavat tietää lisää, kannattaa käydä Lemurian Labs.