Jay Dawani on Lemurian Labsin perustaja ja toimitusjohtaja – Haastattelusarja

Jay Dawani on Lemurian Labsin perustaja ja toimitusjohtaja. Lemurian Labs on tehtävänään tarjota edullisia, saavutettavia ja tehokkaita tekoälytietokoneita, joiden taustalla on usko, että tekoäly ei pitäisi olla ylellisyys, vaan kaikkien saatavilla oleva työkalu. Lemurian Labsin perustajatiimi yhdistää tekoäly-, käännösohjelma-, numeeristen algoritmien ja tietokonearkkitehtuurin asiantuntemuksia, jotka kaikki pyrkivät yhden tavoitteen saavuttamiseen: nopeutetun laskennan uudelleenmuokkaamiseen.

Voitko kertoa taustastasi ja siitä, mitä sai sinut kiinnostumaan tekoälystä alusta alkaen?

Toki. Olin ohjelmoinut 12-vuotiaasta lähtien ja rakentanut omia pelejäni, mutta itseasiassa päädyin tekoälyyn 15-vuotiaana, kun ystäväni isä oli tietokoneiden pariin tutustunut. Hän herätti uteliaisuuteni ja antoi minulle lukemista, kuten Von Neumannin “The Computer and The Brain”, Minskin “Perceptrons” ja Russelin ja Norvigin “AI A Modern Approach”. Nämä kirjat vaikuttivat ajatteluni suuresti, ja tuntui melkein selvältä, että tekoäly olisi muodonmuuttava ja halusin olla osa tätä alaa.

Kun tuli aika yliopistoon, halusin opiskella tekoälyä, mutta en löytänyt yhtään yliopistoa, joka tarjosi sitä, joten päädyin opiskelemaan sovellettuja matematiikkaa sen sijaan. Vähän aikaa yliopistossa ollessani kuulin AlexNetin tuloksista ImageNetissä, mikä oli todella jännittävää. Silloin minulla tapahtui “nyt tai ei koskaan” -hetki, ja ryhdyin lukemaan jokaista tekoälyyn liittyvää tutkimusta ja kirjaa, jonka pystyin saamaan käsiini, ja etsin alan johtajia, joilta voisin oppia, koska kuinka usein pääsee olemaan mukana uuden alan syntymässä ja oppimaan sen uranuurtajilta.

Hyvin nopeasti tajusin, etten nauti tutkimuksesta, mutta nautin ongelmien ratkaisemisesta ja tekoälyllä mahdollistettujen tuotteiden kehittämisestä. Tämä johti minun työskentelemiseen itseohjautuvien autojen ja robottien, tekoälyllä mahdollistettujen materiaalien kehittämisen, generatiivisten mallien kehittämisessä monifysiikkasimulaatioita varten, tekoälypohjaisissa simulaattoreissa ammattiautoilijoiden koulutusta ja auton säätöä varten, avaruusroboteissa, algoritmisessa kaupankäynnissä ja paljon muussa.

Nyt, kun olen tehnyt kaiken tämän, yritän saada tekoälyn koulutuksen ja käyttöönoton kustannukset kurissa, koska se on suurin este, jota kohtaamme pyrkimyksissämme mahdollistaa maailma, jossa jokainen henkilö ja yritys voi päästä tekoälyyn taloudellisesti kestävällä tavalla.

Monet nopeutetun laskennan parissa työskentelevät yritykset ovat perustaneet uransa puolijohde- ja infrastruktuurialalla. Miten luulet, että aiempi kokemuksesi tekoälystä ja matematiikasta vaikuttaa kykyysi ymmärtää markkinaa ja kilpailla tehokkaasti?

Itse asiassa luulen, että tietämättömyyteni alan perinteisistä käytännöistä antaa minulle ulkopuolisen etulyöntiaseman. Olen usein huomannut, että tietämättömyys alan perinteisistä käytännöistä antaa vapauden tutkia asioita vapaammin ja mennä syvemmälle kuin useimmat muut, koska en ole sidottu ennestään oletuksiin.

Minulla on vapaus esittää “tyhmempää” kysymyksiä ja testata oletuksia tavalla, jota useimmat muut eivät tee, koska monet asiat ovat vakiintuneita totuuksia. Viimeisen kahden vuoden aikana olen keskustellut useiden alan ammattilaisten kanssa, jotka ovat hyvin dogmaattisia jostakin asiasta, mutta he eivät voi kertoa minulle, mistä ajatus on peräisin, mikä minusta on hyvin hämmentävää.

Tekoälytaustani johtuen suhtaudun asioiden tarkasteluun ohjelmistokeskeisesti, tarkastelemalla nykyisiä työkuormia ja kaikkia mahdollisia tapoja, joilla ne voivat muuttua ajan myötä, ja mallintamalla koko koneoppimisen putkea koulutuksen ja päätöksenteon kannalta, mikä kertoo minulle, missä ovat mahdollisuudet tuottaa arvoa. Ja koska tulevaisuuden suhtaudun matemaattisesti, haluan mallintaa asioita niin lähelle totuutta kuin mahdollista, ja antaa sen ohjata minua.

Näyttää siltä, että tekoälyn edistysaskelten taustalla on ollut lähinnä skaalautuvuus, joka vaatii eksponentiaalisesti enemmän laskentakapasiteettia ja energiaa. Näyttää siltä, että olemme mukana asevarustelukilpailussa, jossa jokainen yritys yrittää rakentaa suurimman mallin, ja näyttää siltä, että tähän ei ole näköpiiriin loppua. Luuletko, että on olemassa ulospääsy tähän?

On aina olemassa keinoja. Skaalautuvuus on osoittautunut erittäin hyödylliseksi, ja en usko, että olemme nähneet loppua. Hyvin pian näemme malleja, jotka koulutetaan kustannuksella, joka on vähintään miljardi dollaria. Jos haluat olla johtava generatiivisen tekoälyn ja perusmallien luomisessa, sinun on vietävä vähintään muutamia miljardeja dollareita vuodessa laskentakapasiteettiin.

Mallin kokoa voidaan jatkaa skaalautumista, mutta emme voi muuttaa koko maapallon pinnan suurten supertietokoneiden rakennuspaikaksi, jotta voimme kouluttaa ja palvella LLM-malleja. Saadaksemme tämän hallintaan, meillä on useita säätimiä, joita voimme sopeuttaa: paremmat datat, uudet mallirakenteet, uudet koulutusmenetelmät, paremmat käännösohjelmat, algoritmiset parannukset ja hyödyntäminen, paremmat tietokonearkkitehtuurit jne. Jos teemme kaiken tämän, on noin kolme kertaa parannettavissa.

Olet puhunut aiemmin ensisijaisesta ajattelusta, miten se muotoilee ajattelutapasi Lemurian Labsin pyörittämisessä?

Käytämme Lemurianissa paljon ensisijaisia ajattelutapoja. Olen aina kokeillut, että perinteinen viisaus on harhaa, koska se on muodostunut tiettynä aikana, jolloin tiettyjä oletuksia pidettiin totena, mutta asiat muuttuvat aina, ja on tärkeää testata oletuksia usein, erityisesti nopeasti muuttuvassa maailmassa.

Usein kysyn itseltäni kysymyksiä, kuten “tämä näyttää hyvältä idealta, mutta miksi se ei voisi toimia”, tai “mitä on oletettava, jotta tämä toimisi”, tai “mitä tiedämme, mikä on ehdottomia totuuksia, ja mitä oletuksia teemme ja miksi?”. Tavoitteena on mitätöidä ja tappaa ideoita mahdollisimman nopeasti ja halvalla. Haluamme yrittää ja kokeilla mahdollisimman monta asiaa kerralla.

Ensisijainen ajattelu itsessään ei ole hyödyllistä, mutta yhdistämme sen takaisinmallinnukseen, joka tarkoittaa, että kuvittelemme ihannetun tai toivottavan tulevaisuuden tuloksen ja työskentelemme taaksepäin, jotta voimme tunnistaa eri vaiheet tai toimet, joita tarvitaan sen saavuttamiseen. Tämä varmistaa, että pääsemme mielekkääseen ratkaisuun, joka on sekä innovatiivinen että juurtunut todellisuuteen.

Aluksi olit keskittynyt reunatietoja tekoälyyn, mitä sai sinut muuttamaan fokuksesi pilvilaskentaan?

Aloin reunatietoja tekoälystä, koska silloin keskityin ratkaisemaan tiettyä ongelmaa, jota olin kohdannut yleispätevien autonomisten robottien kehittämisessä. Autonomiset robotit lupaavat olla historian suurin alustamuutos, ja minulla oli kaikki tarvittava rakentaa perusmalli robotiikkaa varten, mutta puuttui sopiva inferenssipiiri, jolla voisi ajaa mainittua perusmallia.

Voitko kertoa Lemurian Labsin perustamisen tarinan?

Tarina alkaa vuonna 2018. Työskentelin silloin yleispätevän autonomisen robottien perusmallin kouluttamisessa ja generatiivisen monifysiikkasimulaation kehittämisessä, jotta voisin kouluttaa ja hienosäätää agenttia eri sovelluksissa, ja muissa asioissa, jotka auttoisivat skaalautumaan monirobottiympäristöihin. Mutta nopeasti loppuivat laskentaresurssit, ja arvioin tarvitsevani yli 20 000 V100-näytönohjainta.

Vähän aikaa myöhemmin, vuonna 2020, tapasin Vassilin, josta tuli myöhemmin yksi perustajistamme, ja kerroin hänelle haasteista, joita olin kohdannut yleispätevän autonomisen robottien perusmallin kehittämisessä, ja hän ehdotti, että rakentaisimme inferenssipiirin, joka voisi ajaa perusmallin, ja hän kertoi, että hän oli pohtinut paljon numeerisia muotoja ja parempia edustuksia, jotka auttaisivat tekoälyverkoissa säilyttämään tarkin ja luomaan tehokkaampia arkkitehtuureja.

Se oli mielenkiintoinen idea, mutta se oli täysin ulkona minun osaamisalueeltani. Mutta se ei jättänyt minua, mikä sai minut viettämään kuukausia ja kuukausia opiskellen tietokonearkkitehtuurin, käskykantien, ajon aikaisen ja käännösohjelmien yksityiskohtia. Lopulta, puolijohdeyhtiön perustaminen alkoi tuntua järkevältä, ja olin muodostanut teesin siitä, mikä oli ongelma ja miten sitä voisi ratkaista. Ja sitten vuoden lopussa perustimme Lemurianin.

Olet puhunut aiemmin siitä, että ohjelmistojen kehittäminen on tärkeämpää kuin laitteiston kehittäminen, kun rakennetaan laitteistoa. Voitko selittää, miksi luulet, että ohjelmistojen ongelma on ensisijainen?

Monet eivät tajua, että ohjelmistopuoli puolijohdeissa on paljon haasteellisempi kuin laitteistopuoli. Rakentaa hyödyllinen tietokonearkkitehtuuri, jonka asiakkaat voivat hyödyntää, on täysin pino-ongelma, ja jos et ymmärrä sitä ja ole valmis siihen, lopputuloksena on kaunis arkkitehtuuri, joka on hyvin suorituskykyinen ja tehokas, mutta täysin käyttökelvoton kehittäjille, mikä on todella tärkeää.

On myös muita hyötyjä ohjelmistokeskeisestä lähestymistavasta, kuten nopeampi markkinoille saanti. Tämä on kriittistä nopeasti muuttuvassa maailmassa, jossa ollaan liian optimistinen arkkitehtuurista tai ominaisuudesta, mikä voi tarkoittaa, että menetät markkinat kokonaan.

Ohjelmistokeskeisen lähestymistavan puute johtaa yleensä siihen, että tärkeät asiat, jotka vaikuttavat tuotteen markkinointiin, eivät ole riskienhallinnassa, eikä pystytä reagoimaan markkinamuutoksiin, kun työkuormat kehittyvät odottamattomalla tavalla, ja laitteiston käyttö on alimitoitu. Kaikki nämä ovat huonoja asioita. Tämä on suuri syy, miksi välitämme ohjelmistokeskeisyydestä ja miksi meidän näkemyksemme mukaan ei voi olla puolijohdeyhtiö ilman olemasta samalla ohjelmistoyhtiö.

Voitko kertoa välittömistä tavoitteistasi ohjelmistopinossa?

Kun suunnittelimme arkkitehtuuriamme ja ajattelimme eteenpäin suunnitelmaamme ja siitä, missä olivat mahdollisuudet tuottaa arvoa, alkoi tulla selväksi, että kohtaisimme paljon heterogeenisuutta, mikä aiheuttaisi paljon ongelmia ohjelmistopuolella. Ja meidän on pystyttävä ohjelmoimaan heterogeenisia arkkitehtuureja, ja meidän on pystyttävä tekemään se datakeskuksen mittakaavassa, mikä on haaste, jota emme ole aiemmin kohdanneet.

Tämä sai meidät huolestumaan, koska viimeksi, kun jouduttiin tekemään suuri muutos, kun siirryttiin yksiydinsuorittimista moniydinsuorittimiin, kesti kymmenen vuotta saada ohjelmistot toimimaan, eikä voida odottaa kymmenen vuotta, että ohjelmistot ovat valmiit heterogeenisuuden kanssa. Se on ratkaistava nyt. Ja niin, ryhdyimme ymmärtämään ongelmaa ja mitä tarvitaan, jotta ohjelmistopino voisi olla olemassa.

Olemme parhaillaan keskustelemassa useiden johtavien puolijohdeyhtiöiden ja hyperskaalareiden/ pilvipalveluntarjoajien kanssa, ja tulemme julkaisemaan ohjelmistopinomme seuraavien 12 kuukauden aikana. Se on yhtenäinen ohjelmointimalli, jossa on käännösohjelma ja ajonaikainen, joka pystyy kohdistamaan minkä tahansa arkkitehtuurin, ja joka pystyy orkesteroimaan työn eri laitteistoyhdistelmissä, ja joka pystyy skaalautumaan yhdestä solmuun tuhannen solmun klusteriin saavuttaaksesi suorituskyvyn.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Lemurian Labsissa.