Jay Dawani este co-fondator și CEO al Lemurian Labs – Seria de interviuri

Jay Dawani este co-fondator și CEO al Lemurian Labs. Lemurian Labs are misiunea de a oferi computere cu inteligență artificială accesibile, la prețuri rezonabile și eficiente, bazate pe convingerea că inteligența artificială nu ar trebui să fie un lux, ci un instrument accesibil tuturor. Echipa fondatoare a Lemurian Labs combină expertiza în inteligență artificială, compilatoare, algoritmi numerici și arhitectură computerizată, unite de un singur scop: să reimagineze calculul accelerat.

Puteți să ne prezentați fundalul și ce v-a determinat să intrați în domeniul inteligenței artificiale?

Cu siguranță. Am început să programez de la vârsta de 12 ani și am construit jocuri și altele, dar am intrat în domeniul inteligenței artificiale la 15 ani, datorită unui prieten al tatălui meu care era interesat de calculatoare. El mi-a alimentat curiozitatea și mi-a dat cărți de citit, cum ar fi “Calculatorul și creierul” de Von Neumann, “Perceptroni” de Minsky, “Abordarea modernă a inteligenței artificiale” de Russel și Norvig. Aceste cărți mi-au influențat mult gândirea și mi s-a părut aproape evident că inteligența artificială va fi o schimbare majoră și trebuia să fac parte din acest domeniu.

Când a venit timpul pentru universitate, am vrut să studiez inteligența artificială, dar nu am găsit nicio universitate care să ofere acest curs, așa că am decis să mă specializez în matematică aplicată și, puțin după ce am ajuns la universitate, am aflat despre rezultatele AlexNet pe ImageNet, ceea ce a fost foarte interesant. Atunci am avut un moment “acum sau niciodată” și am început să citesc toate articolele și cărțile pe care le puteam găsi despre rețele neuronale și am căutat toți liderii din domeniu pentru a învăța de la ei, deoarece nu prea ai ocazia să fii prezent la nașterea unei noi industrii și să înveți de la pionierii ei.

Foarte repede am realizat că nu îmi place cercetarea, dar îmi place să rezolv probleme și să construiesc produse bazate pe inteligență artificială. Acest lucru m-a condus să lucrez la mașini autonome și roboți, inteligență artificială pentru descoperirea de materiale, modele generative pentru simulări multi-fizice, simulatoare bazate pe inteligență artificială pentru antrenarea șoferilor de curse și ajutorul la setările mașinilor, roboți spațiali, tranzacționare algoritmică și multe altele.

Acum, după ce am făcut toate acestea, încerc să reduc costul antrenamentului și implementării inteligenței artificiale, deoarece acesta va fi cel mai mare obstacol pe care îl vom întâmpina pe drumul nostru către a face posibil ca fiecare persoană și companie să aibă acces la inteligență artificială în modul cel mai economic posibil.

Multe companii care lucrează în domeniul calculului accelerat au fondatori care și-au construit carierele în domeniul semiconductoarelor și infrastructurii. Cum credeți că experiența dvs. anterioară în inteligență artificială și matematică vă afectează capacitatea de a înțelege piața și de a concura eficient?

Cred că faptul că nu vin din industrie îmi oferă avantajul de a fi un outsider. Am observat de multe ori că nu avea cunoștințe despre normele industriale sau înțelepciunea convențională îmi oferă libertatea de a explora mai liber și de a merge mai departe decât alții, deoarece nu sunt încărcat de prejudecăți.

Am libertatea de a pune întrebări “mai proaste” și de a testa ipoteze într-un mod în care alții nu ar face-o, deoarece multe lucruri sunt adevăruri acceptate. În ultimii doi ani, am avut mai multe conversații cu oameni din industrie care sunt foarte dogmatici în legătură cu ceva, dar nu pot să-mi spună proveniența ideii, ceea ce mi se pare foarte ciudat. Îmi place să înțeleg de ce anumite alegeri au fost făcute și care au fost ipotezele sau condițiile de la acea vreme și dacă mai sunt valabile.

Venind dintr-un background de inteligență artificială, tind să iau o perspectivă software, privind încărcările de lucru de astăzi și toate modurile posibile în care acestea ar putea evolua în timp, și modelând întregul lanț de procesare pentru a înțelege blocajele, ceea ce îmi arată unde sunt oportunitățile de a oferi valoare. Și pentru că vin dintr-un background matematic, îmi place să modelăm lucrurile pentru a ajunge cât mai aproape de adevăr și să mă ghidăm după aceasta. De exemplu, am construit modele pentru a calcula performanța sistemului pentru costul total de proprietate și putem măsura beneficiul pe care îl putem aduce clienților prin software și/sau hardware și pentru a înțelege mai bine constrângerile noastre și diferitele butoane disponibile pentru noi, și zeci de alte modele pentru diverse lucruri. Suntem foarte orientați către date și folosim insight-urile din aceste modele pentru a ne ghida eforturile și compromisurile.

Pare că progresul în inteligența artificială a provenit în principal din scalare, ceea ce necesită o cantitate exponențial mai mare de calcul și energie. Pare că suntem într-o cursă a înarmării, cu fiecare companie încercând să construiască cel mai mare model, și nu pare a fi niciun sfârșit. Credeți că există o cale de a ieși din această situație?

Există întotdeauna soluții. Scalarea s-a dovedit a fi extrem de utilă și nu cred că am văzut încă sfârșitul. Vom vedea foarte curând modele antrenate cu un cost de cel puțin un miliard de dolari. Dacă doriți să fiți lider în inteligență artificială generativă și să creați modele de bază de ultimă generație, veți trebui să cheltuiți cel puțin câteva miliarde de dolari pe an pentru calcul. Acum, există limite naturale pentru scalare, cum ar fi posibilitatea de a construi un set de date suficient de mare pentru un model de acea mărime, de a obține acces la oameni cu cunoștințele potrivite și de a obține suficient calcul.

Continuarea scalării dimensiunii modelului este inevitabilă, dar nu putem transforma întreaga suprafață a Pământului într-un supercalculator de dimensiune planetară pentru a antrena și a furniza modele de limbaj mare pentru motive evidente. Pentru a pune acest lucru sub control, avem mai multe butoane pe care le putem acționa: seturi de date mai bune, arhitecturi de modele noi, metode de antrenament noi, compilatoare mai bune, îmbunătățiri algoritmice și exploatarea acestora, arhitecturi de calculatoare mai bune și așa mai departe. Dacă facem toate acestea, există aproximativ trei ordine de mărime de îmbunătățire care pot fi găsite. Acesta este cel mai bun mod de a ieși din această situație.

Sunteți un susținător al gândirii bazate pe principii fundamentale, cum vă modelează această abordare modul în care conduceți Lemurian Labs?

Utilizăm cu siguranță multă gândire bazată pe principii fundamentale la Lemurian. Am descoperit întotdeauna că înțelepciunea convențională este înșelătoare, deoarece această cunoaștere a fost formată la un anumit moment în timp, când anumite ipoteze erau valabile, dar lucrurile se schimbă întotdeauna și trebuie să retestați ipotezele destul de des, mai ales când trăiți într-o lume atât de rapidă.

Mă întreb adesea lucruri cum ar fi “aceasta pare a fi o idee foarte bună, dar de ce nu ar funcționa”, sau “ce trebuie să fie adevărat pentru ca acest lucru să funcționeze”, sau “ce știm că sunt adevăruri absolute și ce ipoteze facem și de ce?”, sau “de ce credem că această abordare este cea mai bună pentru a rezolva această problemă”. Scopul este de a invalida și de a ucide idei cât mai repede și ieftin posibil. Vrem să maximizăm numărul de lucruri pe care le încercăm în orice moment dat.

Dar gândirea bazată pe principii fundamentale nu este de ajuns singură. Obișnuim să o combinăm cu backcasting, ceea ce înseamnă a imagina un rezultat ideal sau dorit și a lucra înapoi pentru a identifica pașii sau acțiunile necesare pentru a-l realiza. Acest lucru ne asigură că ne concentrăm pe o soluție care nu numai că este inovatoare, dar și realistă.

Uneori ne găsim în situații în care trebuie să luăm decizii, dar nu avem date, și în acest caz, folosim ipoteze minime testabile care ne oferă un semnal dacă are sens să urmărim ceva cu cel mai mic efort posibil.

Toate acestea combinate ne oferă agilitate, cicluri rapide de iterare pentru a reduce rapid riscurile și ne-au ajutat să ajustăm strategiile cu încredere ridicată și să facem progrese semnificative pe probleme foarte grele într-un timp foarte scurt.

Inițial, v-ați concentrat pe inteligența artificială de margine, ce v-a determinat să vă reorientați și să faceți o schimbare către calculul în cloud?

Am început cu inteligența artificială de margine, deoarece la acea vreme eram foarte concentrat pe rezolvarea unei probleme foarte specifice pe care o întâmpinam în încercarea de a aduce o lume de roboți autonome generale. Roboții autonome promit să fie cea mai mare schimbare de platformă din istoria noastră colectivă și părea că aveam tot ce era necesar pentru a construi un model de bază pentru roboți, dar ne lipsea cipul de inferență ideal cu echilibrul potrivit de debit, întârziere, eficiență energetică și programabilitate pentru a rula modelul de bază respectiv.

Nu mă gândeam la centru de date la acea vreme, deoarece erau suficiente companii care se concentrau acolo și mă așteptam să rezolve problema. Am proiectat o arhitectură foarte puternică pentru acest spațiu de aplicații și eram gata să o lansăm, și apoi a devenit clar că lumea se schimbase și problema era de fapt în centru de date. Rata cu care modelele de limbaj mare consumă calcul depășește cu mult ritmul progresului în calcul și, atunci când factorizezi adoptarea, începe să picteze o imagine îngrijorătoare.

Mi s-a părut că acesta este locul în care ar trebui să ne concentrăm eforturile noastre, pentru a reduce cât mai mult costul energetic al inteligenței artificiale în centrele de date, fără a impune restricții cu privire la unde și cum ar trebui să evolueze inteligența artificială. Și așa am început să lucrăm la rezolvarea acestei probleme.

Puteți să ne împărtășiți povestea de fond a fondării Lemurian Labs?

Povestea începe la începutul anului 2018. Lucram la antrenarea unui model de bază pentru autonomie generală, împreună cu un model pentru simulare multi-fizică generativă pentru a antrena agentul și a-l perfecționa pentru diferite aplicații, și alte lucruri pentru a ajuta la scalarea în medii multi-agente. Dar foarte repede am epuizat cantitatea de calcul pe care o aveam și am estimat că aveam nevoie de mai mult de 20.000 de unități V100 GPU. Am încercat să strâng suficient pentru a obține acces la calcul, dar piața nu era pregătită pentru acea scară încă.

Câteva ani mai târziu, în 2020, m-am întâlnit cu Vassil – viitorul meu co-fondator – pentru a ne revedea și i-am împărtășit provocările pe care le-am întâmpinat în construirea unui model de bază pentru autonomie și el a sugerat construirea unui cip de inferență care să poată rula modelul de bază și a împărtășit că se gândise mult la formate numerice și că reprezentări mai bune ar ajuta nu numai la menținerea preciziei rețelelor neuronale la lățimi de bit mai mici, ci și la crearea unor arhitecturi mai puternice.

A fost o idee interesantă, dar era mult dincolo de sfera mea de expertiză. Dar nu m-a lăsat și m-a determinat să petrec luni și luni învățând despre arhitectura computerelor, seturile de instrucțiuni, timpul de rulare, compilatoarele și modelele de programare. În cele din urmă, construirea unei companii de semiconductoare a început să aibă sens și am format o teză despre ce era problema și cum să o abordăm. Și, apoi, spre sfârșitul anului, am început Lemurian.

Ați vorbit anterior despre necesitatea de a aborda mai întâi software-ul atunci când construiți hardware, puteți să ne explicați de ce credeți că problema hardware-ului este, în primul rând, o problemă de software?

Ce nu realizează multă lume este că partea software a semiconductoarelor este mult mai grea decât hardware-ul însuși. Construirea unei arhitecturi de calculator utilă pentru clienți pentru a o folosi și a obține beneficii de pe urma ei este o problemă full-stack și, dacă nu aveți această înțelegere și pregătire de la început, veți ajunge cu o arhitectură frumoasă și performantă, dar total inutilizabilă de către dezvoltatori, ceea ce este de fapt important.

Există și alte beneficii ale abordării software-first, cum ar fi timpul de lansare mai rapid. Acesta este crucial în lumea noastră în schimbare rapidă, unde a fi prea entuziast în legătură cu o arhitectură sau o funcție ar putea însemna să pierzi piața în totalitate.

Nu luarea unei abordări software-first în general duce la faptul că nu ați deriskat lucrurile importante necesare pentru adoptarea produsului pe piață, nu puteți răspunde la schimbările din piață, de exemplu, atunci când încărcările de lucru evoluează într-un mod neașteptat, și aveți hardware subutilizat. Toate acestea sunt lucruri nefaste. Acesta este un motiv mare pentru care ne pasă mult de a fi centrați pe software și de ce considerăm că nu puteți fi o companie de semiconductoare fără a fi de fapt o companie de software.

Puteți să ne discutați obiectivele imediate pentru stiva de software?

Când am proiectat arhitectura noastră și am gândit drumul nostru către viitor și unde sunt oportunitățile de a aduce mai multă performanță și eficiență energetică, a devenit foarte clar că vom vedea mult mai multă eterogenitate, ceea ce va crea multe probleme pe software. Și nu doar trebuie să fim capabili să programăm arhitecturi eterogene, dar trebuie să le facem și la scară de centru de date, ceea ce este o provocare de care nu am mai întâlnit până acum.

Acest lucru ne-a îngrijorat, deoarece ultima dată când am trebuit să trecem printr-o schimbare majoră a fost când industria a trecut de la arhitecturi single-core la arhitecturi multi-core și, la acea vreme, a durat 10 ani pentru a face software-ul să funcționeze și pentru ca oamenii să îl folosească. Nu putem aștepta 10 ani pentru a rezolva software-ul pentru eterogenitate la scară, trebuie să fie rezolvat acum.

Suntem în prezent implicați cu multe dintre principalele companii de semiconductoare și furnizori de servicii cloud și vom lansa stiva noastră de software în următorii 12 luni. Este un model de programare unificat cu un compilator și un timp de rulare capabil să vizeze orice tip de arhitectură și să orchestreze lucrul în clusteruri compuse din diferite tipuri de hardware și este capabil să scaleze de la un nod la un cluster de o mie de noduri pentru cea mai bună performanță posibilă.

Mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe despre Lemurian Labs ar trebui să viziteze Lemurian Labs.