Jay Dawani este co-fondator și CEO al Lemurian Labs – Seria de interviuri

Jay Dawani este co-fondator și CEO al Lemurian Labs. Lemurian Labs are misiunea de a oferi computere cu inteligență artificială accesibile, eficiente și la prețuri rezonabile, bazată pe convingerea că inteligența artificială nu ar trebui să fie un lux, ci un instrument accesibil tuturor. Echipa fondatoare a Lemurian Labs combină expertiza în inteligență artificială, compilatoare, algoritmi numerici și arhitectură computerizată, unite de un singur scop: să reimagineze calculul accelerat.

Ne puteți descrie fundalul și ce v-a determinat să intrați în domeniul inteligenței artificiale?

Desigur. Am început să programez de la vârsta de 12 ani și am construit jocuri și altele, dar am intrat în domeniul inteligenței artificiale la 15 ani, datorită unui prieten al tatălui meu care era pasionat de calculatoare. El a alimentat curiozitatea mea și mi-a dat cărți de citit, cum ar fi “Calculatorul și creierul” de Von Neumann, “Perceptrons” de Minsky, “Inteligența artificială: Abordări moderne” de Russel și Norvig. Aceste cărți mi-au influențat gândirea și mi s-a părut aproape evident că inteligența artificială va fi transformativă și trebuia să fac parte din acest domeniu.

Când a venit timpul pentru universitate, voiam să studiez inteligența artificială, dar nu am găsit nicio universitate care să ofere acest curs, așa că am decis să mă specializez în matematică aplicată. Puțin timp după ce am ajuns la universitate, am aflat despre rezultatele lui AlexNet pe ImageNet, ceea ce a fost foarte interesant. Atunci am avut un moment de “acum sau niciodată” și am început să citesc toate articolele și cărțile pe care le puteam găsi despre rețele neuronale și am căutat să învăț de la liderii din domeniu, deoarece cât de des ai ocazia să fii prezent la nașterea unei noi industrii și să înveți de la pionierii acesteia.

Foarte curând, am realizat că nu îmi place cercetarea, dar îmi place să rezolv probleme și să construiesc produse care utilizează inteligența artificială. Acest lucru m-a determinat să lucrez la mașini autonome și roboți, inteligență artificială pentru descoperirea de materiale, modele generative pentru simulări multi-fizice, simulatoare bazate pe inteligență artificială pentru antrenarea șoferilor de curse și ajutorul la configurarea mașinilor, roboți spațiali, tranzacționare algoritmică și multe altele.

Acum, după ce am făcut toate acestea, încerc să reduc costul antrenamentului și implementării inteligenței artificiale, deoarece acesta va fi cel mai mare obstacol pe care îl vom întâmpina pe drumul nostru către crearea unui mediu în care fiecare persoană și companie să poată avea acces la inteligența artificială în modul cel mai economic posibil.

Multe companii care lucrează în domeniul calculului accelerat au fondatori care și-au construit cariera în domeniul semiconductoarelor și infrastructurii. Cum credeți că experiența dvs. anterioară în inteligența artificială și matematică vă afectează capacitatea de a înțelege piața și de a concura eficient?

Cred că faptul că nu provin din industrie îmi oferă avantajul de a fi un outsider. Am constatat că adesea, lipsa cunoștințelor despre normele industriale sau înțelepciunea convențională îmi oferă libertatea de a explora mai liber și de a merge mai departe decât majoritatea celorlalți, deoarece nu sunt încărcat de prejudecăți.

Am libertatea de a pune întrebări “mai proaste” și de a testa ipotezele într-un mod în care majoritatea celorlalți nu ar face-o, deoarece multe lucruri sunt acceptate ca adevăruri. În ultimii doi ani, am avut mai multe conversații cu oameni din industrie care sunt foarte dogmatici în legătură cu ceva, dar nu pot să-mi spună proveniența ideii, ceea ce mi se pare foarte ciudat. Îmi place să înțeleg de ce anumite alegeri au fost făcute, care au fost ipotezele sau condițiile de la acea vreme și dacă mai sunt valabile.

Venind dintr-un mediu de inteligență artificială, tendința mea este să adopt o perspectivă software, privind unde se află sarcinile de lucru în prezent și unde se pot schimba în timp, și modelând întregul lanț de procesare a inteligenței artificiale pentru antrenament și inferență, pentru a înțelege blocajele, ceea ce îmi arată unde sunt oportunitățile de a aduce valoare. Și, deoarece provin dintr-un mediu matematic, îmi place să modelăm lucrurile pentru a ajunge cât mai aproape de adevăr și să mă ghidez după aceasta. De exemplu, am construit modele pentru a calcula performanța sistemului pentru costul total de proprietate și putem măsura beneficiul pe care îl putem aduce clienților cu software și/sau hardware și pentru a înțelege mai bine constrângerile și diferitele opțiuni disponibile pentru noi, și zeci de alte modele pentru diverse lucruri. Suntem foarte orientați către date și folosim insight-urile din aceste modele pentru a ne ghida eforturile și compromisurile.

Se pare că progresul în inteligența artificială a provenit în principal din scalare, ceea ce necesită o cantitate exponențial mai mare de calcul și energie. Se pare că suntem într-o cursă a înarmării, cu fiecare companie încercând să construiască cel mai mare model, și nu pare a fi niciun sfârșit în vedere. Credeți că există o cale de a ieși din această situație?

Există întotdeauna soluții. Scalarea s-a dovedit a fi extrem de utilă și nu cred că am văzut încă sfârșitul. Vom vedea foarte curând modele antrenate cu un cost de cel puțin un miliard de dolari. Dacă doriți să fiți lider în inteligență artificială generativă și să creați modele de bază de ultimă generație, veți trebui să cheltuiți cel puțin câteva miliarde de dolari pe an pentru calcul. Acum, există limite naturale pentru scalare, cum ar fi construirea unui set de date suficient de mare pentru un model de acea mărime, obținerea accesului la oamenii cu cunoștințele potrivite și obținerea accesului la suficient calcul.

Continuarea scalării dimensiunii modelului este inevitabilă, dar nu putem transforma întreaga suprafață a Pământului într-un supercalculator de dimensiuni planetare pentru a antrena și a furniza modele de limbaj mare pentru motive evidente. Pentru a pune această problemă sub control, avem mai multe opțiuni pe care le putem ajusta: seturi de date mai bune, arhitecturi de modele noi, metode de antrenament noi, compilatoare mai bune, îmbunătățiri algoritmice și exploatarea acestora, arhitecturi de calculatoare mai bune și așa mai departe. Dacă facem toate acestea, există aproximativ trei ordine de mărime de îmbunătățire care pot fi găsite. Acesta este cel mai bun mod de a ieși din această situație.

Sunteți un susținător al gândirii bazate pe principii fundamentale, cum vă modelează această gândire modul în care conduceți Lemurian Labs?

Definitiv, folosim multă gândire bazată pe principii fundamentale la Lemurian. Am descoperit întotdeauna că înțelepciunea convențională este înșelătoare, deoarece acea cunoaștere a fost formată la un anumit moment în timp, când anumite ipoteze erau valabile, dar lucrurile se schimbă mereu și trebuie să retestăm ipotezele des, mai ales când trăim într-o lume atât de rapidă.

Mă găsesc adesea întrebându-mă lucruri precum “aceasta pare a fi o idee foarte bună, dar de ce nu ar funcționa”, sau “ce trebuie să fie adevărat pentru ca acest lucru să funcționeze”, sau “ce știm că sunt adevăruri absolute și ce ipoteze facem și de ce?”, sau “de ce credem că această abordare este cea mai bună pentru a rezolva această problemă”. Scopul este de a invalida și de a ucide idei cât mai repede și mai ieftin posibil. Vrem să încercăm să maximizăm numărul de lucruri pe care le încercăm în orice moment dat. Este vorba despre a fi obsedat de problema care trebuie rezolvată și nu despre a fi prea opinios despre ce tehnologie este cea mai bună. Prea mulți oameni tind să se concentreze prea mult asupra tehnologiei și ajung să nu înțeleagă problemele clienților și să rateze tranzițiile care au loc în industrie, ceea ce poate invalida abordarea lor și îi face incapabili să se adapteze la noua stare a lumii.

Dar gândirea bazată pe principii fundamentale nu este deloc utilă de una singură. Tendința noastră este să o combinăm cu o tehnică numită “backcasting”, care înseamnă să ne imaginăm un viitor ideal sau dorit și să lucrăm înapoi pentru a identifica diferitele pași sau acțiuni necesare pentru a-l realiza. Acest lucru ne asigură că convergem către o soluție care nu numai că este inovatoare, dar și realistă. Nu are sens să petrecem timpul pentru a găsi o soluție perfectă, doar pentru a ne da seama că nu este fezabilă din cauza unor constrângeri din lumea reală, cum ar fi resursele, timpul, reglementările sau construirea unei soluții care pare perfectă, dar ulterior să descoperim că am făcut-o prea greu de adoptat pentru clienți.

De multe ori ne găsim în situații în care trebuie să luăm o decizie, dar nu avem date, și în acest caz, folosim ipoteze minime testabile care ne oferă un semnal dacă ceva merită să fie urmărit cu cel mai mic efort posibil.

Toate acestea combinate ne oferă agilitate, cicluri rapide de iterare pentru a reduce riscurile rapid, și ne-a ajutat să ajustăm strategiile cu încredere ridicată și să facem progrese mari pe probleme foarte grele într-un timp foarte scurt.

Inițial, v-ați concentrat pe inteligența artificială de margine, ce v-a determinat să vă reorientați și să faceți o schimbare către calculul în cloud?

Am început cu inteligența artificială de margine, deoarece la acea vreme eram foarte concentrat pe rezolvarea unei probleme specifice pe care o întâmpinam în încercarea de a aduce o lume de roboți autonimi general-purpose. Roboții autonimi promit să fie cea mai mare schimbare de platformă din istoria noastră colectivă, și părea că aveam tot ce era necesar pentru a construi un model de bază pentru roboți, dar ne lipsea cipul ideal de inferență cu echilibrul potrivit de debit, întârziere, eficiență energetică și programabilitate pentru a rula acel model de bază.

Nu mă gândeam la centru de date la acea vreme, deoarece erau suficiente companii care se concentrau acolo și mă așteptam ca ele să rezolve problema. Am proiectat o arhitectură foarte puternică pentru acest spațiu de aplicații și eram gata să o lansăm, și apoi a devenit clar că lumea se schimbase și problema era de fapt în centru de date. Rata la care modelele de limbaj mare se extind și consumă calcul depășește cu mult ritmul progresului în calcul, și atunci când factorizezi adoptarea, începe să se contureze o imagine îngrijorătoare.

Mi s-a părut că acesta este locul unde ar trebui să ne concentrăm eforturile, pentru a reduce cât mai mult costul energetic al inteligenței artificiale în centrele de date, fără a impune restricții cu privire la unde și cum ar trebui să evolueze inteligența artificială. Și astfel, am început să lucrăm la rezolvarea acestei probleme.

Ne puteți spune povestea de fond a fondării Lemurian Labs?

Povestea începe la începutul anului 2018. Lucram la antrenarea unui model de bază pentru autonomie generală, împreună cu un model pentru simulare multi-fizică generativă pentru a antrena și a ajusta agentul pentru diferite aplicații, și alte lucruri pentru a ajuta la scalarea în medii multi-agente. Dar foarte curând, am epuizat cantitatea de calcul pe care o aveam, și am estimat că aveam nevoie de mai mult de 20.000 de unități GPU V100. Am încercat să strâng suficient de mulți bani pentru a obține acces la calcul, dar piața nu era pregătită pentru acea scară încă. Mi-a făcut totuși să mă gândesc la partea de implementare și m-am așezat să calculez câtă performanță aș avea nevoie pentru a rula acest model în mediile țintă și am realizat că nu exista niciun cip care să poată face asta.

Câțiva ani mai târziu, în 2020, m-am întâlnit cu Vassil – viitorul meu co-fondator – pentru a ne revedea și i-am împărtășit provocările pe care le întâmpinam în construirea unui model de bază pentru autonomie, și el a sugerat construirea unui cip de inferență care să poată rula modelul de bază, și a împărtășit că se gândise mult la formatele numerice și că reprezentările mai bune ar ajuta nu numai la menținerea preciziei rețelelor neuronale la lățimi de bit mai mici, ci și la crearea unor arhitecturi mai puternice.

A fost o idee intrigantă, dar era cu totul în afara ariei mele de expertiză. Dar nu m-a lăsat, ceea ce m-a determinat să petrec luni și luni învățând despre arhitectura computerelor, seturile de instrucțiuni, timpul de rulare, compilatoarele și modelele de programare. În cele din urmă, construirea unei companii de semiconductoare a început să aibă sens, și am format o teză despre ce era problema și cum să abordăm această problemă. Și, apoi, spre sfârșitul anului, am fondat Lemurian.

Ați vorbit anterior despre necesitatea de a aborda mai întâi software-ul atunci când se construiește hardware, ne puteți explica de ce considerați că problema hardware-ului este în primul rând o problemă de software?

Ce nu realizează multă lume este că partea software a semiconductoarelor este mult mai grea decât hardware-ul în sine. Construirea unei arhitecturi de calculator utilă pentru clienți pentru a o folosi și a obține beneficii de pe urma ei este o problemă de stivă completă, și dacă nu aveți această înțelegere și pregătire de la început, veți ajunge cu o arhitectură frumoasă și performantă, dar total inutilizabilă de către dezvoltatori, ceea ce este de fapt important.

Există și alte beneficii pentru abordarea software-ului mai întâi, desigur, cum ar fi timpul de lansare mai rapid. Acesta este crucial în lumea noastră în schimbare rapidă, unde a fi prea entuziasmat de o arhitectură sau o funcție poate însemna să ratezi piața în totalitate.

Nu luarea unei abordări software mai întâi în general duce la faptul că nu ați deriskat lucrurile importante necesare pentru adoptarea produsului pe piață, nu puteți răspunde la schimbările din piață, de exemplu, atunci când sarcinile de lucru evoluează într-un mod neașteptat, și aveți hardware subutilizat. Toate acestea nu sunt lucruri bune. Acesta este un motiv mare pentru care ne pasă mult de a fi centrați pe software și de ce considerăm că nu puteți fi o companie de semiconductoare fără a fi de fapt o companie de software.

Ne puteți discuta despre obiectivele dvs. imediate pentru stiva de software?

Atunci când am proiectat arhitectura noastră și am gândit despre drumul nostru de urmat și unde erau oportunitățile de a aduce mai multă performanță și eficiență energetică, a devenit foarte clar că vom vedea mult mai multă eterogenitate, ceea ce va crea multe probleme de software. Și nu doar avem nevoie să putem programa arhitecturi eterogene productiv, dar trebuie să le gestionăm și la scară de centru de date, ceea ce este o provocare de o amploare pe care nu am mai întâlnit-o până acum.

Acest lucru ne-a făcut să ne îngrijorăm, deoarece ultima dată când am trebuit să trecem printr-o tranziție majoră a fost atunci când industria a trecut de la arhitecturi mono-nucleu la arhitecturi multi-nucleu, și atunci a durat 10 ani pentru a face software-ul să funcționeze și pentru ca oamenii să îl folosească. Nu putem să așteptăm 10 ani pentru a figura cum să facem software-ul pentru eterogenitate la scară, trebuie să o rezolvăm acum. Și astfel, am început să lucrăm la înțelegerea problemei și a ceea ce trebuie să existe pentru ca această stivă de software să existe.

Suntem în prezent implicați cu multe dintre principalele companii de semiconductoare și furnizori de servicii cloud și vom lansa stiva noastră de software în următorii 12 luni. Este un model de programare unificat cu un compilator și un timp de rulare capabil să vizeze orice tip de arhitectură, și să orchestreze lucrul pe clusteruri compuse din diferite tipuri de hardware, și este capabil să scaleze de la un nod la un cluster de o mie de noduri pentru cea mai mare performanță posibilă.

Mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe ar trebui să viziteze Lemurian Labs.