Phillip Burr, Șef de Produs la Lumai – Seria de Interviuri

Phillip Burr este Șef de Produs la Lumai, cu peste 25 de ani de experiență în managementul global de produs, strategii de lansare pe piață și roluri de conducere în cadrul unor companii de vârf din domeniul semiconductor și tehnologie, precum și o experiență dovedită în construirea și scalarea produselor și serviciilor.

Lumai este o companie de tehnologie avansată din Marea Britanie, care dezvoltă procesoare de calcul optic 3D pentru a accelera sarcinile de inteligență artificială. Prin efectuarea de multiplicări matrice-vector utilizând fascicule de lumină în trei dimensiuni, tehnologia lor oferă până la 50 de ori mai multă performanță și o reducere cu 90% a consumului de energie în comparație cu acceleratoarele tradiționale pe bază de siliciu. Acest lucru o face deosebit de potrivită pentru sarcinile de inferență AI, inclusiv modelele de limbaj mare, reducând în același timp semnificativ costurile energetice și impactul asupra mediului.

Ce a inspirat fondarea Lumai, și cum a evoluat ideea de la cercetarea de la Universitatea Oxford într-o întreprindere comercială?

Scânteia inițială a fost aprinsă atunci când unul dintre fondatorii Lumai, Dr. Xianxin Guo, a primit o bursă de cercetare 1851 la Universitatea Oxford. Intervievatorii au înțeles potențialul calculului optic și l-au întrebat pe Xianxin dacă ar lua în considerare brevetele și înființarea unei companii dacă cercetarea sa ar fi fost de succes. Acest lucru i-a trezit mintea creativă și, atunci când el, alături de unul dintre ceilalți co-fondatori ai Lumai, Dr. James Spall, a demonstrat că utilizarea luminii pentru a efectua calculele de la baza inteligenței artificiale poate atât îmbunătăți semnificativ performanța AI, cât și reduce energia, a fost clar că pot crea un produs pe care clienții îl doresc. Ei au prezentat această idee unor investitori care i-au sprijinit pentru a înființa Lumai. Lumai a închis recent a doua rundă de finanțare, strângând peste 10 milioane de dolari și aducând alți investitori care cred, de asemenea, că calculul optic poate continua să se dezvolte și să îndeplinească cererea tot mai mare de performanță AI fără a crește puterea.

Ai avut o carieră impresionantă în cadrul Arm, indie Semiconductor (INDI ) și altele — ce te-a atras să te alături Lumai la acest stadiu?

Răspunsul scurt este echipa și tehnologia. Lumai are o echipă impresionantă de experți în optică, învățare automată și centre de date, aducând experiență de la companii precum Meta, Intel (INTC ), Altera, Maxeler, Seagate și IBM (împreună cu propria mea experiență în Arm, indie, Mentor Graphics și Motorola). Știam că o echipă de oameni remarcabili, atât de concentrați pe rezolvarea provocării de a reduce costul inferenței AI, putea face lucruri uimitoare.

Cred ferm că viitorul inteligenței artificiale necesită noi și inovatoare descoperiri în domeniul calculului. Promisiunea de a putea oferi de 50 de ori mai multă performanță de calcul AI, precum și de a reduce costul inferenței AI la o zecime față de soluțiile de astăzi, a fost o oportunitate prea bună pentru a o ratat.

Care au fost unele dintre primele provocări tehnice sau de afaceri cu care s-a confruntat echipa dvs. de fondatori în scalarea de la o descoperire științifică la o companie gata de produs?

Descoperirea științifică a demonstrat că optica poate fi utilizată pentru multiplicări matrice-vector rapide și foarte eficiente. În ciuda progreselor tehnice, cea mai mare provocare a fost convingerea oamenilor că Lumai poate reuși acolo unde alte startup-uri de calcul optic au eșuat. Trebuia să petrecem timp explicând că abordarea Lumai este foarte diferită și că, în loc de a se baza pe un singur cip 2D, utilizăm optică 3D pentru a atinge nivelurile de scară și eficiență. Există, desigur, multe etape pentru a trece de la cercetarea de laborator la tehnologia care poate fi implementată la scară într-un centru de date. Am recunoscut de la început că cheia succesului constă în atragerea de ingineri care au experiență în dezvoltarea de produse în volume mari și în centre de date. O altă zonă este software-ul – este esențial ca cadrele și modelele standard de inteligență artificială să poată beneficia de procesorul Lumai și că oferim instrumente și cadre pentru a face acest lucru cât mai simplu posibil pentru inginerii de software AI.

Tehnologia Lumai se spune că utilizează multiplicarea matrice-vector optică 3D. Puteți explica asta în termeni simpli pentru o audiență generală?

Sistemele de inteligență artificială au nevoie de multe calcule matematice numite multiplicări matrice-vector. Aceste calcule sunt motorul care alimentează răspunsurile inteligenței artificiale. La Lumai, facem acest lucru utilizând lumină în loc de electricitate. Iată cum funcționează:

1. Încodăm informații în fascicule de lumină
2. Aceste fascicule de lumină călătoresc prin spațiu 3D
3. Lumina interacționează cu lentile și materiale speciale
4. Aceste interacțiuni completează operația matematică

Prin utilizarea tuturor celor trei dimensiuni ale spațiului, putem procesa mai multe informații cu fiecare fascicul de lumină. Acest lucru face abordarea noastră foarte eficientă – reducând energia, timpul și costul necesar pentru a rula sisteme de inteligență artificială.

Care sunt principalele avantaje ale calculului optic față de procesoarele tradiționale pe bază de siliciu și chiar față de fotonică integrată?

Deoarece rata de progres în tehnologia siliciului a încetinit semnificativ, fiecare pas înainte în performanța unui procesor de inteligență artificială pe bază de siliciu (precum un GPU) duce la o creștere semnificativă a puterii. Soluțiile pe bază de siliciu consumă o cantitate incredibilă de putere și urmăresc randamente din ce în ce mai mici, ceea ce le face incredibil de complexe și scumpe. Avantajul utilizării opticii este că, odată ajunse în domeniul optic, practic nu se consumă putere. Energia este utilizată pentru a intra în domeniul optic, dar, de exemplu, în procesorul Lumai putem realiza peste 1.000 de operații de calcul la fiecare fascicul de lumină, în fiecare ciclu, ceea ce o face foarte eficientă. Această scalabilitate nu poate fi atinsă utilizând fotonică integrată din cauza constrângerilor de dimensiune fizică și a zgomotului de semnal, numărul de operații de calcul al soluției de siliciu-fotonică fiind de doar 1/8 din ceea ce poate realiza Lumai în prezent.

Cum realizează procesorul Lumai inferența cu latență aproape zero, și de ce este acest lucru atât de critic pentru sarcinile de inteligență artificială moderne?

Deși nu am pretinde că procesorul Lumai oferă latență zero, el execută o operație de multiplicare matrice-vector foarte mare (1024 x 1024) într-un singur ciclu. Soluțiile pe bază de siliciu împart de obicei o matrice în matrice mai mici, care sunt procesate individual pas cu pas, iar apoi rezultatele trebuie combinate. Acest lucru necesită timp și duce la utilizarea mai multă a memoriei și energiei. Reducerea timpului, energiei și costului procesării inteligenței artificiale este critică atât pentru a permite mai multor afaceri să beneficieze de inteligență artificială, cât și pentru a permite inteligență artificială avansată în cel mai sustenabil mod.

Puteți descrie cum factorul de formă PCIe-compatibil al procesorului dvs. se integrează cu infrastructura existentă a centrelor de date?

Procesorul Lumai utilizează plăci cu factor de formă PCIe, alături de un CPU standard, toate într-un raft standard de 4U. Lucrăm cu o serie de furnizori de echipamente pentru rafturi de centre de date pentru a integra procesorul Lumai cu echipamentele lor. Utilizăm interfețe de rețea standard, software standard etc., astfel încât, din punct de vedere extern, procesorul Lumai va arăta ca oricare alt procesor de centru de date.
Consumul de energie al centrelor de date este o preocupare globală în creștere. Cum se poziționează Lumai ca o soluție sustenabilă pentru calculul inteligenței artificiale?

Consumul de energie al centrelor de date crește la un ritm alarmant. Conform unui raport de la Laboratorul Național Lawrence Berkeley, consumul de energie al centrelor de date din Statele Unite se va tripla până în 2028, consumând până la 12% din energia țării. Unii operatori de centre de date iau în considerare instalarea de centrale nucleare pentru a furniza energia necesară. Industria trebuie să caute abordări diferite pentru inteligența artificială, și credem că optica este răspunsul la această criză energetică.

Puteți explica cum arhitectura Lumai evită blocajele de scalabilitate ale abordărilor actuale de siliciu și fotonică?

Performanța primului procesor Lumai este doar începutul a ceea ce poate fi realizat. Ne așteptăm ca soluția noastră să continue să ofere salturi uriașe în performanță: prin creșterea vitezelor ceasului optic și a lățimii vectorilor, toate fără o creștere corespunzătoare a consumului de energie. Nicio altă soluție nu poate realiza acest lucru. Abordările digitale standard pe bază de siliciu vor continua să consume mai multă energie și să coste mai mult pentru fiecare creștere a performanței. Fotonică integrată nu poate atinge lățimea vectorului necesar și, prin urmare, companiile care se uitau la fotonică integrată pentru calculul din centrele de date s-au mutat pentru a aborda alte părți ale centrelor de date – de exemplu, interconectare optică sau comutare optică.

Care este rolul pe care îl vedeți calculul optic jucându-l în viitorul inteligenței artificiale — și, în general, în calcul?

Optica, în ansamblu, va juca un rol uriaș în centrele de date în viitor – de la interconectare optică, rețele optice, comutare optică și, desigur, procesare de inteligență artificială optică. Cerințele pe care inteligența artificială le impune asupra centrelor de date sunt principalul factor care determină această mișcare către optică. Interconectarea optică va permite conexiuni mai rapide între procesoarele de inteligență artificială, ceea ce este esențial pentru modelele mari de inteligență artificială. Comutarea optică va permite o rețea mai eficientă, iar procesarea optică va permite o procesare mai rapidă, mai eficientă din punct de vedere energetic și mai ieftină a inteligenței artificiale. În ansamblu, acestea vor ajuta la facilitarea unei inteligențe artificiale și mai avansate, depășind provocările încetinirii scalării siliciului pe partea de calcul și limitările de viteză ale cuprului pe partea de interconectare.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Lumai ar trebui să viziteze Lumai.