Avi Baum, CTO la Hailo – Seria de interviuri

Avi Baum, CTO la Hailo, conduce viziunea tehnologică și inovația produsului companiei. Anterior, a ocupat funcția de CTO pentru Conectivitate Wireless la Texas Instruments (TXN ), conducând strategiile pentru MCUs conectate în piețele IoT și IIoT, și a deținut roluri senior de arhitectură și conducere în Forțele de Apărare ale Israelului.

Hailo este o companie israeliană de AI-chip specializată în procesoare de AI de margine de înaltă performanță și consum redus de energie pentru aplicații precum vehicule autonome, camere inteligente și robotică, susținute de un pachet software cuprinzător și un ecosistem de parteneri global.

Ne puteți spune ce v-a atras inițial în domeniul AI de margine și cum experiențele dvs. tehnice de început v-au influențat gândirea despre proiectarea procesoarelor?

Drumul meu profesional m-a condus spre domenii de piață emergente. În timpul șederii mele la TI (Texas Instruments), un lider în domeniul semiconductoarelor cu o moștenire de lungă durată, am avut ocazia să conduc proiectarea la nivel de sistem și arhitectură, conducând departamentul de definire a produsului și ulterior servind ca CTO al acestui departament. Acest lucru m-a condus să explor continuu tehnologiile care urmează să modeleze “viitorul nu prea îndepărtat”.

Când am fondat Hailo în 2017, a fost clar că AI, care începuse să prospere în cloud, avea și potențialul de a deveni o tehnologie care să permită dispozitivele de margine. Așadar, ne-am stabilit drumul și am început această călătorie.

De ce TOPS—tera de operațiuni pe secundă—nu mai este un benchmark suficient pentru evaluarea performanței procesoarelor, odată ce AI generativ se extinde la margine?

TOPS a fost mult timp metrica de referință pentru evaluarea hardware-ului de AI, dar în era AI generativ la margine, nu mai este suficient. Natura modelelor clasice este de a traduce cantități mari de date în insight-uri semnificative, astfel încât cantitatea de calcul necesară pentru a procesa datele de intrare crește odată cu cantitatea de date care trebuie procesate. Modelele pentru aceste sarcini sunt de obicei mai mici în dimensiune decât cantitatea de date pe care le procesează, făcând ca lățimea de bandă atribuită accesării parametrilor modelului să fie relativ neglijabilă.

Modelele generative, însă, sunt semnificativ mai mari – în domeniul miliardelor de parametri, și în aceste cazuri, lățimea de bandă a memoriei devine un factor semnificativ.

În loc să se concentreze doar pe TOPS, este critic să se evalueze cât de bine un procesor echilibrează calculul și memoria în condiții reale. Nu este vorba despre a urmări numărul cel mai mare; este vorba despre a ajusta arhitectura pentru a se potrivi cu sarcinile pe care trebuie să le gestioneze.

De ce lățimea de bandă a memoriei devine acum un blocaj mai critic decât calculul în sarcinile de lucru AI de margine, în special pentru LLM și VLM?

Pentru sarcinile de lucru AI de margine, în special cele care implică LLM sau VLM, lățimea de bandă a memoriei devine rapid blocajul principal. Aceste modele sunt de obicei cuprinse între 0,5 și 8 miliarde de parametri, depășind capacitatea memoriei pe cip și necesitând acces la memoria off-chip, cum ar fi DRAM. Acest lucru crește dramatic cererea de lățime de bandă a memoriei. De exemplu, un model cu 1 miliard de parametri poate livra până la ~40 de tokeni pe secundă în condiții optime cu o interfață LPDDR4X standard, dar menținerea acestei rate cu un model de 4 miliarde de parametri necesită peste patru ori această lățime de bandă. Fără aceasta, performanța suferă, nu din cauza calculului limitat, ci pentru că procesorul nu poate alimenta datele suficient de repede. Acest dezechilibru între calcul și memorie este una dintre cele mai presante provocări în implementarea AI generativ la margine. Acest lucru este amplificat și mai mult în arhitecturi care calculează strat cu strat, unde rezultatele intermediare cresc, de asemenea, traficul de memorie și solicită și mai mult lățimea de bandă.

Cum ar trebui să reevalueze echipele de produs strategia de benchmarking atunci când proiectează pentru aplicații reale de margine?

Echipele de produs ar trebui să se îndepărteze de a se baza pe o singură metrică de performanță, cum ar fi TOPS, și să adopte o strategie de benchmarking care reflectă realitățile implementării la margine. Acest lucru începe prin a înțelege cazul de utilizare specific, sarcina de lucru reală pe care procesorul trebuie să o gestioneze, și identificarea “punctului de lucru”: intersecția constrângerilor de putere, cost și latență. De acolo, este vorba despre a evalua cum calculul și memoria interacționează în aceste condiții. Un procesor cu TOPS ridicat nu va livra dacă lățimea de bandă a memoriei este limitată, și mai multă memorie nu va ajuta dacă capacitatea de calcul este insuficientă.

Echipele ar trebui să evalueze dacă procesorul poate menține performanța pe sarcini precum percepția, îmbunătățirea și generarea de modele, fiecare cu cerințe foarte diferite. Scopul nu este de a optimiza pentru specificații de vârf, ci de a asigura o performanță echilibrată pe întreaga gamă de cazuri de utilizare așteptate în medii reale.

Acesta este un schimbă natural de la măsuri “sterile” la abordări mai complexe care reflectă modul în care platformele sunt utilizate și modul în care sunt evaluate – similar cu ceea ce s-a întâmplat cu alte arhitecturi care au devenit mainstream (de exemplu, SPEC, Coremark, 3DMark, etc.).

Cum influențează constrângerile de putere și cost deciziile de arhitectură din spatele procesoarelor Hailo, în special pentru dispozitivele de margine cu față către consumator?

Puterea și costul sunt două dintre cele mai definitorii constrângeri atunci când se proiectează procesoare de AI pentru dispozitive de margine, în special în produsele cu față către consumator. În dispozitive compacte, cum ar fi senzorii IoT sau asistenții inteligenți pentru casă, bugetele de putere sunt strânse, și adesea nu există răcire activă, astfel încât eficiența energetică devine critică. Fiecare resursă suplimentară de calcul sau memorie adaugă putere și căldură, ceea ce afectează direct utilizabilitatea și durata de viață a bateriei.

Costul este la fel de influent. Dispozitivele consumatorilor trebuie să rămână în puncte de preț competitive, ceea ce înseamnă că procesorul poate include doar atâtea TOPS și memorie cât să nu devină neprofitabil din punct de vedere economic. Aceste constrângeri forțează decizii arhitecturale dificile. La Hailo, prioritatea noastră este să proiectăm procesoare care să ofere un echilibru corect între calcul și memorie pentru a satisface nevoile reale ale aplicațiilor, într-un pachet strâns de putere și cost, asigurând că AI de margine devine viabil, eficient și escalabil pe o gamă largă de produse consumatorilor.

Ne puteți explica cum definiți un “punct de lucru” pentru o aplicație și de ce acesta contează atât de mult în implementarea AI de margine?

Definirea “punctului de lucru” este unul dintre cele mai importante pași atunci când se proiectează un sistem. Se referă la intersecția constrângerilor de putere, cost și latență care definesc ceea ce este realist de atins într-o implementare specifică. În contrast cu cloud-ul, unde puteți arunca mai mult calcul sau memorie la o problemă, dispozitivele de margine operează într-un pachet fix. Acest lucru înseamnă că trebuie să faceți compromisuri deliberate bazate pe cerințele reale ale aplicației. De exemplu, un senzor IoT ar putea prioriza eficiența energetică înaintea performanței brute, în timp ce un sistem autonom ar putea cere latență ultra-scăzută, indiferent de consumul de putere. Odată stabilit punctul de lucru, puteți evalua dacă procesorul are echilibrul corect de calcul și memorie pentru a satisface acea nevoie. Nu este vorba despre a maximiza specificațiile în toate direcțiile; este vorba despre a asigura o performanță susținută și fiabilă în condițiile reale cu care se va confrunta aplicația.

În general, punctul de lucru este acolo unde doriți ca indicatorii de performanță cheie să fie la nivelul lor optim. Eșuarea în a face acest lucru poate duce la o funcționare suboptimă în cele mai tipice scenarii de utilizare ale platformei.

Ca un exemplu simplu, puteți face un sistem de analiză AI extrem de eficient atunci când intrarea este la o rezoluție foarte înaltă, dar dacă acesta este implementat în sisteme care nu ating niciodată această rezoluție, această optimizare este lipsită de sens.

Cum abordați optimizarea pe modele multimodale, având în vedere că video, audio și limbaj sunt adesea combinate în dispozitivele moderne?

Modelele multimodale necesită un echilibru atent al resurselor de calcul și memorie. Fiecare modalitate solicită sistemul în mod diferit: video este intensiv din punct de vedere al calculului datorită rezoluției și ratelor de cadre mari, în timp ce limbajul și audio sunt mai compacte, dar solicită mai mult lățime de bandă a memoriei. În aplicații precum procesarea limbaj-viziune, această diviziune devine clară (deși acesta nu este un garant, ci un scenariu tipic): procesarea video solicită calculul, în timp ce modelul de limbaj poate lovi rapid blocajele de memorie.

Noi abordăm optimizarea prin examinarea modului în care aceste sarcini de lucru interacționează de-a lungul pipeline-ului și asigurându-ne că procesorul este proiectat pentru a le susține simultan, fără a lăsa o modalitate să compromită performanța celeilalte.

Cum influențează creșterea dimensiunii modelului la margine latența și consumul de putere, și care este rolul arhitecturii la nivel de sistem în rezolvarea acestei probleme?

Pe măsură ce dimensiunea modelului crește la margine, latența și consumul de putere devin mai greu de gestionat. Modelele mai mari se bazează mai mult pe memoria off-chip, ceea ce crește atât consumul de energie, cât și întârzierea, în special atunci când lățimea de bandă a memoriei devine un blocaj. De exemplu, trecerea de la un model cu 1 miliard de parametri la unul cu 4 miliarde de parametri ar necesita peste patru ori lățimea de bandă pentru a menține aceeași performanță – dar, în practică, performanța nu se escaladează liniar din cauza constrângerilor de bandă și sistem.

Nu este vorba doar despre a avea TOPS ridicate sau memorie mare; este vorba despre modul în care aceste componente interacționează. O proiectare echilibrată asigură că calculul, memoria și lățimea de bandă lucrează împreună eficient, prevenind ca o resursă să limiteze întregul sistem.

Cum proiectați pentru a asigura viitorul, având în vedere cât de rapid evoluează modelele de AI, sarcinile de lucru și cerințele de implementare?

Asigurarea viitorului în AI de margine înseamnă proiectarea procesoarelor care pot gestiona o gamă largă de sarcini de lucru în evoluție. La Hailo, ne concentrăm pe arhitecturi echilibrate care nu sunt create doar pentru o singură sarcină, ci pot susține totul, de la funcții perceptive, cum ar fi detectarea obiectelor, la modele generative, cum ar fi VLM. Fiecare tip de sarcin de lucru solicită calculul și memoria în mod diferit, astfel încât proiectăm pentru flexibilitate, evitând blocaje atunci când se trece de la una la alta. De asemenea, ținem cont de limitele reale de putere, cost și latență din aplicații. Prin prioritatea diversității de sarcini de lucru și a echilibrului de resurse, ne propunem să susținem următoarea generație de implementări AI de margine, atât pentru uz consumator, cât și industrial.

Însă, o mărime nu poate fi potrivită pentru toate, și portofoliul nostru vizează anumite aplicații adresabile și încearcă să se potrivească în bugetul disponibil, de exemplu, putere, factor de formă, și aceasta definesc un “punct de lucru”.

Care este rolul ecosistemului dezvoltatorilor în maximizarea valorii unui procesor, și cum asigurați că echipele pot face uz complet de capacitățile Hailo?

Ca dispozitiv programabil, este esențial să aveți unelte facile pentru dezvoltatori pentru a-și exercita potențialul procesorului, a scurta drumul spre implementare și a permite noi cazuri de utilizare. Prin furnizarea unui mediu bine susținut în jurul procesoarelor noastre, ajutăm echipele să aducă aplicații AI la viață pe o gamă largă de cazuri de utilizare.

Care ar fi sfatul dvs. pentru ingineri sau CTO care aleg primul lor accelerator AI pentru un produs de generație următoare construit astăzi?

Având condițiile propice, cred că există un potențial mare de inovare, permițându-ne să transpunem imaginația în produse reale. Într-un mediu în schimbare rapidă, alegerea unui accelerator care permite un ciclu rapid de la concept la implementare este critică.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Hailo ar trebui să viziteze Hailo.