Avi Baum, CTO hos Hailo – Intervju-serie

Avi Baum, CTO hos Hailo, leder virksomhedens teknologiske vision og produktinnovation. Han har tidligere fungeret som CTO for trådløs tilslutning hos Texas Instruments (TXN ), hvor han drev strategier for tilsluttede MCU’er på IoT- og IIoT-markeder, og havde seniort arkitekt- og ledelsesroller i Israels forsvar.

Hailo er en israelsk AI-chip-virksomhed, der specialiserer sig i højpræstations-, lavstrøms edge AI-processorer til anvendelser som autonome køretøjer, smarte kameraer og robotter, understøttet af en omfattende software-suite og globalt partner-økosystem.

Kan du dele, hvad der oprindeligt tiltrak dig til feltet edge AI, og hvordan dine tidlige ingeniør-oplevelser formede dine tanker om processor-design?

Min karriereforløb førte mig til områder med nye markeder. Under min tid hos TI (Texas Instruments), en halvleder-leader med en langvarig arv, havde jeg mulighed for at lede system-niveau-design og arkitektur, hvor jeg stod i spidsen for afdelingen for produktdefinition og senere fungerede som CTO for denne afdeling. Dette førte mig til at udforske de nye teknologier, der sandsynligvis vil forme fremtidens ‘ikke-så-fjerne’ fremtid.

Da vi grundlagde Hailo i 2017, var det klart, at AI, der var begyndt at blomstre i skyen, også havde potentialet til at blive en muliggørende teknologi for edge-enheder. Så vi satte kurs og begyndte denne rejse.

Da generativ AI udvikler sig på kanten, hvorfor er TOPS—tera operationer per sekund—ikke længere en tilstrækkelig benchmark for at evaluere processor-præstation?

TOPS har længe været den gående målestok for at evaluere AI-hardware, men i æraen for generativ AI på kanten, er det ikke længere tilstrækkeligt. Naturen for klassiske modeller er at oversætte mange data til meningsfulde indsigt, så mængden af beregning, der er nødvendig for at behandle de indkommende data, vokser med mængden af data, der skal behandles. Modeller for disse opgaver er typisk mindre i størrelse end mængden af data, de behandler, hvilket gør, at overføringshastigheden tilgængelig for at få adgang til modelparametrene er relativt ubetydelig.

Generative modeller er dog bemærkelsesværdigt større – i milliarder af parametre-domænet, og i disse tilfælde bliver hukommelsesbåndbredde en ikke-negligérbar faktor.

I stedet for at fokusere på TOPS alene, er det kritisk at evaluere, hvor godt en processor balancerer beregning og hukommelse under virkelige forhold. Det handler ikke om at jage det højeste tal; det handler om at justere arkitekturen til de arbejdsbyrder, den skal håndtere.

Hvorfor er hukommelsesbåndbredde nu ved at blive en mere kritisk flaskehals end beregning i edge AI-arbejdsbyrder, især for LLM’er og VLM’er?

For edge AI-arbejdsbyrder, især de, der involverer LLM’er eller VLM’er, er hukommelsesbåndbredde hurtigt ved at blive den primære flaskehals. Disse modeller er typisk i størrelsesordenen 0,5 til 8 milliarder parametre, hvilket overstiger kapaciteten af on-chip-hukommelse og kræver adgang til off-chip-hukommelse som DRAM. Dette øger dramatisk kravene til hukommelsesbåndbredde. For eksempel kan en 1 milliard parameters model levere op til ~40 tokens per sekund under optimale forhold med en standard LPDDR4X-grænseflade, men for at opretholde denne rate med en 4 milliarder parameters model kræves over fire gange så stor båndbredde. Uden det lider præstationen, ikke fordi beregningen er begrænset, men fordi processoren ikke kan føre data ind hurtigt nok. Denne ubalance mellem beregning og hukommelse er en af de mest presserende udfordringer i at implementere generativ AI på kanten. Dette er yderligere forstærket i arkitekturer, der beregner lag for lag, hvor intermediate resultater også øger hukommelses-trafik og yderligere belaster båndbredde.

Hvordan skal produktteamene omdefinere deres benchmark-strategi, når de designer til virkelige edge-anvendelser?

Produktteamene skal flytte sig væk fra at afhænge af en enkelt præstationsmålestok som TOPS og i stedet adoptere en benchmark-strategi, der afspejler virkeligheden af edge-udrulning. Det starter med at forstå den specifikke brugsanvendelse, den faktiske arbejdsbyrde, processoren skal håndtere, og identificere “arbejds punktet”: skæringen af strøm, omkostninger og forsinkelsesbegrænsninger. Derefter handler det om at evaluere, hvordan beregning og hukommelse interagerer under disse forhold. En processor med høje TOPS vil ikke levere, hvis hukommelsesbåndbredde er begrænset, og mere hukommelse vil ikke hjælpe, hvis beregningskapaciteten er utilstrækkelig.

Teamene skal evaluere, om processoren kan opretholde præstationer på tværs af opgaver som perception, enhancive og generative arbejdsbyrder, hver med meget forskellige krav. Målet er ikke at optimere for top-specs, men at sikre en balanceret præstation på tværs af det fulde spektrum af forventede brugsanvendelser i virkelige miljøer.

Dette er en naturlig skift fra ‘sterile’ målinger til mere komplekse tilgange, der afspejler, hvordan platforme bruges og hvordan de vurderes – lignende det, der skete med andre arkitekturer, der blev mainstream (f.eks. SPEC, Coremark, 3DMark osv.).

Hvordan påvirker strøm- og omkostningsbegrænsninger arkitektur-beslutningerne bag Hailo-processorerne, især for forbruger-orienterede edge-enheder?

Strøm og omkostninger er to af de mest definerende begrænsninger, når man designer AI-processorer til edge-enheder, især i forbruger-orienterede produkter. I kompakte enheder som IoT-sensorer eller smarte hjemmeassistenten er strømbudgetterne stramme, og der er ofte ingen aktiv køling, så energi-effektivitet bliver kritisk. Hver ekstra beregnings- eller hukommelsesressource tilføjer strømforbrug og varme, hvilket direkte påvirker brugervenlighed og batterilevetid.

Omkostninger er lige så inflydelsesrige. Forbrugerprodukter skal forblive inden for konkurrencedygtige prisniveauer, hvilket betyder, at processoren kun kan inkludere en vis mængde TOPS og hukommelse, før det bliver økonomisk uholdbart. Disse begrænsninger tvinger os til at træffe hårde arkitektur-valg. Hos Hailo prioriterer vi designs, der leverer den rette balance mellem beregning og hukommelse for at opfylde virkelige anvendelsesbehov inden for en stram envelope af strøm og omkostninger, hvilket sikrer, at edge AI bliver livskraftigt, effektivt og skalerbart på tværs af en bred vifte af forbrugerprodukter.

Kan du forklare, hvordan du definerer et “arbejds punkt” for en anvendelse, og hvorfor det betyder så meget i edge AI-udrulning?

At definere “arbejds punktet” er en af de vigtigste skridt, når man designer et system. Det refererer til skæringen af strøm-, omkostnings- og forsinkelsesbegrænsninger, der former, hvad der realistisk kan opnås i en specifik udrulning. I modsætning til i skyen, hvor man kan kaste mere beregning eller hukommelse på et problem, opererer edge-enheder inden for en fast envelope. Det betyder, at man må træffe bevidste valg baseret på anvendelsens faktiske krav. For eksempel kan en IoT-sensor prioritere energi-effektivitet over rå præstation, mens et autonomt system kan kræve ultra-lav forsinkelse uanset strømforbrug. Når arbejds punktet er fastlagt, kan man evaluere, om processoren har den rette balance mellem beregning og hukommelse for at opfylde dette behov. Det handler ikke om at maksimere specifikationer i alle retninger; det handler om at sikre en holdbar og pålidelig præstation i de virkelige forhold, som anvendelsen vil møde.

Generelt set er arbejds punktet, hvor man ønsker, at de vigtigste præstationsindikatorer skal være på deres optimum. At ikke gøre dette kan resultere i en underoptimal drift under de mest typiske brugsanvendelser af platformen.

Som et enkelt eksempel kan man lave et AI-analyse-system ekstremt effektivt, når input er på en meget høj opløsning, men hvis dette er udrullet i systemer, der aldrig når denne opløsning, er denne optimisering meningsløs.

Hvordan nærmer du dig optimering på tværs af multimodale modeller?

Multimodale modeller kræver en omhyggelig balance mellem beregnings- og hukommelsesressourcer. Hver modalitet belaster systemet på en anden måde: video er beregningsintensivt på grund af høj opløsning og billedhastighed, mens sprog og lyd er mere kompakte, men stiller større krav til hukommelsesbåndbredde. I anvendelser som vision-sprog-behandling bliver denne split tydelig (selv om dette ikke er en garanti, men en typisk scenarie): video-behandling skyder beregning, mens sprog-modellen kan hurtigt ramme hukommelses-bottlenecks.

Vi nærmer os optimering ved at se på, hvordan disse arbejdsbyrder interagerer på tværs af pipeline og sikre, at processoren er arkitektet til at understøtte dem samtidigt, uden at lade en modalitet kompromittere præstationen af en anden.

Hvordan komplicerer en stigende modelstørrelse på kanten latency og strømforbrug, og hvilken rol spiller system-niveau-arkitektur i at løse dette?

Når modelstørrelsen øges på kanten, bliver latency og strømforbrug sværere at håndtere. Større modeller afhænger mere tungt af off-chip-hukommelse, hvilket øger både energiforbrug og forsinkelse, især når hukommelsesbåndbredde bliver en flaskehals. For eksempel ville en skaleringsfaktor fra en 1 milliards til en 4 milliards parameters model kræve over fire gange så stor båndbredde for at opretholde samme præstation – men i praksis scalerer præstationen ikke lineært på grund af båndbredde- og system-niveau-begrænsninger.

Det handler ikke kun om at have høje TOPS eller stor hukommelse; det handler om, hvordan disse komponenter interagerer. En balanceret design sikrer, at beregning, hukommelse og båndbredde arbejder sammen effektivt, og forhindrer, at en ressource begrænser hele systemet.

Hvordan designer Hailo til fremtidssikring – givet, hvor hurtigt AI-modeller, arbejdsbyrder og udrulningskrav udvikler sig?

Fremtidssikring i edge AI betyder at designe processorer, der kan håndtere en bred vifte af udviklende arbejdsbyrder. Hos Hailo fokuserer vi på balancerede arkitekturer, der ikke er tilpasset til en enkelt opgave, men kan understøtte alt fra perceptive funktioner som objektdetektion til generative modeller som VLM’er. Hver type arbejdsbyrde belaster beregning og hukommelse på en anden måde, så vi designer for fleksibilitet, undgår flaskehals, når vi skifter mellem dem. Vi tager også hensyn til de virkelige begrænsninger af strøm, omkostninger og latency på tværs af anvendelser. Ved at prioritere arbejdsbyrde-diversitet og ressource-balance sigter vi mod at understøtte den næste generation af edge AI-udrulninger på tværs af forbruger- og industrielle anvendelser.

Men en størrelse kan ikke passe alle, og porteføljen sigter mod bestemte adresserbare anvendelser og forsøger at være inden for den tilgængelige budget af f.eks. strøm, formfaktor og det definerer et ‘arbejds punkt’.

Hvad er rollen af udvikler-økosystemet i at maksimere værdien af en processor, og hvordan sikrer I, at holdene kan udnytte Hailo’s muligheder fuldt ud?

Som en programmerbar enhed er det essentiel at have lettilgængelige værktøjer for udviklere til at udnytte processorens potentiale, forkorte vejen til udrulning og aktivere nye anvendelser. Ved at tilbyde en velunderstøttet omgang omkring vores processorer hjælper vi hold med at bringe AI-anvendelser til live på tværs af en række anvendelser.

Hvad ville du råde ingeniører eller CTO’er til, der vælger deres første AI-accelerator til en næste-generations-produkt, der bygges i dag?

Med de modne forhold tror jeg, der er stor innovations-potentiale, der giver os mulighed for at oversætte imagination til reelle produkter. I et hurtigt skiftende miljø er det kritisk at vælge en accelerator, der muliggør en hurtig koncept-til-udrulnings-cyklus.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Hailo.