Avi Baum, CTO bij Hailo – Interviewreeks

Avi Baum, CTO bij Hailo, leidt de technologische visie en productinnovatie van het bedrijf. Hij was eerder CTO voor draadloze connectiviteit bij Texas Instruments (TXN ), waar hij strategieën ontwikkelde voor verbonden MCUs in IoT- en IIoT-markten, en bekleedde seniorarchitectuur- en leiderschapsfuncties bij de Israëlische defensie.

Hailo is een Israëlisch AI-chipbedrijf dat gespecialiseerd is in high-performance, low-power edge AI-processors voor toepassingen zoals autonome voertuigen, slimme camera’s en robotica, ondersteund door een uitgebreide software-suite en een wereldwijd partner-ecosysteem.

Kunt u vertellen wat u oorspronkelijk aantrok tot het veld van edge AI en hoe uw vroege ingenieurservaringen uw denken over processorontwerp hebben gevormd?

Mijn carrièrepad bracht me naar opkomende markten. Tijdens mijn tijd bij TI (Texas Instruments), een semiconductorleider met een lange geschiedenis, had ik de kans om systeemniveau-ontwerp en -architectuur te leiden, waarbij ik het departement van productdefinitie leidde en later CTO van dit departement werd. Dit bracht me ertoe om voortdurend opkomende technologieën te onderzoeken die de toekomst vormgeven.

Toen we Hailo in 2017 oprichtten, was het duidelijk dat AI, dat in de cloud was begonnen te bloeien, ook het potentieel had om een enablement-technologie voor edge-apparaten te worden. Dus zetten we koers en begonnen we aan deze reis.

Waarom is TOPS—tera operaties per seconde—geen voldoende benchmark meer voor het evalueren van processorprestaties nu generatieve AI aan de edge uitbreidt?

TOPS is lange tijd de standaardmaatstaf geweest voor het evalueren van AI-hardware, maar in de tijd van generatieve AI aan de edge is het niet langer voldoende. De aard van klassieke modellen is om veel data om te zetten in zinvolle inzichten, dus de hoeveelheid compute die nodig is om de inkomende data te verwerken, neemt toe met de hoeveelheid data die verwerkt moet worden. Modellen voor deze taken zijn meestal kleiner in omvang dan de hoeveelheid data die ze verwerken, waardoor de overheadbandbreedte die toegeschreven kan worden aan het benaderen van modelparameters relatief verwaarloosbaar is.

Generatieve modellen zijn echter opvallend groter – in de orde van grootte van miljarden parameters – en in deze gevallen wordt de geheugenbandbreedte een niet te verwaarlozen factor.

In plaats van zich alleen te concentreren op TOPS, is het essentieel om te beoordelen hoe goed een processor compute en geheugen in evenwicht brengt onder real-world-omstandigheden. Het gaat er niet om de hoogste nummer te bereiken; het gaat erom de architectuur aan te passen aan de workloads die het moet afhandelen.

Waarom wordt geheugenbandbreedte nu een kritieke bottleneck in edge AI-workloads, vooral voor LLMs en VLMs?

Voor edge AI-workloads, met name die met LLMs of VLMs, wordt geheugenbandbreedte snel de primaire bottleneck. Deze modellen zijn meestal in de orde van grootte van 0,5 tot 8 miljard parameters, waardoor ze de capaciteit van on-chip-geheugen overschrijden en toegang tot off-chip-geheugen zoals DRAM vereisen. Dit verhoogt de vraag naar geheugenbandbreedte aanzienlijk. Bijvoorbeeld, een model met 1 miljard parameters kan onder optimale omstandigheden met een standaard LPDDR4X-interface tot ~40 tokens per seconde leveren, maar om die snelheid te behouden met een model van 4 miljard parameters, is meer dan vier keer zoveel bandbreedte nodig. Zonder dit lijdt de prestatie, niet vanwege beperkte compute, maar omdat de processor de data niet snel genoeg kan invoeren. Deze onevenwichtigheid tussen compute en geheugen is een van de meest dringende uitdagingen bij het implementeren van generatieve AI aan de edge. Dit wordt verder versterkt in architecturen die laag voor laag berekenen, waarbij tussenresultaten ook de geheugenverkeer verhogen en de bandbreedte verder belasten.

Hoe moeten productteams hun benchmarkstrategie heroverwegen bij het ontwerpen voor real-world edge-toepassingen?

Productteams moeten afstappen van het vertrouwen op één enkele prestatie-metric als TOPS en in plaats daarvan een benchmarkstrategie aannemen die de realiteit van edge-implementatie weerspiegelt. Dat begint met het begrijpen van het specifieke use-case, de daadwerkelijke workload die de processor moet afhandelen, en het identificeren van het “werkingspunt”: het snijpunt van vermogen, kosten en latentiebeperkingen. Van daaruit gaat het erom te evalueren hoe compute en geheugen onder die omstandigheden interactief zijn. Een processor met hoge TOPS zal niet presteren als de geheugenbandbreedte beperkt is, en meer geheugen zal niet helpen als de compute-capaciteit onvoldoende is.

Teams moeten beoordelen of de processor prestaties kan behouden over taken zoals perceptie, enhancive en generatieve workloads, elk met zeer verschillende eisen. Het doel is niet om te optimaliseren voor piekspecificaties, maar om ervoor te zorgen dat de prestaties in evenwicht zijn over het volledige bereik van verwachte use-cases in real-world-omgevingen.

Dit is een natuurlijke verschuiving van ‘steriele’ maatstaven naar meer ingewikkelde benaderingen die weerspiegelen hoe platforms worden gebruikt en hoe ze worden beoordeeld – vergelijkbaar met wat er gebeurde met andere architecturen die mainstream werden (bijv. SPEC, Coremark, 3DMark, enz.).

Hoe beïnvloeden vermogens- en kostenbeperkingen de architectuurbeslissingen achter Hailo-processors, vooral voor consumentgerichte edge-apparaten?

Vermogen en kosten zijn twee van de meest bepalende beperkingen bij het ontwerpen van AI-processors voor edge-apparaten, vooral in consumentgerichte producten. In compacte apparaten zoals IoT-sensoren of slimme huisassistenten zijn vermogensbudgetten krap, en er is vaak geen actieve koeling, dus energoefficiëntie wordt kritisch. Elke extra compute- of geheugensource voegt vermogensverbruik en warmte toe, wat rechtstreeks de gebruiksvriendelijkheid en batterijduur beïnvloedt.

Kosten zijn even invloedrijk. Consumentenapparaten moeten binnen concurrerende prijspunten blijven, wat betekent dat de processor alleen zoveel TOPS en geheugen kan bevatten voordat het economisch onleefbaar wordt. Deze beperkingen dwingen tot moeilijke architectonische compromissen. Bij Hailo geven we prioriteit aan ontwerpen die het juiste evenwicht tussen compute en geheugen bieden om real-world-toepassingsbehoeften te vervullen binnen een strakke enveloppe van vermogen en kosten, waardoor edge AI haalbaar, efficiënt en schaalbaar wordt over een breed scala aan consumentenproducten.

Kunt u ons doorlopen hoe u een “werkingspunt” voor een toepassing definieert en waarom dat zo belangrijk is in edge AI-implementatie?

Het definiëren van het “werkingspunt” is een van de belangrijkste stappen bij het ontwerpen van een systeem. Het verwijst naar het snijpunt van vermogen, kosten en latentiebeperkingen die bepalen wat realistisch haalbaar is in een specifieke implementatie. In tegenstelling tot in de cloud, waar u meer compute of geheugen aan een probleem kunt toevoegen, werken edge-apparaten binnen een vaste enveloppe. Dat betekent dat u bewuste compromissen moet sluiten op basis van de daadwerkelijke vereisten van de toepassing. Bijvoorbeeld, een IoT-sensor kan prioriteit geven aan energoefficiëntie boven brute prestaties, terwijl een autonoom systeem ultra-lage latentie kan eisen, ongeacht het vermogensverbruik. Zodra het werkingspunt is vastgesteld, kunt u beoordelen of de processor het juiste evenwicht tussen compute en geheugen heeft om aan die behoefte te voldoen. Het gaat er niet om specificaties in elke richting te maximaliseren; het gaat erom ervoor te zorgen dat de prestaties in real-world-omstandigheden betrouwbaar en consistent zijn.

Over het algemeen gesproken is het werkingspunt waar u wilt dat de belangrijkste prestatie-indicatoren optimaal zijn. Als u dit niet doet, kan dit leiden tot een suboptimale werking onder de meest typische gebruiksvoorwaarden van het platform.

Als eenvoudig voorbeeld kunt u een AI-analyse-systeem extreem efficiënt maken wanneer de invoer op een zeer hoge resolutie is, maar als dit wordt geïmplementeerd in systemen die nooit deze resolutie bereiken, is deze optimalisatie zinloos.

Hoe gaat u te werk bij het optimaliseren van multimodale modellen, waarbij video, audio en taal vaak worden gecombineerd in moderne apparaten?

Multimodale modellen vereisen een zorgvuldige balans tussen compute- en geheugensources. Elke modaliteit belast het systeem op een andere manier: video is compute-intensief vanwege hoge resolutie en framefrequenties, terwijl taal en audio compact zijn maar zwaardere eisen stellen aan geheugenbandbreedte. In toepassingen zoals visie-taalverwerking wordt deze splitsing duidelijk (hoewel dit geen garantie is, maar een typisch scenario): videoverwerking duwt compute, terwijl het taalmodel snel geheugenbottlenecks kan raken.

We gaan te werk door te kijken naar hoe deze workloads over de pijplijn heen interacteren en ervoor te zorgen dat de processor is geconstrueerd om ze gelijktijdig te ondersteunen, zonder dat een modaliteit de prestaties van een andere modaliteit compromitteert.

Hoe compliceert het toenemende modelgrootte aan de edge de latentie en het energieverbruik, en welke rol speelt systeemniveau-architectuur bij het oplossen van dat?

Naarmate het modelgrootte aan de edge toeneemt, worden latentie en energieverbruik moeilijker te beheren. Grotere modellen zijn meer afhankelijk van off-chip-geheugen, wat zowel energieverbruik als vertraging toeneemt, vooral wanneer geheugenbandbreedte een bottleneck wordt. Bijvoorbeeld, het schalen van een model van 1 miljard parameters naar 4 miljard parameters zou meer dan vier keer zoveel bandbreedte vereisen om dezelfde prestaties te behouden – maar in de praktijk schaalt de prestatie niet lineair vanwege bandbreedte- en systeemniveau-beperkingen.

Het gaat er niet om alleen hoge TOPS of grote geheugens te hebben; het gaat erom hoe deze componenten samenwerken. Een evenwichtig ontwerp zorgt ervoor dat compute, geheugen en bandbreedte efficiënt samenwerken, waardoor één resource het hele systeem niet beperkt.

Hoe ontwerpt Hailo voor toekomstbestendigheid, gezien de snelle evolutie van AI-modellen, workloads en implementatie-eisen?

Toekomstbestendigheid in edge AI betekent het ontwerpen van processors die een breed scala aan evoluerende workloads kunnen afhandelen. Bij Hailo richten we ons op evenwichtige architecturen die niet zijn toegesneden op één specifieke taak, maar die alles kunnen ondersteunen, van perceptieve functies zoals objectdetectie tot generatieve modellen zoals VLMs. Elke soort workload belast compute en geheugen op een andere manier, dus ontwerpen we voor flexibiliteit, waarbij we bottlenecks vermijden wanneer we tussen workloads schakelen. We houden ook rekening met de real-world-limieten van vermogen, kosten en latentie over toepassingen. Door prioriteit te geven aan workload-diversiteit en resource-evenwicht, streven we ernaar de volgende generatie edge AI-implementaties te ondersteunen over consumenten- en industriële use-cases.

Maar één formaat past niet voor alle toepassingen, en ons portfolio richt zich op specifieke toepassingen en probeert binnen het beschikbare budget van bijvoorbeeld vermogen, formaat en dat definieert een ‘werkingspunt’.

Wat is de rol van de ontwikkelaars-ecosysteem bij het maximaliseren van de waarde van een processor, en hoe garandeert u dat teams de mogelijkheden van Hailo volledig kunnen benutten?

Als een programmeerbaar apparaat is het essentieel om gemakkelijke tools te hebben voor ontwikkelaars om het potentieel van de processor te benutten, de weg naar implementatie te verkorten en nieuwe use-cases mogelijk te maken. Door een goed ondersteund milieu rond onze processors te bieden, helpen we teams om AI-toepassingen tot leven te brengen over een breed scala aan use-cases.

Wat is uw advies aan ingenieurs of CTO’s die hun eerste AI-accelerator kiezen voor een next-gen-product dat vandaag wordt gebouwd?

Met de gunstige omstandigheden geloof ik dat er veel innovatiepotentieel is, waardoor we onze verbeelding in echte producten kunnen vertalen. In een snel veranderende omgeving is het kiezen van een accelerator die een snelle concept-tot-implementatiecyclus mogelijk maakt, cruciaal.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Hailo bezoeken.