Avi Baum, Hailon CTO – Haastattelusarja

Avi Baum, Hailon CTO, johtaa yrityksen teknologista visiota ja tuoteinnovaatiota. Hän toimi aikaisemmin Texas Instrumentsin langattoman yhteyden CTO:na, jossa hän johti strategioita langattomiin MCU:hin IoT- ja IIoT-markkinoilla, ja hänellä on ollut johtavat arkkitehtuuri- ja johtamistehtävät Israelin puolustusvoimissa.

Hailo on israelilainen AI-piirisuunnitteluyritys, joka erikoistuu suorituskykyisiin, alhaisiin virrankulutuksiin reunan AI-prosessoriin sovelluksiin, kuten itseohjautuviin ajoneuvoihin, älykkäisiin kameraan ja robottiin, joita tukevat kattava ohjelmistopaketti ja maailmanlaajuinen kumppanuusverkosto.

Mitä sinä alun perin veti reunan AI:n alalle ja miten varhaiset insinööritöitäsi muokkasivat ajattelutapaa prosessorin suunnittelussa?

Uran polku vei minut nouseviin markkinoihin. Olin Texas Instrumentsilla (TI), joka on puolijohdejohtaja, ja minulla oli mahdollisuus johtaa järjestelmätasolla suunnittelua ja arkkitehtuuria, johtaen tuotteen määrittelyosastoa ja myöhemmin toimien osaston CTO:na. Tämä johti minua jatkuvasti tutkimaan tulevia teknologioita, jotka todennäköisesti muokkaavat lähitulevaisuutta.

Kun perustimme Hailon vuonna 2017, oli selvää, että AI, joka oli alkanut menestyä pilvessä, myös voisi olla mahdollinen teknologia reunan laitteille. Niinpä asetimme suunnan ja aloimme tämän matkan.

Miksi TOPS (teraoperaatiot sekunnissa) ei ole enää riittävä mittari prosessorin suorituskyvyn arvioimiseen, kun generatiivinen AI laajenee reunalle?

TOPS on pitkään ollut yleisin mittari AI-laitteiden arvioimiseen, mutta generatiivisen AI:n aikakaudella reunalla se ei ole enää riittävä. Klassisten mallien luonne on kääntää paljon dataa merkityksellisiksi oivalluksiksi, joten suoritettavan datan määrä kasvaa datan määrän kasvaessa, ja mallit näille tehtäville ovat yleensä pienempiä kuin prosessoidava data, joten muistin kaistanleveys on merkityksetön.

Generatiiviset mallit ovat kuitenkin huomattavasti suurempia – miljardien parametrejen luokkaa, ja näissä tapauksissa muistin kaistanleveys tulee merkittäväksi tekijäksi.

Sen sijaan, että keskittyisimme pelkästään TOPS:iin, on tärkeää arvioida, miten hyvin prosessori tasapainottaa suorituskykyä ja muistia todellisissa olosuhteissa. Se ei ole pelkästään siitä, että haetaan korkein luku; se on siitä, että arkkitehtuuri on suunniteltu työmäärien käsittelyyn.

Miksi muistin kaistanleveys on nyt tullut tärkeämmäksi pullonkaulaksi kuin suorituskyky reunan AI-tehtävissä, erityisesti LLM- ja VLM-malleissa?

Reunan AI-tehtävissä, erityisesti niissä, jotka liittyvät LLM- tai VLM-malleihin, muistin kaistanleveys on nopeasti tullut tärkeämmäksi pullonkaulaksi. Nämä mallit ovat yleensä 0,5-8 miljardin parametrin luokkaa, jolloin ne ylittävät piirin sisäisen muistin kapasiteetin ja edellyttävät pääsyä ulkoiseen muistiin, kuten DRAM:iin. Tämä lisää merkittävästi muistin kaistanleveyden tarvetta. Esimerkiksi 1 miljardin parametrin malli voi toimittaa jopa 40 tokenia sekunnissa optimaalisissa olosuhteissa standardin LPDDR4X-liitännän kanssa, mutta 4 miljardin parametrin mallin ylläpitäminen edellyttää yli neljää kertaa suurempaa kaistanleveyttä. Ilman sitä suorituskyky kärsii, ei suorituskyvyn rajoitusten vuoksi, vaan koska prosessori ei voi syöttää dataa tarpeeksi nopeasti. Tämä epätasapaino suorituskyvyn ja muistin välillä on yksi tärkeimmistä haasteista generatiivisen AI:n käyttöönotossa reunalla. Tämä on vielä voimakkaampaa arkkitehtuureissa, joissa lasketaan kerros kerrokselta, jolloin välimuistin liikenne myös lisää muistin kaistanleveyden rasitusta.

Miten tuotejoukkueiden tulisi uudelleenarvioida benchmark-strategiaansa, kun suunnitellaan todellisia reunan sovelluksia varten?

Tuotejoukkueiden tulisi siirtyä pois yhden suorituskykymittarin, kuten TOPS, käytöstä ja ottaa käyttöön benchmark-strategia, joka heijastaa reunan käyttöönoton todellisuuksia. Se alkaa ymmärtämällä tarkoitettua käyttötapausta, todellista työmäärää, jota prosessorin on käsiteltävä, ja tunnistamalla “työpisteen”: leikkauspisteen, jossa voiman, kustannusten ja viiveen rajoitukset kohtaavat. Siitä alkaen on kyse siitä, miten suorituskyky ja muisti vuorovaikuttavat näissä olosuhteissa. Prosessori, jolla on korkea TOPS, ei toimi, jos muistin kaistanleveys on rajoitettu, ja enemmän muistia ei auta, jos suorituskyky on riittämätön.

Joukkueiden tulisi arvioida, pystyykö prosessori ylläpitämään suorituskykyä tehtävissä, kuten havainnossa, parantamisessa ja generoivissa työkuormissa, joilla on erilaiset vaatimukset. Tavoitteena ei ole optimoida huipputehoja, vaan varmistaa tasapainoinen suorituskyky odotettavissa käyttötapauksissa todellisissa ympäristöissä.

Tämä on luonnollinen siirtymä “steriilistä” mittareista monimutkaisempiin lähestymistapoihin, jotka heijastavat, miten alustat ovat käytössä ja miten niitä arvioidaan – samoin kuin mitä tapahtui muiden arkkitehtuurien kanssa, jotka tulivat valtavirtaan (esim. SPEC, Coremark, 3DMark jne.).

Miten voiman ja kustannusten rajoitukset vaikuttavat Hailon prosessorien arkkitehtuuriin, erityisesti kuluttajien reunan laitteissa?

Voima ja kustannukset ovat kaksi määräävintä rajoitusta suunniteltaessa AI-prosessoreita reunan laitteille, erityisesti kuluttajatuotteissa. Pienissä laitteissa, kuten IoT-sensoreissa tai älykkäissä kotiapulaisissa, voimabudjetit ovat tiukat, eikä usein ole aktiivista jäähdytystä, joten energiatehokkuus on kriittinen. Jokainen lisäsuoritin tai muisti lisää virrankulutusta ja lämpöä, mikä vaikuttaa suoraan käytettävyyteen ja akun kestoon.

Kustannukset ovat yhtä vaikuttavia. Kuluttajalaitteiden on pysyttävä kilpailukykyisissä hinnoissa, mikä tarkoittaa, että prosessoriin voidaan sisällyttää vain tietty määrä TOPS:ia ja muistia ennen kuin se tulee taloudellisesti kannattamattomaksi. Nämä rajoitukset pakottavat arkkitehtuuriin tiukat valinnat. Hailossa priorisoimme suunnittelua, joka tarjoaa oikean tasapainon suorituskyvyn ja muistin välillä, jotta reunan AI tulee toteutettavaksi, tehokkaaksi ja skaalattavaksi laajalle valikoimalle kuluttajatuotteille.

Voitko selittää, miten määrittelet “työpisteen” sovellukselle ja miksi se on niin tärkeä reunan AI:n käyttöönotossa?

“Työpisteen” määrittely on yksi tärkeimmistä vaiheista järjestelmän suunnittelussa. Se viittaa voiman, kustannusten ja viiveen rajoitusten leikkauspisteeseen, joka määrittää, mitä on realistisesti saavutettavissa tietyssä käyttöönotossa. Toisin kuin pilvessä, jossa voit heittää enemmän suorituskykyä tai muistia ongelmaan, reunan laitteet toimivat kiinteässä kirjossa. Tämä tarkoittaa, että on tehtävä tietoisia valintoja sovelluksen todellisten vaatimusten perusteella. Esimerkiksi IoT-sensori saattaa priorisoida energiatehokkuutta suorituskyvyn sijaan, kun taas itseohjautuva järjestelmä saattaa vaatia erittäin alhaisen viiveen riippumatta virrankulutuksesta. Kun “työpiste” on määritelty, voidaan arvioida, onko prosessorilla oikea tasapaino suorituskyvyn ja muistin välillä, jotta se voi täyttää tämän tarpeen. Se ei ole siitä, että maksimoidaan ominaisuuksia jokaisessa suunnassa; se on siitä, että varmistetaan kestävä, luotettava suorituskyky todellisissa olosuhteissa, joissa sovellus on käytössä.

Yleensä “työpiste” on siellä, missä haluat, että avainsuoritusindikaattorit ovat optimaalisia. Jos tämä ei onnistu, se voi johtaa alimitoitettuun toimintaan sovelluksen tyypillisimmissä käyttötapauksissa.

Yksinkertaisena esimerkkinä voit tehdä AI-analytiikkajärjestelmän erittäin tehokkaaksi, kun syöte on erittäin korkealla resoluutiolla, mutta jos tämä on käytössä järjestelmissä, jotka eivät koskaan saavuta tätä resoluutiota, tämä optimointi on merkityksetön.

Miten lähestyt multimodaalisten mallien optimointia, joissa yhdistyvät video, ääni ja kieli?

Multimodaaliset mallit vaativat tarkkaa tasapainoa suorituskyvyn ja muistin resursseista. Kunkin modaliteetin vaatimukset ovat erilaiset: video on suorituskykyvaativa korkean resoluution ja kehysnopeuden vuoksi, kun taas kieli ja ääni ovat paksumpia, mutta asettavat suuremmat vaatimukset muistin kaistanleveydelle. Sovelluksissa, kuten visio-kielimallissa, tämä jakautuminen tulee selväksi (vaikka tämä ei olekaan takuu, vaan tyypillinen skenaario): videon käsittely työntää suorituskykyä, kun taas kielimalli voi nopeasti osua muistin pullonkaulaan.

Lähestymme optimointia tarkastelemalla, miten nämä työkuormat vuorovaikuttavat prosessointiputkessa, ja varmistamalla, että prosessori on suunniteltu tukemaan niitä samanaikaisesti ilman, että toinen modaliteetti heikentää toisen suorituskykyä.

Miten mallin kokoonpano reunalla vaikuttaa viiveeseen ja virrankulutukseen, ja mikä on järjestelmätason arkkitehtuurin rooli tämän ongelman ratkaisemisessa?

Kun mallin koko kasvaa reunalla, viive ja virrankulutus tulevat vaikeammaksi hallita. Suuremmat mallit riippuvat enemmän ulkoisesta muistista, mikä lisää sekä energiankäyttöä että viivettä, erityisesti kun muistin kaistanleveys tulee pullonkaulaksi. Esimerkiksi 1 miljardin parametrin mallin skaalaaminen 4 miljardiin parametriin vaatisi yli neljä kertaa enemmän kaistanleveyttä, jotta sama suorituskyky voidaan ylläpitää – mutta käytännössä suorituskyky ei skaalaa lineaarisesti kaistanleveyden ja järjestelmätason rajoitusten vuoksi.

Se ei ole vain siitä, että on korkea TOPS tai suuri muisti; se on siitä, miten nämä komponentit vuorovaikuttavat. Tasapainoinen suunnittelu varmistaa, että suorituskyky, muisti ja kaistanleveys toimivat yhdessä tehokkaasti, estäen yhden resurssin rajoittamasta koko järjestelmää.

Miten Hailo suunnittelee tulevaisuuden varalle – ottaen huomioon, miten nopeasti AI-mallit, työkuormat ja käyttöönoton vaatimukset kehittyvät?

Tulevaisuuden varalle reunan AI:ssa tarkoittaa prosessoreiden suunnittelua, jotka voivat käsitellä laajan valikoiman kehittyviä työkuormia. Hailossa keskitymme tasapainoiseen arkkitehtuuriin, joka ei ole suunniteltu vain yhteen tehtävään, vaan voi tukea kaikkea havainnosta generatiivisiin malleihin, kuten VLM:ihin. Kunkin työkuorman tyyppi rasittaa suorituskykyä ja muistia eri tavoin, joten suunnittelemme joustavuutta välttääksemme pullonkauloja, kun siirrytään näiden välillä. Otamme myös huomioon todelliset rajoitukset voimasta, kustannuksista ja viiveestä sovelluksissa. Priorisoimalla työkuorman monimuotoisuutta ja resurssien tasapainoa pyrimme tukemaan seuraavaa sukupolvea reunan AI-käyttöönottoja sekä kuluttaja- että teollisuussovelluksissa.

Kuitenkin yksi koko ei voi sopia kaikille, ja portfolion tavoitteena on tietty soveltamiskohde, ja se pyrkii sopimaan saatavilla olevaan budjettiin, esim. virran, muodon ja muistin, ja se määrittää “työpisteen”.

Mikä on kehittäjien ekosysteemin rooli prosessorin arvon maksimoimisessa, ja miten varmistat, että tiimit voivat hyödyntää Hailon ominaisuuksia täysimääräisesti?

Koska kyseessä on ohjelmoitava laite, on tärkeää tarjota kehittäjille helppoja työkaluja prosessorin potentiaalin hyödyntämiseen, lyhentääkseen polkua käyttöönottoon ja mahdollistaakseen uusia sovelluksia. Tarjoamalla hyvin tuetun ympäristön prosessoreidemme ympärille autamme tiimejä tuomaan AI-sovellukset eloon laajalla valikoimalla sovelluksia.

Mitä neuvoa antaisit insinööreille tai CTO:ille, jotka valitsevat ensimmäisen AI-kiihdyttimensä seuraavalle sukupolvelle rakennettavaan tuotteeseen?

Olosuhteiden ollessa kypsiä, uskon, että innovaatiopotentiaali on suuri, mahdollistaen meillä kääntää mielikuvituksensa totta. Nopeasti muuttuvassa ympäristössä on kriittistä valita kiihdytin, joka mahdollistaa nopean konseptista käyttöönottoon -siirtymän.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Hailon sivustolla.