Yubei Chen, mede-oprichter van Aizip Inc – Interviewreeks

Yubei Chen is mede-oprichter van Aizip inc., een bedrijf dat de kleinste en meest efficiënte AI-modellen ter wereld bouwt. Hij is ook assistent-professor in de afdeling ECE van de University of California, Davis. Chens onderzoek ligt op het snijvlak van computationele neurologie en diepe onbegeleide (zelfbegeleide) leerprocessen, waardoor onze kennis van de computationele principes die onbegeleide representatieleer in zowel hersenen als machines regelen, wordt verbeterd en onze inzichten in natuurlijke signaalfysica worden herschikt.

Voor hij naar UC Davis ging, deed Chen zijn postdoctorale studie met prof. Yann LeCun bij NYU Center for Data Science (CDS) en Meta Fundamental AI Research (FAIR). Hij voltooide zijn PhD aan Redwood Center for Theoretical Neuroscience en Berkeley AI Research (BAIR), UC Berkeley, onder begeleiding van prof. Bruno Olshausen.

Aizip ontwikkelt ultra-efficiënte AI-oplossingen die zijn geoptimaliseerd voor edge-apparaten, met compacte modellen voor visie, audio, tijdreeks, taal en sensorfusie-toepassingen. De producten van het bedrijf maken taken mogelijk zoals gezichts- en objectherkenning, keyword spotting, ECG/EEG-analyse en on-device chatbots, allemaal aangedreven door TinyML. Met het AI-nanofabriekplatform van Aizip, Aizipline, versnelt het bedrijf modelontwikkeling met behulp van fundamenten- en generatieve modellen om naar volledige AI-ontwerpautomatisering te streven. De Gizmo-reeks van Aizip van kleine taalmodellen (300M–2B parameters) ondersteunt een breed scala aan apparaten en brengt intelligente mogelijkheden naar de edge.

U hebt uw postdoctorale studie gedaan met Yann LeCun bij NYU en Meta FAIR. Hoe heeft het werken met hem en uw onderzoek aan UC Berkeley uw aanpak voor het bouwen van real-world AI-oplossingen gevormd?

Aan Berkeley was mijn werk diep geworteld in wetenschappelijke vraagstukken en wiskundige precisie. Mijn PhD-onderzoek, dat elektrotechniek, informatica en computationele neurologie combineerde, richtte zich op het begrijpen van AI-systemen vanuit een “white-box”-perspectief, of het ontwikkelen van methoden om de onderliggende structuren van data en leermodellen te onthullen. Ik werkte aan het bouwen van interpreteerbare, hoge-prestatie-AI-modellen en visualisatietechnieken die hielpen om zwarte-doos-AI-systemen te openen.

Bij Meta FAIR lag de focus op het ontwikkelen van AI-systemen om state-of-the-art-prestaties te bereiken op grote schaal. Met toegang tot wereldklasse-computermiddelen, onderzocht ik de grenzen van zelfbegeleid leren en droeg ik bij aan wat we nu “wereldmodellen” noemen — AI-systemen die leren van data en mogelijke omgevingen voorstellen. Deze dubbele ervaring — wetenschappelijk inzicht op Berkeley en engineeringsgedreven schaalbaarheid op Meta — heeft me een uitgebreid perspectief op AI-ontwikkeling gegeven. Het benadrukte het belang van zowel theoretisch inzicht als praktische implementatie bij het ontwikkelen van AI-oplossingen voor real-world-toepassingen.

Uw werk combineert computationele neurologie met AI. Hoe beïnvloeden inzichten uit de neurologie de manier waarop u AI-modellen ontwikkelt?

In computationele neurologie bestuderen we hoe de hersenen informatie verwerken door hun reacties op verschillende stimuli te meten, net zoals we AI-modellen onderzoeken om hun interne mechanismen te begrijpen. Vroeg in mijn carrière ontwikkelde ik visualisatietechnieken om woordembeddings te analyseren — het afbreken van woorden zoals “apple” in hun constituent semantische elementen, zoals “fruit” en “technologie”. Later breidde deze aanpak zich uit tot complexere AI-modellen zoals transformatoren en grote taalmodellen, waardoor we konden zien hoe ze kennis verwerken en opslaan.

Deze methoden zijn eigenlijk parallel aan technieken in de neurologie, zoals het gebruik van elektroden of fMRI om hersenactiviteit te bestuderen. Het onderzoeken van de interne representaties van een AI-model stelt ons in staat om hun redeneerstrategieën te begrijpen en emergente eigenschappen te detecteren, zoals conceptneuronen die activeren voor specifieke ideeën (zoals de Golden Gate Bridge-functie die Anthropic vond bij het in kaart brengen van Claude). Deze onderzoekslijn is nu breed geadopteerd in de industrie omdat het zowel interpreteerbaarheid als praktische interventies mogelijk maakt, waardoor modellen minder vooroordelen vertonen. Dus benaderingen geïnspireerd door de neurologie helpen ons om AI te maken die meer uitlegbaar, betrouwbaar en efficiënt is.

Wat inspireerde u om Aizip mede op te richten? Kunt u de reis van concept tot bedrijfsoprichting delen?

Als fundamenteel AI-onderzoeker was veel van mijn werk theoretisch, maar ik wilde de kloof tussen onderzoek en real-world-toepassingen overbruggen. Ik richtte Aizip op om baanbrekende AI-innovaties in praktisch gebruik te brengen, met name in omgevingen met beperkte middelen. In plaats van grote fundamentenmodellen te bouwen, richtten we ons op het ontwikkelen van ‘s werelds kleinste en meest efficiënte AI-modellen, die geoptimaliseerd zouden zijn voor edge-apparaten.

De reis begon eigenlijk met een belangrijke observatie: terwijl AI-vooruitgang snel opschaalde, vereisten real-world-toepassingen vaak lichtgewicht en zeer efficiënte modellen. We zagen een kans om een nieuwe richting te pionieren die wetenschappelijke rigor met praktische implementatie combineerde. Door inzichten uit zelfbegeleid leren en compacte modelarchitecturen te benutten, is Aizip in staat geweest om AI-oplossingen te leveren die efficiënt werken aan de edge en nieuwe mogelijkheden openen voor AI in ingebedde systemen, IoT en daarbuiten.

Aizip specialiseert zich in kleine AI-modellen voor edge-apparaten. Welke marktbehoeften zagen u die tot deze focus leidden?

De AI-industrie heeft zich voornamelijk gericht op het opschalen van modellen, maar real-world-toepassingen vereisen vaak het tegenovergestelde — hoge efficiëntie, laag energieverbruik en minimale latentie. Veel AI-modellen van vandaag zijn te computationeel duur voor implementatie op kleine, ingebedde apparaten. We zagen een marktbehoeft aan AI-oplossingen die sterke prestaties konden leveren terwijl ze binnen extreme middelenbeperkingen werkten.

We erkenden dat het niet nodig is dat elke AI-toepassing op enorme modellen draait, en dat het ook niet schaalbaar zou zijn om voor alles op modellen van die grootte te vertrouwen. In plaats daarvan richten we ons op het optimaliseren van algoritmen om maximale efficiëntie te bereiken terwijl de nauwkeurigheid behouden blijft. Door AI-modellen te ontwerpen die zijn afgestemd op edge-toepassingen — of het nu gaat om slimme sensoren, wearables of industriële automatisering — maken we AI toegankelijker, schaalbaarder en energoefficiënter, waardoor nieuwe mogelijkheden voor AI-gedreven innovatie buiten de cloud ontstaan.

Aizip is een pionier in de ontwikkeling van Small Language Models (SLM’s). Hoe ziet u SLM’s concurreren of complementeren met grotere modellen zoals GPT-4?

SLM’s en grotere modellen zoals GPT-4 zijn niet noodzakelijkerwijs in directe concurrentie, omdat ze verschillende behoeften dienen. Grotere modellen zijn krachtig in termen van generalisatie en diepe redenering, maar vereisen aanzienlijke computationele middelen. SLM’s zijn ontworpen voor efficiëntie en implementatie op lage-energie edge-apparaten. Ze complementeren grote modellen door AI-mogelijkheden te bieden in real-world-toepassingen waar rekenkracht, latentie en kostenbeperkingen een rol spelen — zoals in IoT-apparaten, wearables en industriële automatisering. Naarmate de adoptie van AI groeit, zien we een hybride aanpak ontstaan, waarbij grote, cloud-gebaseerde modellen complexe queries afhandelen terwijl SLM’s real-time, lokale intelligentie aan de edge bieden.

Wat zijn de grootste technische uitdagingen bij het maken van AI-modellen efficiënt genoeg voor lage-energie edge-apparaten?

Een van de fundamentele uitdagingen is het ontbreken van een complete theoretische basis voor hoe AI-modellen werken. Zonder een duidelijke theoretische basis zijn optimalisatie-inspanningen vaak empirisch, waardoor de efficiency-winsten beperkt zijn. Bovendien gebeurt menselijk leren op diverse manieren die huidige machine learning-paradigma’s niet volledig vangen, waardoor het moeilijk is om modellen te ontwerpen die menselijke efficiëntie nabootsen.

Vanuit een engineeringsperspectief vereist het pushen van AI naar extreme beperkingen innovatieve oplossingen in modelcompressie, kwantificatie en architectuurontwerp. Een andere uitdaging is het creëren van AI-modellen die zich kunnen aanpassen aan een verscheidenheid aan apparaten en omgevingen terwijl ze robuustheid behouden. Naarmate AI steeds meer interacteert met de fysieke wereld via IoT en sensoren, wordt de behoefte aan natuurlijke en efficiënte interfaces — zoals spraak-, gebaar- en andere niet-traditionele invoer — kritiek. AI aan de edge gaat over het herdefiniëren van hoe gebruikers interactie hebben met de digitale wereld op een naadloze manier.

Kunt u enkele details delen over Aizip’s werk met bedrijven zoals Softbank?

We zijn onlangs een partnership aangegaan met SoftBank voor een aquacultuurproject dat een CES Innovation Award verdiende — een waar we erg trots op zijn. We ontwikkelden een efficiënt, edge-gebaseerd AI-model voor een vis-tellingsapplicatie die door aquacultuur-operatoren voor viskwekerijen kan worden gebruikt. Deze oplossing adresseert een kritieke uitdaging in de viskweek die uiteindelijk kan leiden tot duurzaamheids-, voedselverspilling- en winstproblemen. De industrie is langzaam geweest om AI als oplossing te adopteren vanwege onbetrouwbare stroom- en connectiviteit op zee, waardoor cloud-gebaseerde AI-oplossingen onpraktisch zijn.

Om dit op te lossen, ontwikkelden we een oplossing op het apparaat. We combineerden SoftBanks computergraphicsimulaties voor trainingsdata met onze compacte AI-modellen en creëerden een zeer nauwkeurig systeem dat op smartphones draait. In onderwater veldtests bereikte het een herkenningssnelheid van 95%, waardoor de nauwkeurigheid van vis-telling aanzienlijk verbeterde. Dit stelde boeren in staat om opslagcondities te optimaliseren, te bepalen of vissen levend of bevroren vervoerd moesten worden, en om potentiële ziektes of andere gezondheidsproblemen bij de vissen te detecteren.

Dat doorbraakverbetert efficiëntie, verlaagt kosten en vermindert de afhankelijkheid van handmatige arbeid. Breder gezien, toont het aan hoe AI een tastbaar effect kan hebben op real-world-problemen.

Aizip heeft het concept van een “AI Nanofactory” geïntroduceerd. Kunt u uitleggen wat dat betekent en hoe het AI-modelontwikkeling automatiseert?

De AI Nanofactory is onze interne AI-ontwerpautomatiseringspijplijn, geïnspireerd door Electronic Design Automation (EDA) in halfgeleiderfabricage. Vroege ontwikkeling in elk opkomend technologieveld vereist veel handmatige inspanning, dus automatisering wordt de sleutel tot het versnellen van de vooruitgang en het opschalen van oplossingen naarmate het veld volwassener wordt.

In plaats van alleen AI te gebruiken om andere industrieën te versnellen, vroegen we ons af: kan AI zijn eigen ontwikkeling versnellen? De AI Nanofactory automatiseert elke fase van AI-modelontwikkeling, van dataprocessing tot architectuurontwerp, modelselectie, training, kwantificatie, implementatie en debugging. Door AI te gebruiken om zichzelf te optimaliseren, zijn we in staat geweest om de ontwikkeltijd voor nieuwe modellen te verminderen met een gemiddelde factor van 10. In sommige gevallen met meer dan 1.000 keer. Dit betekent dat een model dat eerder meer dan een jaar ontwikkeling vereiste, nu in slechts een paar uur kan worden gemaakt.

Een ander voordeel is dat deze automatisering ook ervoor zorgt dat AI-oplossingen economisch haalbaar zijn voor een breed scala aan toepassingen, waardoor real-world AI-implementatie toegankelijker en schaalbaarder wordt.

Hoe ziet u de rol van edge AI evolueren in de komende vijf jaar?

Edge AI belooft de manier waarop we met technologie omgaan te transformeren, net zoals smartphones internettoegang hebben gerevolutioneerd. De meeste AI-toepassingen van vandaag zijn cloud-gebaseerd, maar dit begint te verschuiven naarmate AI dichter bij de sensoren en apparaten komt die met de fysieke wereld interactie hebben. Deze verschuiving benadrukt de kritieke behoefte aan efficiënte, real-time verwerking aan de edge.

In de komende vijf jaar verwachten we dat edge AI meer natuurlijke mens-computerinteracties mogelijk maakt, zoals spraak- en gebaarherkenning en andere intuïtieve interfaces, die de afhankelijkheid van traditionele barrières zoals toetsenborden en aanraakschermen zullen verwijderen. AI zal ook meer ingebed raken in alledaagse omgevingen zoals slimme huizen of industriële automatisering om real-time besluitvorming met minimale latentie mogelijk te maken.

Een andere belangrijke trend zal de toenemende autonomie van edge AI-systemen zijn. AI-modellen zullen meer zelfoptimaliserend en adaptief worden dankzij de vooruitgang in AI Nanofactory-achtige automatisering, waardoor de behoefte aan menselijke interventie bij implementatie en onderhoud afneemt. Dit zal nieuwe kansen openen in een aantal industrieën zoals gezondheidszorg, automotive en landbouw.

Welke toekomstige AI-aangedreven apparaten van Aizip bent u het meest enthousiast over?

We werken aan het uitbreiden van gebruikscases voor onze modellen in nieuwe industrieën, en een waar we erg enthousiast over zijn, is een AI-agent voor de automotive-sector. Er is een groeiende beweging, met name onder Chinese autofabrikanten, om stemassistenten te ontwikkelen die zijn aangedreven door taalmodellen die meer aanvoelen als ChatGPT in de cabine. De uitdaging is dat de meeste huidige assistenten nog steeds afhankelijk zijn van de cloud, vooral voor natuurlijke, flexibele dialoog. Alleen basiscommando’s en -controle-taken (zoals “zet de airco aan” of “open het kofferdeksel”) draaien typisch lokaal op het voertuig, en de rigide aard van die commando’s kan een afleiding voor bestuurders worden als ze ze niet volledig hebben gememoriseerd.

We hebben een reeks ultra-efficiënte, SLM-aangedreven AI-agents ontwikkeld, genaamd Gizmo, die momenteel in een aantal toepassingen voor verschillende industrieën worden gebruikt, en we werken eraan om ze in te zetten als in-cabine “co-piloten” voor voertuigen. Gizmo is getraind om intentie op een meer nuanceuze manier te begrijpen en, wanneer het als AI-agent van een voertuig fungeert, kan het commando’s uitvoeren via conversational, free-form taal. Bijvoorbeeld, de agent kan de cabine-temperatuur aanpassen als een bestuurder gewoon zegt: “Ik heb het koud”, of reageren op een prompt als: “Ik rijd morgen naar Boston, wat moet ik dragen?” door het weer te controleren en een suggestie te doen.

Omdat ze lokaal draaien en niet afhankelijk zijn van de cloud, blijven deze agenten functioneren in dode zones of gebieden met slechte connectiviteit, zoals tunnels, bergen of landelijke wegen. Ze verbeteren ook de veiligheid door bestuurders volledige stemgebaseerde controle te geven zonder hun aandacht van de weg af te leiden. En, op een aparte en lichtere noot, wilde ik ook vermelden dat we momenteel een AI-aangedreven karaoke-model voor voertuigen en bluetooth-luidsprekers in productie hebben, dat lokaal draait zoals de co-piloot. Het neemt elke invoeraudio en verwijdert menselijke stemmen ervan, waardoor u een karaoke-versie van elk nummer in real-time kunt maken. Dus, behalve dat we klanten helpen om de besturing in de auto veiliger te beheren, zoeken we ook naar manieren om de ervaring leuker te maken.

Deze soort oplossingen, die een significante impact hebben op het dagelijks leven van mensen, zijn die waar we het meest trots op zijn.

Aizip ontwikkelt ultra-efficiënte AI-oplossingen die zijn geoptimaliseerd voor edge-apparaten, met compacte modellen voor visie, audio, tijdreeks, taal en sensorfusie-toepassingen. De producten van het bedrijf maken taken mogelijk zoals gezichts- en objectherkenning, keyword spotting, ECG/EEG-analyse en on-device chatbots, allemaal aangedreven door TinyML. Met het AI-nanofabriekplatform van Aizip, Aizipline, versnelt het bedrijf modelontwikkeling met behulp van fundamenten- en generatieve modellen om naar volledige AI-ontwerpautomatisering te streven. De Gizmo-reeks van Aizip van kleine taalmodellen (300M–2B parameters) ondersteunt een breed scala aan apparaten en brengt intelligente mogelijkheden naar de edge.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Aizip bezoeken.