Yubei Chen, medstifter af Aizip Inc – Interviewserie

Yubei Chen er medstifter af Aizip inc., et firma, der udvikler verdens mindste og mest effektive AI-modeller. Han er også adjunkt på ECE-afdelingen på University of California, Davis. Chens forskning ligger i skæringspunktet mellem computationally neuroscience og dyb selvstændig (selv-supplerende) læring, hvilket forbedrer vores forståelse af de computere principper, der styrer selvstændig repræsentationslæring i både hjerner og maskiner, og omdefinerer vores indsigt i naturlige signalstatistik.

Før han kom til UC Davis, gjorde Chen sin postdoc-studie med Prof. Yann LeCun på NYU Center for Data Science (CDS) og Meta Fundamental AI Research (FAIR). Han afsluttede sin ph.d. på Redwood Center for Theoretical Neuroscience og Berkeley AI Research (BAIR), UC Berkeley, under vejledning af Prof. Bruno Olshausen.

Aizip udvikler ultra-effektive AI-løsninger, der er optimeret til edge-enheder, og tilbyder kompakte modeller til vision, audio, tidsserier, sprog og sensorfusion. Deres produkter muliggør opgaver som ansigtsgenkendelse, objekterkendelse, nøgleords-spotting, ECG/EEG-analyse og on-device chatbots, alle drevet af TinyML. Gennem deres AI-nanofactory-platform, Aizipline, accelererer virksomheden modeludvikling ved hjælp af grundlæggende og generative modeller for at fremme fuld AI-designautomatisering. Aizips Gizmo-serie af små sprogmodeller (300M-2B parametre) understøtter en bred vifte af enheder og bringer intelligente funktioner til kanten.

Du gjorde din postdoc med Yann LeCun på NYU og Meta FAIR. Hvordan formede arbejdet med ham og din forskning på UC Berkeley din tilgang til at bygge virkelige AI-løsninger?

På Berkeley var mit arbejde dybt rodnet i videnskabelig undersøgelse og matematisk rigor. Min ph.d.-forskning, der kombinerede elektroteknik, datalogi og computationally neuroscience, fokuserede på at forstå AI-systemer fra en “hvidkasse”-perspektiv, eller udvikle metoder til at afsløre de underliggende strukturer i data og læremodeller. Jeg arbejdede på at bygge fortolkelige, højtydende AI-modeller og visualiseringsteknikker, der hjalp med at åbne sorte AI-systemer.

På Meta FAIR var fokuset på at udvikle AI-systemer til at opnå stat-of-the-art-ydelse i stor målestok. Med adgang til verdensklasse computere ressourcer, udforskede jeg grænserne for selvstændig læring og bidrog til, hvad vi nu kalder “verdensmodeller” – AI-systemer, der lærer af data og forestiller sig mulige miljøer. Denne dobbelte erfaring – videnskabelig forståelse på Berkeley og ingeniør-drevet skala på Meta – har givet mig en komprehensiv perspektiv på AI-udvikling. Det har understreget vigtigheden af både teoretisk indsigt og praktisk implementering, når du udvikler AI-løsninger til virkelige anvendelser

Dit arbejde kombinerer computationally neuroscience med AI. Hvordan påvirker indsigt fra neurovidenskab måden, du udvikler AI-modeller på?

I computationally neuroscience studerer vi, hvordan hjernen behandler information ved at måle dens svar på forskellige stimuli, ligesom vi tester AI-modeller for at forstå deres interne mekanismer. Tidligt i min karriere udviklede jeg visualiseringsteknikker til at analysere ord-embedding – at bryde ord som “æble” ned i deres bestanddele semantiske elementer, såsom “frugt” og “teknologi”. Senere udvidede denne tilgang sig til mere komplekse AI-modeller som transformatorer og store sprogmodeller, hvilket hjalp med at afsløre, hvordan de behandler og gemmer viden.

Disse metoder paralleliserer faktisk teknikker i neurovidenskab, såsom at bruge elektroder eller fMRI til at studere hjernens aktivitet. At teste en AI-modells interne repræsentationer giver os mulighed for at forstå dens resoneringstrategier og detektere emergente egenskaber, såsom konceptneuroner, der aktiveres for bestemte ideer (såsom Golden Gate Bridge-funktionen Anthropic fandt, da de kortlagde Claude). Denne forskningslinje er nu bredt accepteret i industrien, fordi den har vist sig at kunne aktivere både fortolkelighed og praktiske interventioner, fjernelse af fordomme fra modeller. Således hjælper neurovidenskab-inspirerede tilgange os med at gøre AI mere forklarlig, pålidelig og effektiv.

Hvad inspirerede dig til at co-etablere Aizip? Kan du dele rejsen fra koncept til virksomheds lancering?

Som en grundlæggende AI-forsker var meget af mit arbejde teoretisk, men jeg ønskede at brobygge mellem forskning og virkelige anvendelser. Jeg co-etablerede Aizip for at bringe AI-innovationer ind i praktisk brug, især i ressource-begrænsede miljøer. I stedet for at bygge store grundlæggende modeller fokuserede vi på at udvikle verdens mindste og mest effektive AI-modeller, der var optimeret til edge-enheder.

Rejsen begyndte grundlæggende med en nøgleobservation: Mens AI-fremgang var under hurtig udvikling, krævede virkelige anvendelser ofte letvægts- og højeffektive modeller. Vi så en mulighed for at bane en ny vej, der balancerede videnskabelig rigor med praktisk udvikling. Ved at udnytte indsigt fra selvstændig læring og kompakte modelarkitekturer har Aizip kunnet levere AI-løsninger, der fungerer effektivt på kanten og åbner op for nye muligheder for AI i indlejrede systemer, IoT og andet.

Aizip specialiserer sig i små AI-modeller til edge-enheder. Hvad var det markedsgab, du så, der ledte til denne fokus?

AI-industrien har i høj grad fokuseret på at skala modeller op, men virkelige anvendelser kræver ofte det modsatte – høj effektivitet, lav strømforbrug og minimal forsinkelse. Mange AI-modeller i dag er for komputermæssigt dyre til at blive udviklet på små, indlejrede enheder. Vi så et gab i markedet for AI-løsninger, der kunne levere stærk ydelse, mens de fungerede inden for ekstreme ressourcebegrænsninger.

Vi erkendte, at det ikke er nødvendigt for hver AI-anvendelse at køre på massive modeller, og at det heller ikke ville være skalerbart at afhænge af modeller af den størrelse til alt. I stedet fokuserer vi på at optimere algoritmer for at opnå maksimal effektivitet, mens vi opretholder nøjagtighed. Ved at designe AI-modeller tilpasset edge-anvendelser – enten i smarte sensorer, bærbare enheder eller industriautomatisering – giver vi AI mulighed for at køre på steder, hvor traditionelle modeller ville være upraktiske. Vores tilgang gør AI mere tilgængelig, skalerbar og energi-effektiv, og åbner op for nye muligheder for AI-dreven innovation ud over skyen.

Aizip har været i frontlinjen for udvikling af Small Language Models (SLM’er). Hvordan ser du SLM’er konkurrere eller supplere større modeller som GPT-4?

SLM’er og større modeller som GPT-4 er ikke nødvendigvis i direkte konkurrence, fordi de tilfredsstiller forskellige behov. Større modeller er kraftfulde i terms of generalisering og dyb resonans, men kræver betydelige computere ressourcer. SLM’er er designed til effektivitet og udvikling på lavkrafts edge-enheder. De supplerer store modeller ved at aktivere AI-kapaciteter i virkelige anvendelser, hvor beregningskraft, forsinkelse og omkostninger er vigtige – såsom i IoT-enheder, bærbare enheder og industriautomatisering. Da AI-adoptionsvæksten øges, ser vi en hybridtilgang fremkomme, hvor store, cloud-baserede modeller håndterer komplekse forespørgsler, mens SLM’er giver realtids, lokal intelligens på kanten.

Hvad er de største tekniske udfordringer i at gøre AI-modeller effektive nok til lavkrafts edge-enheder?

En af de grundlæggende udfordringer er manglen på en komplet teoretisk forståelse af, hvordan AI-modeller fungerer. Uden en klar teoretisk grundlag er optimeringsbestræbelser ofte empiriske, hvilket begrænser effektivitetsgevinster. Derudover sker menneskelig læring på mange måder, som nuværende maskinlæringsparadigmer ikke fuldt ud fanger, hvilket gør det svært at designe modeller, der ligner menneskelig effektivitet.

Fra et ingeniørperspektiv kræver det at fremme AI til at arbejde inden for ekstreme begrænsninger innovative løsninger i modelkomprimering, kvantificering og arkitekturdesign. En anden udfordring er at skabe AI-modeller, der kan tilpasse sig til en række enheder og miljøer, mens de opretholder robusthed. Da AI stadig mere interagerer med den fysiske verden gennem IoT og sensorer, bliver behovet for naturlige og effektive grænseflader – såsom tale- og gestusgenkendelse og andre ikke-traditionelle indgange – kritisk. AI på kanten handler om at redefine, hvordan brugere interagerer med den digitale verden uden problemer.

Kan du dele nogle detaljer om Aizips samarbejde med virksomheder som Softbank?

Vi har nyligt samarbejdet med SoftBank på et akvakulturprojekt, der vandt en CES Innovation Award – en, vi er særligt stolt af. Vi udviklede en effektiv, edge-baseret AI-model til en fiske-tællingsapplikation, der kan bruges af akvakultur-operatører til fiskefarme. Denne løsning løser en kritisk udfordring i fiskeopdræt, der kan skabe bæredygtighed, madspild og profitproblemer. Branchen har været langsom til at adoptere AI som en løsning på grund af upålidelig strøm og forbindelse til havs, hvilket gør cloud-baseret AI-impraktisk.

For at løse dette udviklede vi en løsning baseret på enheden. Vi kombinerede SoftBanks computergrafiksimuleringer til træningsdata med vores kompakte AI-modeller og skabte et højt præcist system, der kører på smartphones. I under-vandstests opnåede det en 95% genkendelsesrate, hvilket dramatisk forbedrede fiske-tællingsnøjagtigheden. Dette tillod fiskerne at optimere lagringsbetingelser, bestemme, om fisk skulle transporteres levende eller frosne, og opdage potentielle sygdomme eller andre sundhedsproblemer hos fiskene.

Denne gennembrud forbedrer effektivitet, reducerer omkostninger og reducerer afhængighed af manuelt arbejde. I bredere forstand viser det, hvordan AI kan have en konkrete indvirkning på virkelige problemer.

Aizip har introduceret et “AI Nanofactory”-koncept. Kan du forklare, hvad det betyder, og hvordan det automatiserer AI-modeludvikling?

AI Nanofactory er vores interne AI-designautomatiseringspipeline, inspireret af Electronic Design Automation (EDA) i halvlederproduktion. Tidligt i udviklingen af en opkomstende teknologi felt indebærer det meget manuelt arbejde, så automation bliver nøglen til at accelerere fremgang og skala løsninger, når feltet modner.

I stedet for blot at bruge AI til at accelerere andre industrier, spurgte vi, kan AI accelerere sin egen udvikling? AI Nanofactory automatiserer hver fase af AI-modeludvikling fra dataprocessering til arkitekturdesign, modelvalg, træning, kvantificering, udvikling og fejlfinding. Ved at udnytte AI til at optimere sig selv har vi kunnet reducere udviklingstiden for nye modeller med en gennemsnitlig faktor på 10. I visse tilfælde mere end 1.000 gange. Dette betyder, at en model, der tidligere tog over et år at udvikle, nu kan skabes på få timer.

En anden fordel er, at denne automation også sikrer, at AI-løsninger er økonomisk bæredygtige for en bred vifte af anvendelser, og gør det lettere at implementere AI i virkelige anvendelser.

Hvordan ser du rollen af edge-AI udvikle sig i de næste fem år?

Edge-AI lover at forvandle, hvordan vi interagerer med teknologi, ligesom smartphones revolutionerede internetadgang. De fleste AI-anvendelser i dag er cloud-baserede, men dette er begyndt at skifte, da AI flytter tættere på sensorer og enheder, der interagerer med den fysiske verden. Denne skift betoner en kritisk behov for effektiv, realtidsbehandling på kanten.

I de næste fem år forventer vi, at edge-AI vil aktivere mere naturlig menneske-computer-interaktion, såsom tale- og gestusgenkendelse og andre intuitive grænseflader, der fjerner afhængighed af traditionelle barrierer som tastaturer og berøringsflader. AI forventes også at blive mere indlejret i hverdagsmiljøer som smarte hjem eller industriautomatisering for at aktivere realtidsbeslutning med minimal forsinkelse.

En anden vigtig trend vil være den øgede autonomi af edge-AI-systemer. AI-modeller vil blive mere selvoptimerende og tilpasningsdygtige takket være fremskridt i AI Nanofactory-lignende automation, så de kan reducere behovet for menneskelig indgriben i udvikling og vedligehold. Dette vil åbne op for nye muligheder på tværs af en række industrier som sundhedsvesen, bilindustri og landbrug.

Hvad er nogle af de kommende AI-drevne enheder fra Aizip, du er mest begejstret for?

Vi arbejder på at udvide brugsområder for vores modeller i nye industrier, og en, vi er særligt begejstret for, er en AI-agent til bilindustrien. Der er en voksende interesse, især blandt kinesiske bilproducenter, for at udvikle taleassistenter drevet af sprogmodeller, der føles mere som ChatGPT inde i kabinen. Udfordringen er, at de fleste nuværende assistenter stadig afhænger af cloud, især til naturlig, fleksibel dialog. Kun grundlæggende kommando- og kontrollfunktioner (såsom “tænd varmen” eller “åbn bagagerummet”) kører normalt lokalt på køretøjet, og den stive natur af disse kommandoer kan blive en afledning for chauffører, hvis de ikke har dem memoriseret med total nøjagtighed.

Vi har udviklet en række ultra-effektive, SLM-drevne AI-agenter kaldet Gizmo, der i øjeblikket bruges i en række applikationer til forskellige industrier, og vi arbejder på at udvikle dem som in-kabin “co-piloter” for køretøjer. Gizmo er trænet til at forstå intention på en mere nuanceret måde, og når det fungerer som køretøjs AI-agent, kan det udføre kommandoer gennem konversations-, fri-form-sprog. For eksempel kan agenten justere kabinevarmen, hvis en chauffør siger “Jeg er kold”, eller svare på en prompt som “Jeg kører til Boston i morgen, hvad skal jeg have på?” ved at tjekke vejrudsigten og give en anbefaling.

Fordi de kører lokalt og ikke afhænger af cloud, fungerer disse agenter fortsat i døde zoner eller områder med dårlig forbindelse, såsom tunneller, bjerge eller landlige områder. De forbedrer også sikkerheden ved at give chaufførerne fuld stemmebaseret kontrol uden at tage deres opmærksomhed væk fra vejen. Og, på en separat og lettere note, tænkte jeg også, at jeg ville nævne, at vi også i øjeblikket er i gang med at sætte en AI-drevet karaoke-model for køretøjer og bluetooth-højttalere i produktion, der kører lokalt ligesom co-piloten. Det tager blot enhver lydindgang og fjerner menneskestemmer fra den, hvilket giver mulighed for at skabe en karaoke-version af enhver sang i realtid. Så ud over at hjælpe kunder med at styre kontrollerne i bilen på en mere sikker måde, søger vi også at gøre oplevelsen mere underholdende.

Disse løsninger, dem, der gør en meningsfuld forskel i menneskers daglige liv, er dem, vi er mest stolte af.

Aizip udvikler ultra-effektive AI-løsninger, der er optimeret til edge-enheder, og tilbyder kompakte modeller til vision, audio, tidsserier, sprog og sensorfusion. Deres produkter muliggør opgaver som ansigtsgenkendelse, objekterkendelse, nøgleords-spotting, ECG/EEG-analyse og on-device chatbots, alle drevet af TinyML. Gennem deres AI-nanofactory-platform, Aizipline, accelererer virksomheden modeludvikling ved hjælp af grundlæggende og generative modeller for at fremme fuld AI-designautomatisering. Aizips Gizmo-serie af små sprogmodeller (300M-2B parametre) understøtter en bred vifte af enheder og bringer intelligente funktioner til kanten.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Aizip.