Interviuri
Yubei Chen, Co-Fondator al Aizip Inc – Seria de Interviuri
Yubei Chen este co-fondator al Aizip inc., o companie care construiește cele mai mici și mai eficiente modele de inteligență artificială. El este, de asemenea, profesor asistent în Departamentul de Inginerie Electrică și Informatică de la Universitatea California, Davis. Cercetările lui Chen se află la intersecția dintre neuroștiința computațională și învățarea nesupervizată (auto-supervizată), îmbunătățind înțelegerea noastră a principiilor computaționale care guvernează învățarea reprezentării nesupervizate atât în creier, cât și în mașini, și redefinind perspectivele noastre asupra statisticilor semnalelor naturale.
Înainte de a se alătura UC Davis, Chen a făcut studii postdoctorale cu Prof. Yann LeCun la NYU Center for Data Science (CDS) și Meta Fundamental AI Research (FAIR). El a absolvit doctoratul la Redwood Center for Theoretical Neuroscience și Berkeley AI Research (BAIR), UC Berkeley, sub îndrumarea Prof. Bruno Olshausen.
Aizip dezvoltă soluții de inteligență artificială ultra-eficiente, optimizate pentru dispozitive de margine, oferind modele compacte pentru aplicații de viziune, audio, serii de timp, limbaj și fuziune de senzori. Produsele sale permit sarcini precum recunoașterea feței și a obiectelor, detectarea cuvintelor cheie, analiza ECG/EEG și chatbot-urile pe dispozitiv, toate alimentate de TinyML. Prin platforma sa de nanofabricație AI, Aizipline, compania accelerează dezvoltarea modelului utilizând modele de bază și generative pentru a promova automatizarea completă a proiectării AI. Seria Gizmo a lui Aizip de modele de limbaj mici (300M–2B parametri) susține o gamă largă de dispozitive, aducând capacități inteligente la margine.
Ai făcut studiul postdoctoral cu Yann LeCun la NYU și Meta FAIR. Cum a influențat lucrul cu el și cercetarea ta la UC Berkeley abordarea ta de a construi soluții de inteligență artificială pentru lumea reală?
La Berkeley, lucrarea mea a fost profund înrădăcinată în ancheta științifică și rigurozitate matematică. Cercetarea mea de doctorat, care a combinat ingineria electrică, informatica și neuroștiința computațională, s-a axat pe înțelegerea sistemelor de inteligență artificială dintr-o perspectivă “cutie albă”, sau pe dezvoltarea de metode pentru a revela structurile subiacente ale datelor și modelelor de învățare. Am lucrat la construirea de modele de inteligență artificială interpretabile, cu performanță ridicată și tehnici de vizualizare care au ajutat la deschiderea sistemelor de inteligență artificială “cutie neagră”.
La Meta FAIR, accentul a fost pe proiectarea sistemelor de inteligență artificială pentru a atinge performanțe de ultimă generație la scară. Cu acces la resurse computaționale de clasă mondială, am explorat limitele învățării auto-supervizate și am contribuit la ceea ce numim acum “modele de lume” — sisteme de inteligență artificială care învață din date și imaginează medii posibile. Această experiență duală — înțelegere științifică la Berkeley și inginerie orientată spre scalare la Meta — mi-a oferit o perspectivă cuprinzătoare asupra dezvoltării inteligenței artificiale. A subliniat importanța pe care ambele insight-urile teoretice și implementarea practică le au atunci când dezvoltați soluții de inteligență artificială pentru aplicații reale.
Lucrarea ta combină neuroștiința computațională cu inteligența artificială. Cum influențează insight-urile din neuroștiință modul în care dezvolți modele de inteligență artificială?
În neuroștiința computațională, studiem modul în care creierul procesează informații prin măsurarea răspunsurilor sale la diverse stimuli, similar cu modul în care testăm modelele de inteligență artificială pentru a înțelege mecanismele lor interne. La începutul carierei mele, am dezvoltat tehnici de vizualizare pentru a analiza încorporarea cuvintelor — descompunând cuvinte precum “măr” în elementele lor semantice constitutive, cum ar fi “fruct” și “tehnologie”. Mai târziu, această abordare s-a extins la modele de inteligență artificială mai complexe, cum ar fi transformatori și modele de limbaj mari, care au ajutat la revelarea modului în care procesează și stochează cunoștințe.
Aceste metode paralelează, de fapt, tehnici din neuroștiință, cum ar fi utilizarea electrozilor sau a fMRI pentru a studia activitatea creierului. Sondează reprezentările interne ale unui model de inteligență artificială pentru a înțelege strategiile sale de raționament și pentru a detecta proprietăți emergente, cum ar fi neuroni de concept care se activează pentru idei specifice (cum ar fi caracteristica “Podul Golden Gate” pe care Anthropic a găsit-o atunci când a cartat Claude). Această linie de cercetare este acum adoptată pe scară largă în industrie, deoarece s-a dovedit a permite atât interpretabilitate, cât și intervenții practice, eliminând prejudecățile din modele. Prin urmare, abordările inspirate din neuroștiință ne ajută, în esență, să facem inteligența artificială mai explicabilă, mai de încredere și mai eficientă.
Ce v-a inspirat să co-fondați Aizip? Puteți împărtăși călătoria de la concept la lansarea companiei?
Ca cercetător fundamental de inteligență artificială, mult din munca mea a fost teoretică, dar am vrut să pun poduri între cercetare și aplicații reale. Am co-fondat Aizip pentru a aduce inovații de inteligență artificială de ultimă generație în uz practic, în special în medii cu resurse limitate. În loc de a construi modele de bază mari, ne-am concentrat pe dezvoltarea celor mai mici și mai eficiente modele de inteligență artificială, care ar fi optimizate pentru dispozitive de margine.
Călătoria a început, în esență, cu o observație cheie: în timp ce progresele în inteligența artificială se escaladau rapid, aplicațiile reale necesitau adesea modele ușoare și foarte eficiente. Am văzut o oportunitate de a pioniera o direcție nouă care să echilibreze rigurozitatea științifică cu implementarea practică. Prin valorificarea insight-urilor din învățarea auto-supervizată și arhitecturi de modele compacte, Aizip a fost capabilă să livreze soluții de inteligență artificială care funcționează eficient la margine și să deschidă noi posibilități pentru inteligența artificială în sisteme înglobate, IoT și dincolo.
Aizip se specializează în modele de inteligență artificială mici pentru dispozitive de margine. Care a fost lacuna de pe piață pe care ați văzut-o și care v-a condus la această focalizare?
Industria inteligenței artificiale s-a concentrat în mare măsură pe scalarea modelelor, dar aplicațiile reale necesită adesea contrariul — eficiență ridicată, consum redus de energie și latență minimă. Multe modele de inteligență artificială de astăzi sunt prea scumpe din punct de vedere computațional pentru a fi implementate pe dispozitive mici, înglobate. Am văzut o lacună pe piață pentru soluții de inteligență artificială care ar putea oferi performanțe puternice, funcționând în interiorul unor constrângeri extreme de resurse.
Am recunoscut că nu este necesar ca fiecare aplicație de inteligență artificială să ruleze pe modele masive, și că, de asemenea, nu ar fi scalabil să ne bazăm pe modele de acea mărime pentru tot. În schimb, ne-am concentrat pe optimizarea algoritmilor pentru a atinge eficiența maximă, menținând, în același timp, precizia. Prin proiectarea modelelor de inteligență artificială specializate pentru aplicații de margine — fie în senzori inteligenți, dispozitive purtabile sau automatizare industrială — permitem inteligenței artificiale să ruleze în locuri în care modelele tradiționale ar fi impractice. Abordarea noastră face inteligența artificială mai accesibilă, mai scalabilă și mai eficientă din punct de vedere energetic, deblocând noi posibilități de inovare condusă de inteligență artificială dincolo de cloud.
Aizip a fost în fruntea dezvoltării de Modele de Limbaj Mici (SLM). Cum vedeți SLM-urile concurând sau completând modele mai mari, cum ar fi GPT-4?
SLM-urile și modelele mai mari, cum ar fi GPT-4, nu sunt neapărat în competiție directă, deoarece servesc nevoi diferite. Modelele mai mari sunt puternice în ceea ce privește generalizarea și raționamentul profund, dar necesită resurse computaționale substanțiale. SLM-urile sunt proiectate pentru eficiență și implementare pe dispozitive de margine cu putere redusă. Ele completează modelele mai mari, permițând capacități de inteligență artificială în aplicații reale în care puterea de calcul, latența și costurile contează — cum ar fi dispozitive IoT, dispozitive purtabile și automatizare industrială. Pe măsură ce adoptarea inteligenței artificiale crește, vedem o abordare hibridă care emerge, în care modelele mari, bazate pe cloud, gestionează întrebări complexe, în timp ce SLM-urile oferă inteligență localizată în timp real la margine.
Care sunt cele mai mari provocări tehnice în ceea ce privește eficientizarea modelelor de inteligență artificială pentru dispozitive de margine cu putere redusă?
Una dintre provocările fundamentale este lipsa unei înțelegeri teoretice complete a modului în care funcționează modelele de inteligență artificială. Fără o bază teoretică clară, eforturile de optimizare sunt adesea empirice, limitând câștigurile de eficiență. De asemenea, învățarea umană are loc în moduri diverse pe care paradigmele actuale de învățare a mașinilor nu le captează pe deplin, făcând dificilă proiectarea de modele care să imite eficiența umană.
Din punct de vedere ingineresc, a face inteligența artificială să funcționeze în interiorul unor constrângeri extreme necesită soluții inovatoare în comprimarea modelului, cuantificare și proiectare a arhitecturii. O altă provocare constă în crearea de modele de inteligență artificială care să poată adapta o varietate de dispozitive și medii, menținând, în același timp, robustețea. Pe măsură ce inteligența artificială interacționează tot mai mult cu lumea fizică prin IoT și senzori, nevoia de interfețe naturale și eficiente — cum ar fi voce, gesturi și alte intrări neconvenționale — devine critică. Inteligența artificială la margine se referă la redefinirea modului în care utilizatorii interacționează cu lumea digitală în mod fluent.
Puteți împărtăși detalii despre lucrările Aizip cu companii precum Softbank?
Am colaborat recent cu SoftBank la un proiect de acvacultură care a câștigat un premiu CES Innovation Award — unul cu care suntem deosebit de mândri. Am dezvoltat un model de inteligență artificială eficient pentru o aplicație de numărare a peștilor care poate fi utilizată de operatorii de acvacultură pentru ferme de pește. Această soluție abordează o provocare critică în fermelor de pește, care poate duce la probleme de durabilitate, risipă de alimente și profitabilitate. Industria a fost lentă în a adopta inteligența artificială ca soluție, din cauza puterii și conectivității necorespunzătoare la mare, făcând soluțiile de inteligență artificială bazate pe cloud impractice.
Pentru a rezolva această problemă, am dezvoltat o soluție bazată pe dispozitiv. Am combinat simulările grafice pe computer ale lui SoftBank pentru datele de antrenament cu modelele noastre compacte de inteligență artificială și am creat un sistem foarte precis care rulează pe smartphone. În testele de teren subacvatice, a atins un nivel de recunoaștere de 95%, îmbunătățind dramatic precizia numărării peștilor. Acest lucru a permis fermierilor să optimizeze condițiile de stocare, să determine dacă peștii ar trebui transportați vii sau congelati și să detecteze potențiale boli sau alte probleme de sănătate la pești.
Această inovație îmbunătățește eficiența, reduce costurile și scade dependența de munca manuală. Mai larg, demonstrează modul în care inteligența artificială poate avea un impact tangibil asupra problemelor din lumea reală.
Aizip a introdus conceptul de “nanofabrică de inteligență artificială”. Puteți explica ce înseamnă acest lucru și cum automatizează dezvoltarea modelului de inteligență artificială?
Nanofabrica de inteligență artificială este pipeline-ul nostru intern de automatizare a proiectării inteligenței artificiale, inspirat de Electronic Design Automation (EDA) în fabricarea semiconductorilor. Dezvoltarea timpurie în orice domeniu tehnologic emergent implică mult efort manual, astfel încât automatizarea devine cheia accelerării progresului și a scalării soluțiilor pe măsură ce domeniul se maturizează.
În loc să folosim doar inteligența artificială pentru a accelera alte industrii, ne-am întrebat: poate inteligența artificială să-și accelereze propria dezvoltare? Nanofabrica de inteligență artificială automatizează fiecare etapă a dezvoltării modelului de inteligență artificială, de la prelucrarea datelor la proiectarea arhitecturii, selectarea modelului, antrenament, cuantificare, implementare și depanare. Prin valorificarea inteligenței artificiale pentru a-și optimiza propria dezvoltare, am reușit să reducem timpul de dezvoltare pentru noi modele cu un factor mediu de 10. În unele cazuri, de peste 1.000 de ori. Acest lucru înseamnă că un model care a necesitat mai mult de un an pentru a fi dezvoltat poate fi creat acum în doar câteva ore.
Un alt beneficiu este că această automatizare asigură, de asemenea, că soluțiile de inteligență artificială sunt viabile din punct de vedere economic pentru o gamă largă de aplicații, făcând implementarea inteligenței artificiale în lumea reală mai accesibilă și mai scalabilă.
Cum vedeți evoluția rolului inteligenței artificiale la margine în următorii cinci ani?
Inteligența artificială la margine promite să transforme modul în care interacționăm cu tehnologia, similar cu modul în care smartphone-urile au revoluționat accesul la internet. Cele mai multe aplicații de inteligență artificială de astăzi sunt bazate pe cloud, dar acest lucru începe să se schimbe pe măsură ce inteligența artificială se apropie de senzorii și dispozitivele care interacționează cu lumea fizică. Acestă schimbare subliniază o nevoie critică de procesare în timp real și eficientă la margine.
În următorii cinci ani, ne așteptăm ca inteligența artificială la margine să permită interacțiuni mai naturale între oameni și calculator, cum ar fi recunoașterea vocii și a gesturilor și alte interfețe intuitive, care ar elimina dependența de bariere tradiționale precum tastaturile și ecranele tactile. Inteligența artificială va deveni, de asemenea, mai încorporată în medii cotidiene, cum ar fi casele inteligente sau automatizarea industrială, pentru a permite luarea deciziilor în timp real cu latență minimă.
O altă tendință cheie va fi autonomia tot mai mare a sistemelor de inteligență artificială la margine. Modelele de inteligență artificială vor deveni mai auto-optimizate și adaptabile, datorită progreselor în automatizarea nanofabricării de inteligență artificială, astfel încât vor reduce nevoia de intervenție umană în implementare și întreținere. Acest lucru va deschide noi oportunități într-o serie de industrii, cum ar fi sănătate, automotive și agricultură.
Care sunt dispozitivele alimentate de inteligență artificială de la Aizip pe care sunteți cel mai entuziasmat?
Lucrăm la extinderea cazurilor de utilizare pentru modelele noastre în industrii noi, și una care ne entuziasmează în mod special este un agent de inteligență artificială pentru sectorul automotive. Există o tendință în creștere, în special printre producătorii de automobile chinezi, de a dezvolta asistenți vocali alimentați de modele de limbaj care să se simtă mai mult ca ChatGPT în cabină. Provocarea constă în faptul că majoritatea asistenților actuali se bazează încă pe cloud, în special pentru dialoguri naturale și flexibile. Doar sarcinile de comandă și control (cum ar fi “porniți aerul condiționat” sau “deschideți portbagajul”) rulează, de obicei, local pe vehicul, iar natura rigidă a acestor comenzi poate deveni o distragere pentru șoferi dacă nu le-au memorizat cu acuratețe totală.
Am dezvoltat o serie de agenți de inteligență artificială ultra-eficienți, alimentați de SLM, numiți Gizmo, care sunt utilizați într-o serie de aplicații pentru diferite industrii, și lucrăm la implementarea lor ca “co-piloți” în cabină pentru vehicule. Gizmo este antrenat pentru a înțelege intenția într-un mod mai nuanțat și, atunci când servește ca agent de inteligență artificială al vehiculului, ar putea executa comenzi prin limbaj conversațional, liber. De exemplu, agentul ar putea ajusta temperatura cabinei dacă șoferul spune doar “Sunt rece”, sau ar putea răspunde la o solicitare precum “Mă duc la Boston mâine, ce ar trebui să îmbrac?” verificând vremea și oferind o sugestie.
Deoarece rulează local și nu depind de cloud, acești agenți continuă să funcționeze în zone moarte sau în zone cu conectivitate slabă, cum ar fi tunele, munți sau drumuri rurale. Ei îmbunătățesc, de asemenea, siguranța, oferind șoferilor control vocal complet fără a-și lua atenția de la drum. Și, pe o notă separată și mai ușoară, am menționat că suntem, de asemenea, în procesul de a pune în producție un model de karaoke alimentat de inteligență artificială pentru vehicule și difuzoare Bluetooth, care rulează local, la fel ca și co-pilotul. În esență, ia orice intrare audio și elimină vocile umane de pe ea, permițându-vă să creați o versiune karaoke a oricărui cântec în timp real. Deci, în afara ajutorării clienților să gestioneze mai sigur controalele în mașină, căutăm, de asemenea, modalități de a face experiența mai plăcută.
Aceste tipuri de soluții, cele care fac o diferență semnificativă în viața de zi cu zi a oamenilor, sunt cele de care suntem cel mai mândri.
Aizip dezvoltă soluții de inteligență artificială ultra-eficiente, optimizate pentru dispozitive de margine, oferind modele compacte pentru aplicații de viziune, audio, serii de timp, limbaj și fuziune de senzori. Produsele sale permit sarcini precum recunoașterea feței și a obiectelor, detectarea cuvintelor cheie, analiza ECG/EEG și chatbot-urile pe dispozitiv, toate alimentate de TinyML. Prin platforma sa de nanofabricație AI, Aizipline, compania accelerează dezvoltarea modelului utilizând modele de bază și generative pentru a promova automatizarea completă a proiectării AI. Seria Gizmo a lui Aizip de modele de limbaj mici (300M–2B parametri) susține o gamă largă de dispozitive, aducând capacități inteligente la margine.
Mulțumim pentru acest interviu excelent; cititorii care doresc să afle mai multe ar trebui să viziteze Aizip.
