Yubei Chen, Co-Fondator al Aizip Inc – Seria de Interviuri

Yubei Chen este co-fondator al Aizip inc., o companie care construiește cele mai mici și mai eficiente modele de inteligență artificială. El este, de asemenea, profesor asistent în Departamentul de Inginerie Electrică și Calculatoare de la Universitatea California, Davis. Cercetările lui Chen se află la intersecția dintre neuroștiința computațională și învățarea nesupervizată (auto-supervizată), îmbunătățind înțelegerea noastră a principiilor computaționale care guvernează învățarea reprezentării nesupervizate atât în creier, cât și în mașini, și reconfigurând percepțiile noastre asupra statisticilor semnalelor naturale.

Înainte de a se alătura UC Davis, Chen a efectuat studii postdoctorale cu prof. Yann LeCun la NYU Center for Data Science (CDS) și Meta Fundamental AI Research (FAIR). A absolvit doctoratul la Redwood Center for Theoretical Neuroscience și Berkeley AI Research (BAIR), UC Berkeley, sub îndrumarea prof. Bruno Olshausen.

Aizip dezvoltă soluții de inteligență artificială ultra-eficiente, optimizate pentru dispozitive de margine, oferind modele compacte pentru aplicații de viziune, audio, serii temporale, limbaj și fuziune de senzori. Produsele sale permit sarcini precum recunoașterea feței și a obiectelor, detectarea cuvintelor cheie, analiza ECG/EEG și chatbot-urile pe dispozitive, toate alimentate de TinyML. Prin platforma sa de nanofabricație AI, Aizipline, compania accelerează dezvoltarea modelului utilizând modele de fundație și generative pentru a se îndrepta spre automatizarea completă a proiectării inteligenței artificiale. Seria Gizmo a Aizip de modele de limbaj mici (300M–2B parametri) susține o gamă largă de dispozitive, aducând capacități inteligente la margine.

Ați făcut studiile postdoctorale cu Yann LeCun la NYU și Meta FAIR. Cum a influențat colaborarea cu el și cercetarea dvs. de la UC Berkeley abordarea dvs. de a construi soluții de inteligență artificială pentru lumea reală?

La Berkeley, munca mea a fost profund înrădăcinată în ancheta științifică și rigurozitate matematică. Cercetarea mea de doctorat, care a combinat ingineria electrică, informatica și neuroștiința computațională, s-a concentrat pe înțelegerea sistemelor de inteligență artificială dintr-o perspectivă “cutie albă”, sau dezvoltarea de metode pentru a dezvălui structurile subiacente ale datelor și modelelor de învățare. Am lucrat la construirea de modele de inteligență artificială interpretabile și de înaltă performanță și la tehnici de vizualizare care au ajutat la deschiderea sistemelor de inteligență artificială “cutie neagră”.

La Meta FAIR, accentul a fost pe ingineria sistemelor de inteligență artificială pentru a atinge performanțe de top la scară. Cu acces la resurse computaționale de clasă mondială, am explorat limitele învățării auto-supervizate și am contribuit la ceea ce numim acum “modele de lume” — sisteme de inteligență artificială care învață din date și imaginează medii posibile. Această experiență duală — înțelegere științifică la Berkeley și inginerie orientată spre scalare la Meta — mi-a oferit o perspectivă cuprinzătoare asupra dezvoltării inteligenței artificiale. A subliniat importanța pe care ambele insight-urile teoretice și implementarea practică le au atunci când dezvoltați soluții de inteligență artificială pentru aplicații din lumea reală.

Lucrarea dvs. combină neuroștiința computațională cu inteligența artificială. Cum influențează insight-urile din neuroștiință modul în care dezvoltați modele de inteligență artificială?

În neuroștiința computațională, studiem modul în care creierul procesează informații prin măsurarea răspunsurilor sale la diverse stimuli, similar cu modul în care testăm modelele de inteligență artificială pentru a înțelege mecanismele lor interne. La începutul carierei mele, am dezvoltat tehnici de vizualizare pentru a analiza încorporarea cuvintelor — descompunând cuvinte precum “măr” în elementele lor semantice constitutive, cum ar fi “fruct” și “tehnologie”. Mai târziu, această abordare s-a extins la modele de inteligență artificială mai complexe, cum ar fi transformatorii și modelele de limbaj mari, care au ajutat la dezvăluirea modului în care acestea procesează și stochează cunoștințe.

Aceste metode paralelează de fapt tehnici din neuroștiință, cum ar fi utilizarea electrozilor sau a fMRI pentru a studia activitatea creierului. Testarea reprezentărilor interne ale unui model de inteligență artificială ne permite să înțelegem strategiile sale de raționament și să detectăm proprietăți emergente, cum ar fi neuroni de concept care se activează pentru idei specifice (cum ar fi caracteristica “Podul Golden Gate” pe care Anthropic a găsit-o atunci când a cartat Claude). Această linie de cercetare este acum adoptată pe scară largă în industrie, deoarece s-a dovedit a permite atât interpretabilitate, cât și intervenții practice, eliminând astfel prejudecățile din modele. Abordările inspirate de neuroștiință ne ajută, în esență, să facem inteligența artificială mai explicabilă, mai de încredere și mai eficientă.

Ce v-a inspirat să co-fondați Aizip? Puteți împărtăși călătoria de la concept la lansarea companiei?

Ca cercetător fundamental de inteligență artificială, mult din munca mea a fost teoretică, dar am vrut să pun poduri între cercetare și aplicații din lumea reală. Am co-fondat Aizip pentru a aduce inovații de inteligență artificială de ultimă generație în uz practic, în special în medii cu resurse limitate. În loc de a construi modele de fundație mari, ne-am concentrat pe dezvoltarea celor mai mici și mai eficiente modele de inteligență artificială, care să fie optimizate pentru dispozitive de margine.

Călătoria a început, în esență, cu o observație cheie: În timp ce progresele în inteligența artificială se extindeau rapid, aplicațiile din lumea reală necesitau adesea modele ușoare și extrem de eficiente. Am văzut o oportunitate de a pionierat o nouă direcție care să echilibreze rigurozitatea științifică cu implementarea practică. Prin valorificarea insight-urilor din învățarea auto-supervizată și arhitecturile de modele compacte, Aizip a reușit să livreze soluții de inteligență artificială care funcționează eficient la margine și deschid noi posibilități pentru inteligența artificială în sisteme înglobate, IoT și dincolo.

Aizip se specializează în modele de inteligență artificială mici pentru dispozitive de margine. Ce gol în piață ați văzut care a condus la această focalizare?

Industria inteligenței artificiale s-a concentrat în mare măsură pe scalarea modelelor, dar aplicațiile din lumea reală cer adesea contrariul — eficiență ridicată, consum redus de energie și latență minimă. Multe modele de inteligență artificială de astăzi sunt prea costisitoare din punct de vedere computațional pentru a fi implementate pe dispozitive mici, înglobate. Am văzut un gol în piață pentru soluții de inteligență artificială care să poată oferi performanțe puternice în timp ce funcționează în cadrul unor constrângeri extreme de resurse.

Am recunoscut că nu este necesar ca fiecare aplicație de inteligență artificială să ruleze pe modele masive, și că nu ar fi nici escalabil să ne bazăm pe modele de acea mărime pentru tot. În schimb, ne concentrăm pe optimizarea algoritmilor pentru a atinge eficiența maximă, menținând în același timp acuratețea. Prin proiectarea de modele de inteligență artificială specializate pentru aplicații de margine — fie în senzori inteligenți, dispozitive purtabile sau automatizare industrială — permitem inteligenței artificiale să ruleze în locuri unde modelele tradiționale ar fi impractice. Abordarea noastră face inteligența artificială mai accesibilă, mai escalabilă și mai eficientă din punct de vedere energetic, deblocând noi oportunități de inovare condusă de inteligență artificială dincolo de cloud.

Aizip a fost în fruntea dezvoltării Modelelor de Limbaj Mici (SLM). Cum vedeți SLM-urile competând sau completând modelele mai mari, cum ar fi GPT-4?

SLM-urile și modelele mai mari, cum ar fi GPT-4, nu sunt neapărat în competiție directă, deoarece servesc nevoi diferite. Modelele mai mari sunt puternice în ceea ce privește generalizarea și raționamentul profund, dar necesită resurse computaționale substanțiale. SLM-urile sunt proiectate pentru eficiență și implementare pe dispozitive de margine cu putere redusă. Ele completează modelele mari, permițând capacități de inteligență artificială în aplicații din lumea reală unde puterea de calcul, latența și costurile contează — cum ar fi dispozitive IoT, dispozitive purtabile și automatizare industrială. Pe măsură ce adoptarea inteligenței artificiale crește, vedem o abordare hibridă care emerge, în care modelele mari, bazate pe cloud, gestionează întrebări complexe, în timp ce SLM-urile oferă inteligență localizată în timp real la margine.

Care sunt cele mai mari provocări tehnice în ceea ce privește eficientizarea modelelor de inteligență artificială pentru dispozitive de margine cu putere redusă?

Una dintre provocările fundamentale este lipsa unei înțelegeri teoretice complete a modului în care funcționează modelele de inteligență artificială. Fără o bază teoretică clară, eforturile de optimizare sunt adesea empirice, limitând câștigurile de eficiență. În plus, învățarea umană se produce în moduri diverse pe care paradigmele actuale de învățare a mașinilor nu le captează pe deplin, făcând dificilă proiectarea de modele care să imite eficiența umană.

Din punct de vedere ingineresc, împingerea inteligenței artificiale să funcționeze în cadrul unor constrângeri extreme necesită soluții inovatoare în ceea ce privește comprimarea modelului, cuantificarea și proiectarea arhitecturii. O altă provocare constă în crearea de modele de inteligență artificială care să poată adapta o varietate de dispozitive și medii, menținând în același timp robustețea. Pe măsură ce inteligența artificială interacționează tot mai mult cu lumea fizică prin IoT și senzori, nevoia de interfețe naturale și eficiente — cum ar fi recunoașterea vocală și a gesturilor și alte intrări neconvenționale — devine critică. Inteligența artificială la margine se referă la redefinirea modului în care utilizatorii interacționează cu lumea digitală în mod fluent.

Puteți împărtăși detalii despre colaborarea Aizip cu companii precum Softbank?

Am colaborat recent cu SoftBank pe un proiect de acvacultură care a câștigat un premiu CES — unul pe care suntem deosebit de mândri. Am dezvoltat un model de inteligență artificială eficient, bazat pe margine, pentru o aplicație de numărătoare a peștilor care poate fi utilizată de operatorii de ferme de pește. Această soluție abordează o provocare critică în piscicultură care poate crea, în cele din urmă, probleme de durabilitate, deșeuri alimentare și profitabilitate. Industria a fost lentă în a adopta inteligența artificială ca soluție datorită puterii și conectivității nefiabile la mare, făcând soluțiile de inteligență artificială bazate pe cloud impractice.

Pentru a rezolva această problemă, am dezvoltat o soluție bazată pe dispozitiv. Am combinat simulările grafice calculate ale SoftBank pentru date de antrenament cu modelele noastre compacte de inteligență artificială și am creat un sistem extrem de precis care rulează pe smartphone. În testele subacvatice pe teren, a atins un nivel de recunoaștere de 95%, îmbunătățind semnificativ acuratețea numărătorii peștilor. Acest lucru a permis fermierilor să optimizeze condițiile de stocare, să determine dacă peștii ar trebui transportați vii sau înghețați și să detecteze posibile boli sau alte probleme de sănătate la pești.

Această inovație îmbunătățește eficiența, reduce costurile și scade dependența de muncă manuală. Mai larg, demonstrează modul în care inteligența artificială poate avea un impact tangibil asupra problemelor din lumea reală.

Aizip a introdus conceptul de “nanofabrică de inteligență artificială”. Puteți explica ce înseamnă acest lucru și cum se automatează dezvoltarea modelului de inteligență artificială?

Nanofabrica noastră de inteligență artificială este pipeline-ul nostru intern de automatizare a proiectării inteligenței artificiale, inspirat de Electronic Design Automation (EDA) în producția de semiconductoare. Dezvoltarea timpurie în orice domeniu emergent implică mult efort manual, astfel încât automatizarea devine cheia accelerării progresului și a escaladării soluțiilor pe măsură ce domeniul se maturizează.

În loc să folosim doar inteligența artificială pentru a accelera alte industrii, ne-am întrebat: Oare inteligența artificială poate accelera propria sa dezvoltare? Nanofabrica noastră de inteligență artificială automatează fiecare etapă a dezvoltării modelului de inteligență artificială, de la prelucrarea datelor la proiectarea arhitecturii, selectarea modelului, antrenamentul, cuantificarea, implementarea și depanarea. Prin valorificarea inteligenței artificiale pentru a se optimiza pe sine, am reușit să reducem timpul de dezvoltare pentru noi modele cu un factor mediu de 10. În unele cazuri, de peste 1.000 de ori. Acest lucru înseamnă că un model care a necesitat peste un an pentru a fi dezvoltat poate fi creat acum în doar câteva ore.

Un alt beneficiu este că această automatizare asigură, de asemenea, că soluțiile de inteligență artificială sunt viabile din punct de vedere economic pentru o gamă largă de aplicații, făcând implementarea inteligenței artificiale în lumea reală mai accesibilă și mai escalabilă.

Cum vedeți evoluția rolului inteligenței artificiale la margine în următorii cinci ani?

Inteligența artificială la margine promite să transforme modul în care interacționăm cu tehnologia, similar cu modul în care smartphone-urile au revoluționat accesul la internet. Majoritatea aplicațiilor de inteligență artificială de astăzi sunt bazate pe cloud, dar acest lucru începe să se schimbe pe măsură ce inteligența artificială se apropie de senzorii și dispozitivele care interacționează cu lumea fizică. Acestă schimbare subliniază o nevoie critică de procesare în timp real eficientă la margine.

În următorii cinci ani, ne așteptăm ca inteligența artificială la margine să permită interacțiuni umane mai naturale cu calculatorul, cum ar fi recunoașterea vocală și a gesturilor și alte interfețe intuitive, care ar elimina dependența de bariere tradiționale precum tastaturile și ecranele tactile. Inteligența artificială este de așteptat să devină mai integrată în medii cotidiene, cum ar fi casele inteligente sau automatizarea industrială, pentru a permite luarea deciziilor în timp real cu latență minimă.

O altă tendință cheie va fi autonomia crescândă a sistemelor de inteligență artificială la margine. Modelele de inteligență artificială vor deveni mai auto-optimizate și adaptabile, mulțumită progreselor în automatizarea nanofabricii de inteligență artificială, astfel încât vor reduce nevoia de intervenție umană în implementare și întreținere. Acest lucru va deschide noi oportunități într-o serie de industrii, cum ar fi sănătatea, automotive și agricultura.

Care sunt dispozitivele alimentate de inteligență artificială de la Aizip pe care sunteți cel mai entuziasmat?

Lucrăm la extinderea cazurilor de utilizare pentru modelele noastre în industrii noi, și una care ne entuziasmează în mod special este un agent de inteligență artificială pentru sectorul automotive. Există o tendință în creștere, în special printre producătorii de automobile chinezi, de a dezvolta asistenți vocali alimentați de modele de limbaj care să se simtă ca ChatGPT în cabină. Provocarea constă în faptul că majoritatea asistenților vocali actuali se bazează încă pe cloud, în special pentru dialoguri naturale și flexibile. Doar sarcinile de bază de comandă și control (cum ar fi “porniți aerul condiționat” sau “deschideți portbagajul”) rulează local pe vehicul, iar natura rigidă a acestor comenzi poate deveni o distragere pentru șoferi dacă nu le-au memorizat cu acuratețe.

Am dezvoltat o serie de agenți de inteligență artificială ultra-eficienți, alimentați de SLM, numiți Gizmo, care sunt utilizați într-o varietate de aplicații pentru diferite industrii, și lucrăm la implementarea lor ca “co-piloți” pentru vehicule. Gizmo este antrenat să înțeleagă intenția într-un mod mai nuanțat și, atunci când servește ca agent de inteligență artificială al vehiculului, ar putea executa comenzi prin limbaj conversațional, liber. De exemplu, agentul ar putea regla temperatura cabinei dacă șoferul spune pur și simplu “Sunt rece”, sau ar putea răspunde la o solicitare precum “Mă duc la Boston mâine, ce ar trebui să îmbrac?” verificând vremea și oferind o sugestie.

Deoarece rulează local și nu depind de cloud, acești agenți continuă să funcționeze în zone moarte sau în zone cu conectivitate slabă, cum ar fi tunele, munți sau drumuri rurale. Ei îmbunătățesc, de asemenea, siguranța, oferind șoferilor control vocal complet fără a-și lua ochii de la drum. Și, pe o notă separată și mai ușoară, aș vrea să menționez că suntem, de asemenea, în procesul de a pune în producție un model de inteligență artificială pentru karaoke pentru vehicule și difuzoare Bluetooth, care rulează local, la fel ca și co-pilotul. În esență, ia orice intrare audio și elimină vocile umane de pe ea, permițându-vă să creați o versiune karaoke a oricărui cântec în timp real. Așadar, pe lângă faptul că ajutăm clienții să gestioneze mai sigur comenzile în mașină, suntem și în căutarea de modalități de a face experiența mai plăcută.

Aceste tipuri de soluții, cele care fac o diferență semnificativă în viața oamenilor, sunt cele de care suntem cel mai mândri.

Aizip dezvoltă soluții de inteligență artificială ultra-eficiente, optimizate pentru dispozitive de margine, oferind modele compacte pentru aplicații de viziune, audio, serii temporale, limbaj și fuziune de senzori. Produsele sale permit sarcini precum recunoașterea feței și a obiectelor, detectarea cuvintelor cheie, analiza ECG/EEG și chatbot-urile pe dispozitive, toate alimentate de TinyML. Prin platforma sa de nanofabricație AI, Aizipline, compania accelerează dezvoltarea modelului utilizând modele de fundație și generative pentru a se îndrepta spre automatizarea completă a proiectării inteligenței artificiale. Seria Gizmo a Aizip de modele de limbaj mici (300M–2B parametri) susține o gamă largă de dispozitive, aducând capacități inteligente la margine.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Aizip ar trebui să viziteze Aizip.