Yubei Chen, Co-Fondatore di Aizip Inc – Serie di Interviste

Yubei Chen è co-fondatore di Aizip inc., un’azienda che sviluppa i modelli di intelligenza artificiale più piccoli e efficienti del mondo. È anche professore assistente nel dipartimento di Ingegneria Elettrica e Informatica dell’Università della California, Davis. La ricerca di Chen si trova all’intersezione della neuroscienza computazionale e dell’apprendimento auto-supervisionato (self-supervised), migliorando la nostra comprensione dei principi computazionali che governano l’apprendimento di rappresentazioni non supervisionate nel cervello e nelle macchine, e ridefinendo le nostre conoscenze sulla statistica dei segnali naturali.

Prima di unirsi all’UC Davis, Chen ha completato il suo studio post-dottorato con il prof. Yann LeCun al NYU Center for Data Science (CDS) e Meta Fundamental AI Research (FAIR). Ha completato il suo dottorato al Redwood Center for Theoretical Neuroscience e Berkeley AI Research (BAIR), UC Berkeley, sotto la supervisione del prof. Bruno Olshausen.

Aizip sviluppa soluzioni di intelligenza artificiale ultra-efficienti ottimizzate per dispositivi edge, offrendo modelli compatti per applicazioni di visione, audio, serie temporali, linguaggio e fusione di sensori. I suoi prodotti abilitano attività come il riconoscimento di volti e oggetti, il riconoscimento di parole chiave, l’analisi ECG/EEG e i chatbot su dispositivo, tutti alimentati da TinyML. Attraverso la sua piattaforma di nanofabbrica AI, Aizipline, l’azienda accelera lo sviluppo di modelli utilizzando modelli fondamentali e generativi per spingere verso l’automazione completa della progettazione AI. La serie di modelli di linguaggio piccoli di Aizip (300M-2B parametri) supporta una vasta gamma di dispositivi, portando capacità intelligenti al margine.

Ha fatto il post-dottorato con Yann LeCun al NYU e Meta FAIR. Come ha influenzato il suo approccio alla costruzione di soluzioni AI per il mondo reale il lavoro con lui e la sua ricerca all’UC Berkeley?

A Berkeley, il mio lavoro era profondamente radicato nella ricerca scientifica e nella rigorosità matematica. La mia ricerca di dottorato, che combinava ingegneria elettrica, informatica e neuroscienza computazionale, si concentrava sulla comprensione dei sistemi AI da una prospettiva “white-box”, o sviluppando metodi per rivelare le strutture sottostanti dei dati e dei modelli di apprendimento. Ho lavorato sulla costruzione di modelli AI interpretabili e ad alte prestazioni e tecniche di visualizzazione che aiutavano ad aprire i sistemi AI “black-box”.

Al Meta FAIR, l’attenzione si concentrava sull’ingegneria dei sistemi AI per raggiungere prestazioni di stato dell’arte su larga scala. Con l’accesso a risorse computazionali di classe mondiale, ho esplorato i limiti dell’apprendimento auto-supervisionato e contribuito a ciò che ora chiamiamo “modelli del mondo” — sistemi AI che apprendono dai dati e immaginano ambienti possibili. Questa doppia esperienza — comprensione scientifica a Berkeley e ingegneria guidata dalla scala a Meta — mi ha dato una prospettiva completa sullo sviluppo AI. Ha sottolineato l’importanza che sia l’intuizione teorica che l’implementazione pratica hanno quando si sviluppano soluzioni AI per applicazioni del mondo reale

Il suo lavoro combina neuroscienza computazionale con intelligenza artificiale. Come le intuizioni dalla neuroscienza influenzano il modo in cui sviluppa modelli AI?

Nella neuroscienza computazionale, studiamo come il cervello elabora le informazioni misurando le sue risposte a vari stimoli, proprio come facciamo quando analizziamo i meccanismi interni dei modelli AI. All’inizio della mia carriera, ho sviluppato tecniche di visualizzazione per analizzare le rappresentazioni di parole — scomponendo parole come “mela” nei loro elementi semantici costituenti, come “frutto” e “tecnologia”. Successivamente, questo approccio si è esteso a modelli AI più complessi come i trasformatori e i grandi modelli di linguaggio, aiutando a rivelare come essi processano e memorizzano la conoscenza.

Questi metodi parallelano effettivamente le tecniche utilizzate nella neuroscienza, come l’uso di elettrodi o fMRI per studiare l’attività cerebrale. Analizzare le rappresentazioni interne di un modello AI ci consente di comprendere le sue strategie di ragionamento e rilevare proprietà emergenti, come i neuroni del concetto che si attivano per idee specifiche (come la caratteristica del Golden Gate Bridge che Anthropic ha trovato quando ha mappato Claude). Questa linea di ricerca è ora ampiamente adottata nell’industria perché si è dimostrata in grado di abilitare sia l’interpretazione che gli interventi pratici, rimuovendo i pregiudizi dai modelli. Quindi, gli approcci ispirati alla neuroscienza ci aiutano a rendere l’AI più spiegabile, affidabile ed efficiente.

Cosa l’ha ispirato a co-fondare Aizip? Può condividere il viaggio dalla concezione al lancio dell’azienda?

Come ricercatore fondamentale di AI, gran parte del mio lavoro era teorico, ma volevo colmare il divario tra la ricerca e le applicazioni del mondo reale. Ho co-fondato Aizip per portare le innovazioni AI di punta nell’uso pratico, in particolare in ambienti con risorse limitate. Invece di costruire grandi modelli fondamentali, ci siamo concentrati sullo sviluppo dei modelli AI più piccoli e efficienti del mondo, ottimizzati per dispositivi edge.

Il viaggio è iniziato fondamentalmente con un’osservazione chiave: mentre i progressi dell’AI stavano aumentando rapidamente, le applicazioni del mondo reale richiedevano spesso modelli leggeri e altamente efficienti. Abbiamo quindi visto un’opportunità per aprire una nuova direzione che bilanciasse la rigorosità scientifica con il dispiegamento pratico. Sfruttando le intuizioni dell’apprendimento auto-supervisionato e delle architetture di modelli compatti, Aizip è stata in grado di offrire soluzioni AI che operano efficientemente al margine e aprono nuove possibilità per l’AI nei sistemi incorporati, IoT e oltre.

Aizip si concentra su modelli AI piccoli per dispositivi edge. Qual è il divario nel mercato che ha portato a questo focus?

L’industria AI si è concentrata in gran parte sull’aumentare le dimensioni dei modelli, ma le applicazioni del mondo reale richiedono spesso il contrario — alta efficienza, basso consumo di energia e minima latenza. Molti modelli AI attuali sono troppo costosi in termini computazionali per essere distribuiti su dispositivi incorporati piccoli. Abbiamo visto un divario nel mercato per soluzioni AI che potessero offrire prestazioni solide mentre operavano all’interno di vincoli di risorse estremi.

Abbiamo riconosciuto che non è necessario che ogni applicazione AI sia eseguita su modelli massicci e che non sarebbe scalabile affidarsi a modelli di quella dimensione per tutto. Invece, ci concentriamo sull’ottimizzazione degli algoritmi per raggiungere la massima efficienza mantenendo l’accuratezza. Progettando modelli AI adatti per applicazioni edge — sia nei sensori intelligenti, nei dispositivi indossabili o nell’automazione industriale — abilitiamo l’AI a funzionare in luoghi in cui i modelli tradizionali sarebbero impraticabili. Il nostro approccio rende l’AI più accessibile, scalabile ed efficiente in termini energetici, sbloccando nuove possibilità per l’innovazione guidata da AI al di là del cloud.

Aizip è stata all’avanguardia nello sviluppo di Small Language Models (SLM). Come vede SLM in competizione o complemento con modelli più grandi come GPT-4?

SLM e modelli più grandi come GPT-4 non sono necessariamente in competizione diretta perché servono esigenze diverse. I modelli più grandi sono potenti in termini di generalizzazione e ragionamento profondo, ma richiedono risorse computazionali sostanziali. SLM sono progettati per l’efficienza e la distribuzione su dispositivi edge a basso potere. Complementano i modelli più grandi abilitando le capacità AI in applicazioni del mondo reale in cui il potere di calcolo, la latenza e i costi sono importanti — come nei dispositivi IoT, nei dispositivi indossabili e nell’automazione industriale. Man mano che l’adozione dell’AI cresce, vediamo un approccio ibrido emergere, in cui i modelli più grandi basati su cloud gestiscono query complesse mentre SLM forniscono intelligenza in tempo reale e localizzata al margine.

Quali sono le sfide tecniche più grandi nel rendere i modelli AI sufficientemente efficienti per dispositivi edge a basso potere?

Una delle sfide fondamentali è la mancanza di una comprensione teorica completa di come funzionano i modelli AI. Senza una solida base teorica, gli sforzi di ottimizzazione sono spesso empirici, limitando i guadagni di efficienza. Inoltre, l’apprendimento umano avviene in modi diversi che i paradigmi di apprendimento automatico attuali non catturano completamente, rendendo difficile progettare modelli che imitino l’efficienza umana.

Dal punto di vista ingegneristico, spingere l’AI a funzionare all’interno di vincoli estremi richiede soluzioni innovative nella compressione dei modelli, quantizzazione e progettazione dell’architettura. Un’altra sfida è creare modelli AI che possano adattarsi a una varietà di dispositivi e ambienti mantenendo la robustezza. Man mano che l’AI interagisce sempre più con il mondo fisico attraverso IoT e sensori, la necessità di interfacce naturali ed efficienti — come la voce, i gesti e altri input non tradizionali — diventa critica. L’AI al margine è questione di ridefinire come gli utenti interagiscono con il mondo digitale in modo fluido.

Può condividere alcuni dettagli sul lavoro di Aizip con aziende come Softbank?

Abbiamo recentemente collaborato con SoftBank in un progetto di acquacoltura che ha vinto un premio CES — uno di cui siamo particolarmente orgogliosi. Abbiamo sviluppato un modello AI efficiente e basato su edge per un’applicazione di conteggio del pesce che può essere utilizzata dagli operatori di allevamenti di pesce. Questa soluzione affronta una sfida critica nell’allevamento del pesce che può creare problemi di sostenibilità, sprechi di cibo e profitti. L’industria è stata lenta nell’adottare l’AI come soluzione a causa della mancanza di alimentazione e connettività affidabili in mare, rendendo le soluzioni AI basate su cloud impraticabili.

Per risolvere questo problema, abbiamo sviluppato una soluzione basata su dispositivo. Abbiamo combinato le simulazioni di grafica computerizzata di SoftBank per i dati di allenamento con i nostri modelli AI compatti e creato un sistema altamente preciso che funziona su smartphone. Nei test in acqua, ha raggiunto un tasso di riconoscimento del 95%, migliorando notevolmente l’accuratezza del conteggio del pesce. Ciò ha consentito ai produttori di ottimizzare le condizioni di stoccaggio, determinare se i pesci dovessero essere trasportati vivi o congelati e rilevare potenziali malattie o altri problemi di salute nel pesce.

Quella svolta migliora l’efficienza, riduce i costi e riduce la dipendenza dal lavoro manuale. Più in generale, mostra come l’AI possa avere un impatto tangibile sui problemi del mondo reale.

Aizip ha introdotto il concetto di “AI Nanofactory”. Potrebbe spiegare cosa significa e come automa lo sviluppo dei modelli AI?

L’AI Nanofactory è la nostra pipeline di automazione della progettazione AI interna, ispirata all’Automazione della Progettazione Elettronica (EDA) nella produzione di semiconduttori. Lo sviluppo iniziale in qualsiasi campo emergente coinvolge molto lavoro manuale, quindi l’automazione diventa chiave per accelerare i progressi e scalare le soluzioni man mano che il campo matura.

Invece di utilizzare semplicemente l’AI per accelerare altri settori, ci siamo chiesti: può l’AI accelerare il proprio sviluppo? L’AI Nanofactory automa ogni fase dello sviluppo del modello AI, dalla elaborazione dei dati alla progettazione dell’architettura, dalla selezione del modello all’addestramento, dalla quantizzazione alla distribuzione e al debugging. Sfruttando l’AI per ottimizzare se stessa, siamo stati in grado di ridurre il tempo di sviluppo per nuovi modelli di un fattore medio di 10. In alcuni casi, di oltre 1.000 volte. Ciò significa che un modello che una volta richiedeva più di un anno per essere sviluppato può ora essere creato in poche ore.

Un altro vantaggio è che questa automazione assicura anche che le soluzioni AI siano economicamente sostenibili per una vasta gamma di applicazioni, rendendo il dispiegamento dell’AI nel mondo reale più accessibile e scalabile.

Come vede l’evoluzione del ruolo dell’AI edge nei prossimi cinque anni?

L’AI edge promette di trasformare il modo in cui interagiamo con la tecnologia, simile a come gli smartphone hanno rivoluzionato l’accesso a Internet. La maggior parte delle applicazioni AI oggi è basata su cloud, ma questo sta iniziando a cambiare man mano che l’AI si avvicina ai sensori e ai dispositivi che interagiscono con il mondo fisico. Questo spostamento sottolinea la necessità critica di un’elaborazione efficiente in tempo reale al margine.

Nei prossimi cinque anni, ci aspettiamo che l’AI edge consenta interazioni uomo-macchina più naturali, come il riconoscimento vocale e gestuale e altre interfacce intuitive, che rimuoveranno la dipendenza dalle barriere tradizionali come tastiere e schermi touch. L’AI è anche destinata a essere più integrata in ambienti quotidiani come le case intelligenti o l’automazione industriale per consentire la presa di decisioni in tempo reale con minima latenza.

Un’altra tendenza chiave sarà l’aumento dell’autonomia dei sistemi AI edge. I modelli AI diventeranno più auto-ottimizzanti e adattivi grazie ai progressi nell’automazione del tipo AI Nanofactory, quindi saranno in grado di ridurre la necessità di intervento umano nel dispiegamento e nella manutenzione. Ciò aprirà nuove opportunità in una serie di settori come la sanità, l’automobilistico e l’agricoltura.

Quali sono alcuni dispositivi AI in arrivo da Aizip che è più entusiasta?

Stiamo lavorando per espandere i casi d’uso per i nostri modelli in nuovi settori e uno che ci entusiasma particolarmente è un agente AI per il settore automobilistico. C’è una crescente tendenza, in particolare tra i costruttori automobilistici cinesi, a sviluppare assistenti vocali alimentati da modelli di linguaggio che si sentono più come ChatGPT all’interno dell’abitacolo. La sfida è che la maggior parte degli assistenti vocali attuali dipende ancora dal cloud, specialmente per il dialogo naturale e flessibile. Solo i compiti di controllo dei comandi di base (come “accendi il condizionatore” o “apri il bagagliaio”) di solito funzionano localmente sul veicolo, e la natura rigida di quei comandi può diventare una distrazione per i guidatori se non li hanno memorizzati con precisione assoluta.

Abbiamo sviluppato una serie di agenti AI ultra-efficienti e alimentati da SLM chiamati Gizmo che sono attualmente utilizzati in una serie di applicazioni per diversi settori e stiamo lavorando per distribuirli come “co-piloti” per veicoli. Gizmo è stato addestrato a comprendere l’intento in modo più sfumato e, quando funge da agente AI del veicolo, potrebbe eseguire comandi attraverso un linguaggio conversazionale e libero. Ad esempio, l’agente potrebbe regolare la temperatura dell’abitacolo se il guidatore semplicemente dice “Ho freddo” o rispondere a una richiesta come “Domani vado a Boston, cosa dovrei indossare?” controllando le previsioni del tempo e offrendo una suggerimento.

Perché funzionano localmente e non dipendono dal cloud, questi agenti continuano a funzionare nelle aree morte o in zone con scarsa connettività, come tunnel, montagne o strade rurali. Migliorano anche la sicurezza fornendo ai guidatori il controllo totale della voce senza distogliere l’attenzione dalla strada. E, a parte questo, sto anche lavorando per mettere in produzione un modello di karaoke alimentato da AI per veicoli e altoparlanti Bluetooth, che funziona localmente come il co-pilota. Fondamentalmente, prende qualsiasi input audio e rimuove le voci umane, consentendo di creare una versione karaoke di qualsiasi canzone in tempo reale. Quindi, oltre ad aiutare i clienti a gestire più sicuramente i controlli in auto, stiamo anche cercando modi per rendere l’esperienza più divertente.

Queste soluzioni, quelle che fanno una differenza significativa nella vita quotidiana delle persone, sono quelle di cui siamo più orgogliosi.

Aizip sviluppa soluzioni AI ultra-efficienti ottimizzate per dispositivi edge, offrendo modelli compatti per applicazioni di visione, audio, serie temporali, linguaggio e fusione di sensori. I suoi prodotti abilitano attività come il riconoscimento di volti e oggetti, il riconoscimento di parole chiave, l’analisi ECG/EEG e i chatbot su dispositivo, tutti alimentati da TinyML. Attraverso la sua piattaforma di nanofabbrica AI, Aizipline, l’azienda accelera lo sviluppo di modelli utilizzando modelli fondamentali e generativi per spingere verso l’automazione completa della progettazione AI. La serie di modelli di linguaggio piccoli di Aizip (300M-2B parametri) supporta una vasta gamma di dispositivi, portando capacità intelligenti al margine.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Aizip.