Apprendimento sul dispositivo per tutta la vita più vicino con una nuova tecnica di formazione

Un team di ricercatori al MIT e al MIT-IBM Watson AI Lab ha sviluppato una nuova tecnica che consente la formazione sul dispositivo utilizzando meno di un quarto di megabyte di memoria. La nuova scoperta è un risultato impressionante, poiché altre soluzioni di formazione richiedono generalmente più di 500 megabyte di memoria, che supera la capacità di 256 kilobyte della maggior parte dei microcontroller.

Formando un modello di apprendimento automatico su un dispositivo intelligente edge, è possibile adattarlo a nuovi dati e fare previsioni migliori. Tuttavia, il processo di formazione richiede generalmente molta memoria, quindi viene spesso eseguito su computer in un centro dati prima di distribuire il modello sul dispositivo. Questo processo è molto più costoso e solleva preoccupazioni sulla privacy rispetto alla nuova tecnica sviluppata dal team.

I ricercatori hanno sviluppato gli algoritmi e la struttura in modo da ridurre la quantità di calcolo necessaria per formare un modello, rendendo il processo più veloce e più efficiente in termini di memoria. La tecnica può aiutare a formare un modello di apprendimento automatico su un microcontroller in pochi minuti.

La nuova tecnica aiuta anche con la privacy, poiché mantiene i dati sul dispositivo, il che è importante quando sono coinvolti dati sensibili. Allo stesso tempo, la struttura migliora l’accuratezza del modello rispetto ad altri approcci.

Song Han è un professore associato nel Dipartimento di Ingegneria Elettrica e Informatica (EECS), un membro del MIT-IBM Watson AI Lab e autore principale della ricerca.

“Il nostro studio consente ai dispositivi IoT di non solo eseguire inferenze, ma anche di aggiornare continuamente i modelli di intelligenza artificiale con i nuovi dati raccolti, aprendo la strada all’apprendimento sul dispositivo per tutta la vita”, ha detto Han. “L’utilizzo delle risorse ridotto rende l’apprendimento profondo più accessibile e può avere un impatto più ampio, soprattutto per i dispositivi edge a basso consumo.”

Il documento include gli autori principali e gli studenti di dottorato di EECS Ji Lin e Ligeng Zhu, e i postdottorandi del MIT Wei-Ming Chen e Wei-Chen Wang. Include anche Chuang Gan, un membro del personale di ricerca principale del MIT-IBM Watson AI Lab.

Rendendo il processo di formazione più efficiente

Per rendere il processo di formazione più efficiente e meno intensivo in termini di memoria, il team ha fatto affidamento su due soluzioni algoritmiche. La prima è nota come aggiornamento sparso, che utilizza un algoritmo che identifica i pesi più importanti da aggiornare durante ogni round di formazione. L’algoritmo congela i pesi uno alla volta fino a quando l’accuratezza non scende al di sotto di una certa soglia, a quel punto si ferma. I pesi rimanenti vengono quindi aggiornati e le attivazioni corrispondenti ai pesi congelati non devono essere memorizzate nella memoria.

“Aggiornare l’intero modello è molto costoso perché c’è molta attivazione, quindi le persone tendono ad aggiornare solo l’ultimo livello, ma come puoi immaginare, questo danneggia l’accuratezza”, ha detto Han. “Per il nostro metodo, selezioniamo i pesi importanti e ci assicuriamo che l’accuratezza sia completamente preservata.”

La seconda soluzione sviluppata dal team coinvolge la formazione quantizzata e la semplificazione dei pesi. Un algoritmo arrotonda i pesi a soli 8 bit attraverso un processo di quantizzazione, che riduce anche la quantità di memoria per la formazione e l’inferenza, con l’inferenza che è il processo di applicazione di un modello a un set di dati e la generazione di una previsione. L’algoritmo si basa quindi su una tecnica chiamata scalatura consapevole della quantizzazione (QAS), che agisce come un moltiplicatore per regolare il rapporto tra peso e gradiente. Ciò aiuta a evitare qualsiasi calo di accuratezza che potrebbe derivare dalla formazione quantizzata.

I ricercatori hanno sviluppato un sistema chiamato motore di formazione tiny, che esegue le innovazioni algoritmiche su un microcontroller semplice senza sistema operativo. Per completare più lavoro nella fase di compilazione, prima della distribuzione del modello sul dispositivo edge, il sistema cambia l’ordine dei passaggi nel processo di formazione.

“Spingiamo molti calcoli, come l’auto-differenziazione e l’ottimizzazione del grafico, al momento della compilazione. Riduciamo anche aggressivamente gli operatori ridondanti per supportare gli aggiornamenti sparsi. Una volta in esecuzione, abbiamo molto meno carico di lavoro da fare sul dispositivo”, dice Han.

Tecnica altamente efficiente

Mentre le tecniche tradizionali progettate per la formazione leggera richiederebbero normalmente intorno a 300-600 megabyte di memoria, l’ottimizzazione del team ha richiesto solo 157 kilobyte per formare un modello di apprendimento automatico su un microcontroller.

La struttura è stata testata formando un modello di visione computerizzata per rilevare le persone nelle immagini e ha imparato a completare questo compito in soli 10 minuti. Il metodo è stato in grado di formare un modello più di 20 volte più veloce rispetto ad altri metodi.

I ricercatori cercheranno ora di applicare le tecniche ai modelli di linguaggio e a diversi tipi di dati. Vogliono anche utilizzare le conoscenze acquisite per ridurre i modelli più grandi senza perdita di accuratezza, il che potrebbe anche aiutare a ridurre l’impronta di carbonio della formazione di modelli di apprendimento automatico su larga scala.