Come Tenere Freschi gli Smartphone Quando Eseguono Modelli di Apprendimento Automatico

I ricercatori dell’Università di Austin e di Carnegie Mellon hanno proposto un nuovo modo per eseguire modelli di apprendimento automatico computazionalmente costosi su dispositivi mobili come gli smartphone e su dispositivi edge a bassa potenza, senza attivare il throttling termico – un meccanismo di protezione comune nei dispositivi professionali e consumer, progettato per abbassare la temperatura del dispositivo host rallentando le sue prestazioni, fino a quando non vengono raggiunte temperature di funzionamento accettabili.

Il nuovo approccio potrebbe aiutare modelli di apprendimento automatico più complessi a eseguire inferenza e vari altri tipi di attività senza minacciare la stabilità, ad esempio, dello smartphone host.

L’idea centrale è quella di utilizzare reti dinamiche, in cui i pesi di un modello possono essere accessibili sia da una versione “a bassa pressione” che da una versione “a intensità completa” del modello di apprendimento automatico locale.

In casi in cui l’esecuzione del modello di apprendimento automatico locale potrebbe causare un aumento critico della temperatura del dispositivo, il modello si passerà dinamicamente a un modello meno esigente fino a quando la temperatura non sarà stabilizzata, e poi si passerà nuovamente alla versione completa.

I compiti di test consistevano in un lavoro di classificazione di immagini e in un compito di inferenza linguistica naturale (QNLI) – entrambi i tipi di operazione che probabilmente coinvolgono le applicazioni di intelligenza artificiale mobile. Fonte: https://arxiv.org/pdf/2206.10849.pdf

I ricercatori hanno condotto test di prova per modelli di visione computerizzata e di elaborazione del linguaggio naturale su uno smartphone Honor V30 Pro del 2019 e su un Raspberry Pi 4B 4GB.

Dai risultati (per lo smartphone), possiamo vedere nell’immagine in basso la temperatura del dispositivo host che sale e scende con l’uso. Le linee rosse rappresentano un modello che esegue senza Dynamic Shifting.

Sebbene i risultati possano sembrare molto simili, non lo sono: ciò che causa l’oscillazione della temperatura per le linee blu (ossia utilizzando il nuovo metodo) è il passaggio avanti e indietro tra versioni di modelli più semplici e più complessi. In nessun momento dell’operazione si attiva il throttling termico.

Ciò che causa l’aumento e la diminuzione della temperatura nel caso delle linee rosse è l’attivazione automatica del throttling termico nel dispositivo, che rallenta l’esecuzione del modello e aumenta la sua latenza.

Per quanto riguarda l’usabilità del modello, possiamo vedere nell’immagine in basso che la latenza per il modello non aiutato è significativamente più alta mentre è soggetto a throttling termico:

Allo stesso tempo, l’immagine in alto mostra quasi nessuna variazione nella latenza per il modello gestito da Dynamic Shifting, che rimane reattivo in tutto.

Per l’utente finale, una latenza alta può significare un aumento del tempo di attesa, il che può causare l’abbandono di un’attività e insoddisfazione per l’app che la ospita.

Nel caso dei sistemi di elaborazione del linguaggio naturale (piuttosto che della visione computerizzata), i tempi di risposta alti possono essere ancora più inquietanti, poiché le attività possono dipendere da risposte rapide (come la traduzione automatica o le utility per aiutare gli utenti disabili).

Per le applicazioni realmente critiche per il tempo – come la realtà virtuale o aumentata in tempo reale – una latenza alta ucciderebbe efficacemente l’utilità fondamentale del modello.

I ricercatori affermano:

‘Sosteniamo che il throttling termico rappresenta una minaccia seria per le applicazioni di apprendimento automatico mobile che sono critiche per la latenza. Ad esempio, durante la rendering visiva in tempo reale per lo streaming video o il gaming, un’improvvisa impennata della latenza di elaborazione per frame avrebbe un effetto negativo sostanziale sull’esperienza dell’utente. Inoltre, i moderni sistemi operativi mobili spesso forniscono servizi e applicazioni speciali per gli utenti con disabilità visiva, come VoiceOver su iOS e TalkBack su Android. ‘

‘L’utente interagisce tipicamente con i telefoni cellulari affidandosi completamente alla parlata, quindi la qualità di questi servizi dipende fortemente dalla reattività o dalla latenza dell’applicazione.’

Grafici che dimostrano le prestazioni di BERT w50 d50 non aiutato (rosso) e aiutato da Dynamic Shifting (blu). Nota la costanza della latenza in Dynamic Shifting (blu).

L’articolo si intitola Play It Cool: Dynamic Shifting Previene il Throttling Termico ed è una collaborazione tra due ricercatori dell’Università di Austin, uno di Carnegie Mellon e uno che rappresenta entrambe le istituzioni.

Intelligenza Artificiale Mobile Basata su CPU

Sebbene Dynamic Shifting e architetture multi-scala siano un settore di studio stabilito e attivo, la maggior parte delle iniziative si è concentrata su dispositivi computazionali di fascia alta e l’attenzione attuale è divisa tra l’ottimizzazione intensiva delle reti neurali locali (ossia basate sul dispositivo) per scopi di inferenza piuttosto che di formazione e il miglioramento del hardware mobile dedicato.

I test eseguiti dai ricercatori sono stati condotti su CPU piuttosto che su GPU. Nonostante l’aumento dell’interesse nell’utilizzo delle risorse GPU locali nelle applicazioni di apprendimento automatico mobile (e anche la formazione diretta su dispositivi mobili, che potrebbe migliorare la qualità del modello finale), le GPU di solito consumano più energia, un fattore critico nell’effort di rendere l’intelligenza artificiale indipendente (dai servizi cloud) e utile in un dispositivo con risorse limitate.

Test del Condivisio dei Pesi

Le reti testate per il progetto sono state reti sottili e DynaBERT, rappresentanti rispettivamente un compito di visione computerizzata e uno di elaborazione del linguaggio naturale.

Sebbene ci siano state varie iniziative per creare iterazioni di BERT che possano eseguire efficientemente ed economicamente su dispositivi mobili, alcuni di questi tentativi sono stati criticati come soluzioni tortuose e i ricercatori del nuovo articolo notano che utilizzare BERT nello spazio mobile è una sfida e che ‘i modelli BERT in generale sono troppo intensivi dal punto di vista computazionale per i telefoni cellulari’.

DynaBERT è un’iniziativa cinese per ottimizzare il potente framework NLP/NLU di Google nel contesto di un ambiente a risorse limitate; ma anche questa implementazione di BERT, i ricercatori hanno trovato, era molto esigente.

Nonostante ciò, sia sullo smartphone che sul dispositivo Raspberry PI, gli autori hanno eseguito due esperimenti. Nel test di visione computerizzata, un’immagine singola è stata elaborata in modo continuo e ripetitivo in ResNet50 come compito di classificazione e ha potuto eseguire in modo stabile e senza attivare il throttling termico per l’intera ora di esecuzione dell’esperimento.

L’articolo afferma:

‘Sebbene possa sacrificare un po’ di accuratezza, il Dynamic Shifting proposto ha una velocità di inferenza più rapida. La cosa più importante è che il nostro approccio di Dynamic Shifting gode di una costanza di inferenza.’

Esecuzione di ResNet50 non aiutata e con Dynamic Shifting tra Slimmable ResNet50 x1.0 e la versione x0.25 su un compito di classificazione di immagini continuo, per sessanta minuti.

Per i test di NLP, gli autori hanno impostato l’esperimento per passare tra i due modelli più piccoli nella suite DynaBERT, ma hanno scoperto che a 1,4X di latenza, BERT si attiva a circa 70°. Hanno quindi impostato il passaggio a livello inferiore quando la temperatura di funzionamento ha raggiunto 65°.

L’esperimento BERT ha coinvolto l’esecuzione continua dell’installazione su una coppia di domanda/ricezione da ONLI dataset di GLUE.

I compromessi tra latenza e accuratezza sono stati più gravi con il compito BERT ambizioso rispetto all’implementazione di visione computerizzata e l’accuratezza è arrivata a scapito di un bisogno più grave di controllare la temperatura del dispositivo per evitare il throttling:

Latenza vs accuratezza per gli esperimenti dei ricercatori attraverso i due settori di attività.

Gli autori osservano:

‘Dynamic Shifting, in generale, non può prevenire che i modelli BERT attivino il throttling termico a causa dell’enorme intensità computazionale del modello. Tuttavia, sotto alcune limitazioni, il passaggio dinamico può comunque essere utile quando si distribuiscono modelli BERT su telefoni cellulari.’

Gli autori hanno scoperto che i modelli BERT fanno salire la temperatura della CPU del telefono Honor V30 a 80° in meno di 32 secondi e attivano il throttling termico in meno di sei minuti di attività. Pertanto, gli autori hanno utilizzato solo modelli BERT a larghezza intera.

Gli esperimenti sono stati ripetuti sull’impostazione Raspberry PI e la tecnica è stata in grado di prevenire anche in quell’ambiente l’attivazione del throttling termico. Tuttavia, gli autori notano che il Raspberry PI non opera sotto le stesse estreme limitazioni termiche di uno smartphone compatto e sembrano aver aggiunto questo insieme di esperimenti come ulteriore dimostrazione dell’efficacia del metodo in ambienti di elaborazione modestamente attrezzati.

Pubblicato per la prima volta il 23 giugno 2022.