Un’atmosfera anni ’70 per il monitoraggio dell’energia conservante dell’AI

Nuove ricerche mostrano che la maggior parte dell’AI video non ha bisogno di colore, attivandolo solo in momenti chiave e riducendo l’utilizzo dei dati di oltre il 90% con una perdita di accuratezza minima.

Le telecamere di streaming remote e altri dispositivi video senza fili, alimentati a batteria, richiedono setup di monitoraggio ottimizzati, poiché potrebbero dipendere da fonti di alimentazione instabili – come il solare – o richiedere ricariche periodiche, o altre forme di intervento umano, in situazioni in cui, idealmente, non dovrebbe essere necessaria la presenza di nessuno.

In concomitanza con questa linea di ricerca, l’interesse per i dispositivi indossabili dotati di telecamera è cresciuto (anche se tali dispositivi erano già strettamente limitati da limiti di potenza e calcolo), poiché l’edge AI ora promette di renderli significativamente più utili.

Oltre a queste considerazioni, l’impulso a lungo termine per ridurre i costi dell’edge AI e del monitoraggio (in particolare nei casi in cui tali risparmi non devono essere passati al cliente) fa un caso convincente per l’innovazione negli approcci di conservazione dell’energia per i casi d’uso “edge”.

Sound Off

Nel campo del sensing video in streaming, i dispositivi di monitoraggio edge a risorse limitate devono utilizzare la minima quantità di energia possibile, spendendo comunque abbastanza potenza per monitorare gli eventi “interessanti” – al quale punto, sarà valsa la pena spendere più risorse.

Effettivamente, questo è un caso d’uso simile ai sistemi di illuminazione azionati dal movimento, che forniscono illuminazione solo quando i sensori a basso consumo di energia determinano che c’è qualcuno lì per apprezzarla.

Dal momento che il monitoraggio e la compressione audio sono notevolmente meno intensivi in termini di risorse rispetto al video, diversi approcci negli ultimi anni hanno tentato di utilizzare segnali audio per “attivare” l’attenzione nei sistemi limitati; framework come Listen to Look e Egotrigger:

Nel sistema Egotrigger, l’attivazione audio-selettiva attiva la cattura dell’immagine dai segnali di interazione tra mano e oggetto, riducendo i frame ridondanti e preservando le prestazioni della memoria episodica nei sistemi di occhiali intelligenti a risorse limitate. Fonte

È chiaro che l’audio non è il mezzo ideale per cercare eventi visivi, poiché molti di tali eventi essenziali potrebbero non avere un segnale audio associato o potrebbero verificarsi fuori dalla portata dei microfoni edge.

Light Sleeper

Cosa potrebbe essere meglio, suggerisce un nuovo studio, è un flusso video che possa lavorare insieme all’AI per aumentare le risorse non appena si verifica un evento monitorato. La simulazione seguente* dà un’idea generale del concetto – il monitoraggio a bassa risoluzione viene mantenuto al livello di segnale minimo necessario per rilevare gli oggetti e per dire al sistema di aumentare la risoluzione a causa dell’attivazione di un evento:

Una simulazione del comportamento desiderato – che lo streaming e l’analisi operino al livello di consumo di risorse più basso per default; solo abbastanza per attivare un consumo di risorse più elevate quando vengono rilevati eventi “interessanti” o ricercati nel flusso in scala di grigi. Lo stile di sorveglianza in bianco e nero potrebbe essere piuttosto “retro”, ma potrebbe essere un segno di ciò che verrà. Questo video è stato creato dall’autore solo a scopo illustrativo in relazione alle idee centrali del nuovo studio. Fonte:

Il nuovo studio, una collaborazione accademica tra varie istituzioni del Regno Unito e Huawei, propone uno schema di monitoraggio edge senza addestramento, facilitato dall’AI, grigio-sempre, colore-su-richiesta – progettato per funzionare a basso utilizzo di token quando non si verificano “eventi chiave” e per aumentare il consumo solo per la durata dell’evento.

Nelle prove di comprensione video in streaming, il nuovo sistema, chiamato ColorTrigger, è stato in grado di raggiungere il 91,6% delle prestazioni della linea di base a colore pieno utilizzando solo l’8,1% dei frame RGB in quegli standard:

Quando il modello vede solo il video in scala di grigi, confonde i dettagli chiave e fornisce risposte errate; ma attivare il colore nei momenti giusti chiarisce l’immagine e corregge gli errori scatenati da attività che dipendono dal colore. Fonte

Il nuovo studio si intitola Colore quando conta: attivazione online guidata da scala di grigi per sensazione video in streaming sempre attiva, e proviene da otto ricercatori di Queen Mary University of London, Durham University, Imperial College London e Huawei Noah’s Ark Lab. Lo studio ha anche una pagina del progetto.

Method

Per preservare la struttura temporale nel nuovo sistema, ColorTrigger mantiene una sorveglianza costante a bassa larghezza di banda in scala di grigi. Un trigger online causale analizza una finestra mobile (ovvero, un intervallo di tempo flessibile attorno a un particolare momento, come il rilevamento di un trigger di evento) del flusso a bassa risoluzione:

La cattura continua di RGB ad alta risoluzione esaurisce rapidamente la potenza, quindi la registrazione si ferma presto e i momenti chiave possono essere persi. Al contrario, ColorTrigger mantiene un flusso in scala di grigi a bassa potenza in esecuzione in ogni momento e attiva la fotocamera RGB solo in momenti selezionati – estendendo il tempo di registrazione, mentre si catturano ancora i dettagli visivi necessari per rispondere a future query. Fonte

Mentre il sistema è in modalità “passiva” (ovvero, non ha ancora identificato un trigger di evento), il suo router di token dinamico assegna una capacità limitata a un decodificatore asimmetrico, cercando sempre ridondanza e eventi che indichino novità, al quale punto il flusso di token ripriorizza la capacità rispetto alla compressione:

Schema per ColorTrigger. Il sistema monitora un’analisi a finestra mobile dei frame recenti per rilevare ridondanza e cambiamento, attivando la cattura di RGB ad alta risoluzione solo quando necessario, in base a un budget basato su crediti. Un router di token dinamico assegna meno token agli input in scala di grigi e di più ai frame RGB selezionati, preservando l’ordine temporale per l’elaborazione del modello di linguaggio multimodale (MLLM) a valle.

A livello di frame, il sistema deve decidere se l’attuale momento contiene nuove informazioni che valgono la pena del costo della cattura del colore. La breve storia recente dei frame in scala di grigi nella finestra mobile consente a ColorTrigger di confrontare l’attuale frame con il suo immediato passato. Ogni frame viene convertito in una rappresentazione di caratteristiche compatta, e queste caratteristiche vengono confrontate tra loro per misurare quanto sono simili o diversi i loro frame di origine.

Questo processo di confronto è organizzato in una struttura che riassume quanto ogni frame si sovrappone con gli altri, catturando efficacemente se la scena si ripete o cambia. Un passaggio di ottimizzazione leggero assegna un punteggio di importanza a ogni frame nella finestra, favorendo la novità.

Color Balance

Per evitare un uso eccessivo del colore, un semplice sistema di “crediti” limita quante volte il colore può essere attivato nel tempo. I crediti si accumulano gradualmente e vengono spesi quando viene richiesto il colore, assicurando che siano consenti scoppi di attività, ma l’utilizzo complessivo rimanga controllato. Un frame viene “aggiornato” al colore solo se è sia informativo che se ci sono abbastanza crediti disponibili.

Il Dynamic Token Router controlla quanto dettaglio ogni frame riceve, invece di elaborare ogni frame alla piena qualità. Quando non viene rilevato nulla di importante, il frame in scala di grigi viene mantenuto a bassa risoluzione e trasformato in un insieme compresso di token. Quando viene rilevato un momento importante, il sistema passa al colore e elabora quel frame a risoluzione più alta, offrendo una rappresentazione più ricca e dettagliata.

Entrambi i tipi di frame vengono elaborati dallo stesso modello, ma i frame in scala di grigi vengono gestiti in modo più leggero, mentre i frame RGB selezionati ricevono più attenzione. I risultati vengono quindi combinati nel loro ordine originale e inviati al modello come flusso continuo.

Poiché la maggior parte dei frame rimane leggera e solo alcuni vengono aggiornati, il sistema risparmia una grande quantità di calcolo mentre cattura ancora i dettagli chiave quando contano:

Dallo studio, un altro esempio in cui il sistema deve temporaneamente aumentare le risorse per distinguere un colore.

Dati e test

Per testare il sistema, i ricercatori hanno valutato contro il benchmark di video StreamingBench e OVO-Bench, evitando l’elaborazione di contenuto futuro (che è un potenziale pericolo nei test offline).

Il modello di linguaggio multimodale (MLLM) congelato utilizzato è stato InternVL3.5-8B-Instruct, con il trigger causale implementato tramite CLIP ViT-B/16.

Il flusso in scala di grigi è stato limitato al canale di luminanza nello spazio colore CIELAB, in conformità con lavori precedenti, con i frame in scala di grigi risultanti ridimensionati a 224x224px prima della patchification (la divisione di un’immagine in blocchi di dimensioni fisse, in modo che ogni blocco possa essere elaborato come unità separata dal modello).

I frame RGB, al contrario, hanno goduto di un bitrate più alto e sono stati elaborati a 448x448px, producendo 256 token, a differenza dei 64 token prodotti per i frame in scala di grigi.

Strumenti di ottimizzazione comuni sono stati utilizzati per prendere le decisioni del sistema: CVXPY (una libreria Python per impostare problemi di ottimizzazione) e OSQP Solver (un algoritmo veloce che calcola quando attivare il colore).

Il video è stato elaborato a 1fps, con un limite di 128 frame per clip, per mantenere basso il calcolo.

I sistemi proprietari testati sono stati Gemini 1.5 Pro; GPT-4o; e Claude 3.5 Sonnet. I modelli di linguaggio multimodale (MLLM) video open source testati sono stati LLaVA-OneVision-7B; Video-LLaMA2-7B; e Qwen2.5-VL-7B.

I modelli di linguaggio multimodale (MLLM) di streaming testati sono stati Flash-VStream-7B; VideoLLM-online-8B; Dispider-7B; e TimeChat-Online-7B.

InternVL-3.5-8B e Qwen3-VL-8B sono stati testati in varie configurazioni, dettagliate nella prima tabella dei risultati di seguito, relativamente a StreamingBench:

Prestazioni su StreamingBench per compiti di comprensione visiva in tempo reale, confrontando modelli di linguaggio multimodale (MLLM) proprietari, open source e di streaming con diversi budget di colore. RGB (%) indica la percentuale di frame mantenuti a colore dopo l’attivazione, dove 100 denota colore pieno e 0 denota input in scala di grigi solo. ColorTrigger è valutato a due punti di funzionamento, mantenendo l’8,1% e il 34,3% dei frame RGB, e dimostra una precisione complessiva migliorata rispetto alla baseline in scala di grigi InternVL-3.5-8B mentre riduce sostanzialmente l’utilizzo del colore rispetto all’impostazione a colore pieno.

Qui gli autori commentano:

‘ColorTrigger raggiunge prestazioni competitive nel compito di comprensione visiva in tempo reale di StreamingBench.

‘Il nostro modello con il 34,3% dei frame RGB ottiene un punteggio di 75,24, superando il modello online recente Dispider-7B e vicino a TimeChat-Online-7B, mentre è paragonabile ai modelli proprietari come Gemini 1.5 Pro (75,69) e supera GPT-4o (73,28) e Claude 3.5 Sonnet (72,44).’

InternVL-3.5-8B ha ottenuto un punteggio di 77,20 utilizzando il colore pieno, mentre ColorTrigger ha raggiunto un punteggio di 75,24 utilizzando il 65,7% in meno di frame RGB – e anche con solo l’8,1% dei frame RGB, ha ottenuto un punteggio di 70,72, superando la baseline in scala di grigi di 62,08 del 8,64% e rimanendo competitivo con altri modelli di streaming.

Successivamente, è stato testato OVO-Bench:

Prestazioni su OVO-Bench in tre categorie: percezione visiva in tempo reale, tracciamento all’indietro e risposta attiva in avanti, confrontando modelli di linguaggio multimodale (MLLM) proprietari, open source e di streaming con diversi budget di colore. RGB (%) indica la percentuale di frame mantenuti a colore dopo l’attivazione, dove 100 denota colore pieno e 0 denota input in scala di grigi solo. ColorTrigger è valutato a due punti di funzionamento, mantenendo il 7,1% e il 33,1% dei frame RGB, e mostra una precisione complessiva migliorata rispetto alla baseline in scala di grigi InternVL-3.5-8B mentre riduce sostanzialmente l’utilizzo del colore rispetto all’impostazione a colore pieno.

Di questi risultati, gli autori affermano:

‘Il nostro modello con il 33,1% dei frame RGB ottiene un punteggio complessivo di 52,5, superando quasi tutti i modelli di linguaggio multimodale (MLLM) open source esistenti. Rispetto al modello di base InternVL-3.5-8B con input RGB pieno (57,7), ColorTrigger ottiene un punteggio di 52,5 mentre riduce l’utilizzo dei frame RGB del 66,9%, rappresentando solo un calo di 5,2 punti nelle prestazioni complessive.

‘Questo modesto degrado è accompagnato da sostanziali guadagni in efficienza, dimostrando l’efficacia della nostra strategia di routing adattivo.’

La percezione visiva in tempo reale ha raggiunto un punteggio di 65,2 – un guadagno di 11,4 punti rispetto alla baseline in scala di grigi di 53,8. Anche quando limitato a solo il 7,1% dei frame RGB (una riduzione del 92,9%), ColorTrigger ha mantenuto un punteggio complessivo di 50,4, migliorando l’impostazione in scala di grigi di 2,5 punti.

Infine, i ricercatori hanno condotto un test contro un compito video offline (un compito analitico non progettato per testare la latenza o altre condizioni “live”, utilizzando il benchmark di comprensione video a lungo termine Video-MME:

Confronto delle prestazioni dei sistemi testati sul benchmark Video-MME.

Nel test, il modello ha raggiunto un punteggio complessivo di 66,1, utilizzando il 37,6% dei frame RGB, superando il punteggio di base di InternVL-3.5-8B di 65,6, nonostante abbia utilizzato il 62,4% in meno di frame RGB.

Gli autori commentano:

‘Ciò dimostra che il nostro meccanismo di attivazione adattivo non solo riduce il costo computazionale, ma può effettivamente migliorare le prestazioni concentrandosi sulla capacità RGB nei momenti semanticamente critici.

‘In particolare, ColorTrigger supera tutti i modelli di linguaggio multimodale (MLLM) online esistenti, inclusi TimeChat-Online-7B a 62,4 e Dispider-7B a 57,2, confermando l’efficacia della combinazione di contesto in scala di grigi continuo con acquisizione RGB selettiva per la comprensione video a lungo termine.’

Conclusione

Mi piace sempre vedere innovazioni di questo tipo, non solo perché l’AI ha un alto e crescente bisogno di potenza elettrica, e quindi è bello vedere ricerche che affrontano indirettamente il problema.

È confortante sapere che i risparmi di potenza realizzati in tali iniziative sono motivati da considerazioni commerciali, poiché queste sono meno probabili di essere influenzate da decisioni politiche a breve termine rispetto alle preoccupazioni più nobili, ma più vulnerabili, sulla conservazione dell’energia e il riscaldamento globale. Fortunatamente, lo stesso obiettivo viene raggiunto, per ragioni diverse.

* Creata da me, solo per riassumere l’idea dello studio per il lettore.

Pubblicata per la prima volta giovedì 26 marzo 2026