L’IA rivela l’attività segreta rivelata dalle pareti vuote

Una collaborazione di ricerca, che include contributori di NVIDIA e MIT, ha sviluppato un metodo di apprendimento automatico in grado di identificare persone nascoste semplicemente osservando l’illuminazione indiretta su una parete vicina, anche quando le persone non sono vicine alle fonti di luce. Il metodo ha un’accuratezza vicina al 94% nel tentativo di identificare il numero di persone nascoste e può anche identificare l’attività specifica di una persona nascosta amplificando massicciamente i rimbalzi di luce che sono invisibili agli occhi umani e ai metodi standard di amplificazione delle immagini.

Perturbazioni impercettibili di luce, amplificate dal nuovo metodo, che utilizza reti neurali convoluzionali per identificare aree di cambiamento. Fonte: https://www.youtube.com/watch?v=K4PapXyX-bI

Il nuovo documento è intitolato Cosa puoi imparare guardando una parete vuota, con contributi di NVIDIA e MIT, nonché dell’Istituto di tecnologia di Israele.

Approcci precedenti per “vedere intorno alle pareti” si sono basati su fonti di luce controllabili o su conoscenze pregresse di fonti di oscuramento note, mentre la nuova tecnica può generalizzare a qualsiasi nuova stanza, senza richiedere una ricallibratura. Le due reti neurali convoluzionali che individuano le persone nascoste hanno utilizzato dati ottenuti da sole 20 scene.

Il progetto è rivolto a situazioni ad alto rischio, critiche per la sicurezza, per operazioni di ricerca e salvataggio, compiti di sorveglianza della polizia, scenari di risposta alle emergenze, per la rilevazione delle cadute tra gli anziani e come mezzo per rilevare pedoni nascosti per veicoli autonomi.

Valutazione passiva

Come spesso accade nei progetti di visione artificiale, il compito centrale era quello di identificare, classificare e operazionalizzare i cambiamenti di stato percepiti in un flusso di immagini. Concatenare i cambiamenti porta a modelli di firma che possono essere utilizzati per identificare un numero di individui o per rilevare l’attività di uno o più individui.

Il lavoro apre la possibilità di una valutazione della scena completamente passiva, senza la necessità di utilizzare superfici riflettenti, segnali Wi-Fi, radar, suono o altre “circostanze speciali” richieste in altri sforzi di ricerca degli ultimi anni che hanno cercato di stabilire la presenza umana nascosta in un ambiente pericoloso o critico.

Un esempio di scenario di raccolta dei dati utilizzato per la nuova ricerca. I soggetti sono posizionati con cura per non gettare ombre o oscurare direttamente le luci, e non sono ammesse superfici riflettenti o altri “vettori di imbroglio”. Fonte: https://arxiv.org/pdf/2108.13027.pdf

In effetti, la luce ambientale per lo scenario tipico previsto per l’applicazione sovrasterebbe qualsiasi perturbazione minore causata dalla luce riflessa dalle persone nascoste altrove nella scena. I ricercatori calcolano che il contributo di perturbazione della luce degli individui sarebbe tipicamente inferiore all’1% della luce totale visibile.

Rimozione dell’illuminazione statica

Per estrarre il movimento da un’immagine di parete apparentemente statica, è necessario calcolare la media temporale del video e rimuoverla da ogni frame. I modelli di movimento risultanti sono di solito al di sotto della soglia di rumore anche di attrezzature video di buona qualità, e in effetti gran parte del movimento si verifica all’interno di uno spazio di pixel negativo.

Per rimediare a ciò, i ricercatori campionano il video con un fattore di 16 e lo ingrandiscono con un fattore di 50, aggiungendo un livello di grigio medio per discernere la presenza di pixel negativi (che non potevano essere contabilizzati dal rumore del sensore video di base).

La differenza tra la parete percepita dall’uomo e la perturbazione estratta di individui nascosti. Poiché la qualità dell’immagine è un problema centrale in questa ricerca, si prega di fare riferimento al video ufficiale alla fine dell’articolo per un’immagine di qualità superiore.

La finestra di opportunità per percepire il movimento è molto fragile e può essere influenzata anche dal flicker delle luci a frequenza di 60 Hz AC. Pertanto, anche questa perturbazione naturale deve essere valutata e rimossa dal footage prima che emerga il movimento indotto dalle persone.

Infine, il sistema produce tracciati spazio-temporali che segnalano un numero specifico di abitanti della stanza nascosti – firme visive discrete:

Tracciati spazio-temporali di firma che rappresentano diversi numeri di persone nascoste in una stanza.

Diverse attività umane produrranno anche perturbazioni di firma che possono essere classificate e successivamente riconosciute:

I tracciati spazio-temporali di firma per inattività, camminata, accosciamento, oscillazione delle mani e salto.

Al fine di produrre un flusso di lavoro automatizzato basato sull’apprendimento automatico per il riconoscimento di persone nascoste, sono stati utilizzati footage variati da 20 scenari appropriati per addestrare due reti neurali che operano su configurazioni ampiamente simili – una per contare il numero di persone in una scena e l’altra per identificare eventuali movimenti che si verificano.

Test

I ricercatori hanno testato il sistema addestrato in dieci ambienti reali non visti progettati per ricreare le limitazioni anticipate per il dispiegamento finale. Il sistema è stato in grado di raggiungere un’accuratezza del 94,4% (su 256 frame – circa 8 secondi di video) nella classificazione del numero di persone nascoste e un’accuratezza del 93,7% (nelle stesse condizioni) nella classificazione delle attività. Sebbene l’accuratezza scenda con meno frame di origine, non è una diminuzione lineare e anche 64 frame possono raggiungere un tasso di accuratezza del 79,4% per la valutazione del “numero di persone” (contro quasi il 95% per quattro volte il numero di frame).

Sebbene il metodo sia robusto ai cambiamenti nella luce dovuti al tempo, fatica in una scena illuminata da una televisione, o in circostanze in cui le persone indossano abbigliamento monocromatico dello stesso colore della parete riflettente.

Ulteriori dettagli della ricerca, compreso il footage di qualità superiore delle estrazioni, possono essere visti nel video ufficiale qui sotto.