AI scopre l'attività segreta rivelata da Blank Walls

Una collaborazione di ricerca, che comprende collaboratori di NVIDIA e del MIT, ha sviluppato un metodo di apprendimento automatico in grado di identificare le persone nascoste semplicemente osservando l'illuminazione indiretta su un muro vicino, anche quando le persone non si trovano vicino alle fonti di luce illuminanti. Il metodo ha una precisione vicina al 94% quando si tenta di identificare il numero di persone nascoste e può anche identificare l'attività specifica di una persona nascosta amplificando massicciamente i rimbalzi di luce invisibili agli occhi umani e ai metodi standard di amplificazione dell'immagine.

Impercettibili perturbazioni della luce, amplificate dal nuovo metodo, che utilizza reti neurali convoluzionali per identificare aree di cambiamento. Fonte: https://www.youtube.com/watch?v=K4PapXyX-bI

Il nuovo carta è intitolato Cosa puoi imparare fissando un muro bianco, con il contributo di NVIDIA e MIT, nonché dell'Israel Institute of Technology.

Gli approcci precedenti alla "visione intorno ai muri" si basavano su fonti di luce controllabili o su conoscenze precedenti di fonti note di occlusione, mentre la nuova tecnica può essere generalizzata a qualsiasi nuova stanza, senza necessità di ricalibrazione. Le due reti neurali convoluzionali che individuano le persone nascoste hanno utilizzato dati ottenuti da sole 20 scene.

Il progetto è rivolto a situazioni ad alto rischio e critiche per la sicurezza, per operazioni di ricerca e soccorso, compiti generali di sorveglianza delle forze dell'ordine, scenari di risposta alle emergenze, per il rilevamento di cadute tra gli anziani e come mezzo per rilevare pedoni nascosti per veicoli autonomi.

Valutazione passiva

Come spesso accade con i progetti di visione artificiale, il compito centrale era identificare, classificare e rendere operativi i cambiamenti di stato percepiti in un flusso di immagini. La concatenazione delle modifiche porta a modelli di firma che possono essere utilizzati per identificare un numero di individui o per rilevare l'attività di uno o più individui.

Il lavoro apre la possibilità di una valutazione della scena completamente passiva, senza la necessità di utilizzare superfici riflettenti, Segnali Wi-Fi, radar, suono o qualsiasi altra "circostanza speciale" richiesta in altri sforzi di ricerca degli ultimi anni che hanno cercato di stabilire la presenza umana nascosta in un ambiente pericoloso o critico.

Uno scenario di raccolta dati campione del tipo utilizzato per la nuova ricerca. I soggetti sono posizionati con cura per non proiettare ombre o per ostruire direttamente le luci e non sono consentite superfici riflettenti o altri vettori "cheat". Fonte: https://arxiv.org/pdf/2108.13027.pdf

In effetti, la luce ambientale per lo scenario tipico previsto per l'applicazione coprirebbe eventuali perturbazioni minori causate dalla luce riflessa da persone nascoste altrove nella scena. I ricercatori calcolano che il contributo di disturbo della luce degli individui sarebbe in genere inferiore all'1% della luce visibile totale.

Rimozione dell'illuminazione statica

Per estrarre il movimento dall'immagine della parete apparentemente statica, è necessario calcolare la media temporale del video e rimuoverla da ogni fotogramma. I modelli di movimento risultanti sono generalmente al di sotto della soglia di rumore anche di apparecchiature video di buona qualità, e in effetti gran parte del movimento si verifica all'interno di uno spazio di pixel negativo.

Per rimediare a ciò, i ricercatori hanno ridotto il video di un fattore 16 e ingrandito il metraggio risultante di un fattore 50, aggiungendo al tempo stesso un livello di base grigio medio per discernere la presenza di pixel negativi (che non potevano essere spiegati dal video di base rumore del sensore).

La differenza tra il muro percepito dall'uomo e la perturbazione estratta di individui nascosti. Poiché la qualità dell'immagine è una questione centrale in questa ricerca, fare riferimento al video ufficiale alla fine dell'articolo per un'immagine di qualità superiore.

La finestra di opportunità per percepire il movimento è molto fragile e può essere influenzata anche dallo sfarfallio delle luci a una frequenza di 60 Hz CA. Pertanto anche questa perturbazione naturale deve essere valutata e rimossa dal filmato prima che emerga il movimento indotto dalla persona.

Infine, il sistema produce grafici spazio-temporali che segnalano un numero specifico di abitanti nascosti della stanza: firme visive discrete:

Trame spazio-temporali distintive che rappresentano diversi numeri di persone nascoste in una stanza.

Diverse attività umane comporteranno anche perturbazioni della firma che possono essere classificate e successivamente riconosciute:

Le firme della trama spazio-temporale per inattività, camminare, accovacciarsi, agitare le mani e saltare.

Al fine di produrre un flusso di lavoro automatizzato basato sull'apprendimento automatico per il riconoscimento di persone nascoste, sono stati utilizzati diversi filmati da 20 scenari appropriati per addestrare due reti neurali operanti su configurazioni sostanzialmente simili: una per contare il numero di persone in una scena e l'altra per identificare eventuali movimenti che si verificano.

Testing

I ricercatori hanno testato il sistema addestrato in dieci ambienti invisibili del mondo reale progettati per ricreare i limiti previsti per la distribuzione finale. Il sistema è stato in grado di raggiungere una precisione fino al 94.4% (oltre 256 frame, in genere poco più di 8 secondi di video) nella classificazione del numero di persone nascoste e fino al 93.7% (nelle stesse condizioni) nella classificazione delle attività. Sebbene la precisione diminuisca con un minor numero di fotogrammi sorgente, non si tratta di un calo lineare e anche 64 fotogrammi raggiungeranno un tasso di precisione del 79.4% per la valutazione del "numero di persone" (contro quasi il 95% per quattro volte il numero di fotogrammi).

Sebbene il metodo sia resistente ai cambiamenti di illuminazione basati sulle condizioni meteorologiche, fatica in una scena illuminata da un televisore o in circostanze in cui le persone indossano abiti monotoni dello stesso colore del muro riflettente.

Maggiori dettagli sulla ricerca, inclusi filmati di qualità superiore delle estrazioni, possono essere visti nel video ufficiale qui sotto.