Inteligența Artificială Dezvăluie Activitatea Secretă Revelată de Pereții Goi

O colaborare de cercetare, care include contribuitori de la NVIDIA și MIT, a dezvoltat o metodă de învățare automată care poate identifica oameni ascunși prin observarea iluminării indirecte pe un perete din apropiere, chiar și atunci când oamenii nu sunt aproape de sursele de lumină. Metoda are o acuratețe de aproape 94% atunci când încearcă să identifice numărul de oameni ascunși și poate identifica activitatea specifică a unei persoane ascunse prin amplificarea masivă a reflexiilor de lumină care sunt invizibile pentru ochiul uman și pentru metodele standard de amplificare a imaginii.

Perturbări imperceptibile ale luminii, amplificate de noua metodă, care utilizează rețele neuronale convoluționale pentru a identifica zonele de schimbare. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

Noul articol se intitulează Ce poți învăța privind un perete gol, cu contribuții de la NVIDIA și MIT, precum și de la Institutul Israelian de Tehnologie.

Abordările anterioare pentru “a vedea dincolo de pereți” s-au bazat pe surse de lumină controlabile sau pe cunoașterea prealabilă a surselor de ocultare, în timp ce noua tehnică poate fi generalizată la orice cameră nouă, fără a necesita recalibrarea. Cele două rețele neuronale convoluționale care identifică oamenii ascunși au utilizat date obținute din doar 20 de scene.

Proiectul este destinat situațiilor cu risc ridicat, critice pentru securitate, pentru operațiuni de căutare și salvare, pentru sarcini de supraveghere ale poliției, pentru scenarii de răspuns la urgențe, pentru detectarea căderilor la persoanele vârstnice și ca mijloc de detectare a pietonilor ascunși pentru vehiculele autonome.

Evaluarea Pasivă

Așa cum se întâmplă adesea cu proiectele de viziune computerizată, sarcina centrală a fost să identifice, să clasifice și să operaționalizeze modificările de stare percepute într-un flux de imagini. Concatenarea modificărilor conduce la tipare de semnătură care pot fi utilizate pentru a identifica un număr de indivizi sau pentru a detecta activitatea unuia sau mai multor indivizi.

Lucrarea deschide posibilitatea unei evaluări complete pasive a scenei, fără a fi nevoie să se utilizeze suprafețe reflectorizante, semnale Wi-Fi, radar, sunet sau orice alte “împrejurări speciale” necesare în alte eforturi de cercetare din ultimii ani care au încercat să stabilească prezența umană ascunsă într-un mediu periculos sau critic.

Un scenariu de colectare a datelor de tipul celui utilizat pentru noua cercetare. Subiecții sunt poziționați cu atenție pentru a nu arunca umbre sau a nu oculta direct luminile, și nu se permit suprafețe reflectorizante sau alte “vectori de înșelăciune”. Source: https://arxiv.org/pdf/2108.13027.pdf

În mod eficient, lumina ambientală pentru scenariul tipic imaginat pentru aplicație ar înăbuși orice perturbări minore cauzate de lumina reflectată de la oamenii ascunși în altă parte a scenei. Cercetătorii calculează că contribuția perturbării luminii a indivizilor ar fi de obicei mai mică de 1% din lumina vizibilă totală.

Înlăturarea Iluminării Statice

Pentru a extrage mișcarea din imaginea aparent statică a peretelui, este necesar să se calculeze media temporală a videoului și să se înlăture din fiecare cadru. Modelele de mișcare rezultate sunt de obicei sub pragul de zgomot al echipamentului de video de calitate, și, în efect, o mare parte a mișcării are loc într-un spațiu de pixeli negativi.

Pentru a remedia acest lucru, cercetătorii reduc eșantionarea videoului cu un factor de 16 și măresc imaginea rezultată cu un factor de 50, adăugând un nivel de bază de gri pentru a discerne prezența pixelilor negativi (care nu ar putea fi explicați de zgomotul de bază al senzorului de video).

Diferența dintre peretele perceput de om și perturbarea extrasă a indivizilor ascunși. Deoarece calitatea imaginii este o problemă centrală în această cercetare, vă rugăm să consultați videoul oficial de la sfârșitul articolului pentru o imagine de calitate superioară.

Fereastra de oportunitate de a percepe mișcarea este foarte fragilă și poate fi afectată chiar și de flickerul luminilor la o frecvență de 60 Hz CA. Prin urmare, această perturbare naturală trebuie, de asemenea, să fie evaluată și înlăturată din filmare înainte ca mișcarea cauzată de oameni să apară.

În final, sistemul produce diagrame spațiu-timp care semnalează un număr specific de locuitori ai camerei ascunși – semnături vizuale discrete:

Semnături de diagrame spațiu-timp care reprezintă diferite numere de oameni ascunși într-o cameră.

Diferite activități umane vor conduce, de asemenea, la perturbări de semnătură care pot fi clasificate și recunoscute ulterior:

Semnăturile de diagrame spațiu-timp pentru inactivitate, mers, aplecare, fluturarea mâinilor și săritura.

Pentru a produce un flux de lucru automatizat de învățare automată pentru recunoașterea persoanelor ascunse, au fost utilizate diverse filmări din 20 de scenarii potrivite pentru a antrena două rețele neuronale care funcționează pe configurații larg similare – una pentru a număra numărul de oameni dintr-o scenă și cealaltă pentru a identifica orice mișcare care are loc.

Testarea

Cercetătorii au testat sistemul antrenat în zece medii reale nevizionate, proiectate pentru a recrea limitările anticipate pentru implementarea finală. Sistemul a putut atinge până la 94,4% acuratețe (peste 256 de cadre – de obicei, doar peste 8 secunde de filmare) în clasificarea numărului de oameni ascunși și până la 93,7% acuratețe (în aceleași condiții) în clasificarea activităților. Deși acuratețea scade cu mai puține cadre sursă, nu este o scădere liniară, și chiar și 64 de cadre vor atinge o rată de acuratețe de 79,4% pentru evaluarea “numărului de oameni” (în comparație cu aproape 95% pentru de patru ori mai multe cadre).

Deși metoda este robustă la schimbările de lumină bazate pe vreme, se luptă într-o scenă iluminată de un televizor sau în circumstanțe în care oamenii poartă haine de culoare uniformă, aceeași cu cea a peretelui reflectorizant.

Mai multe detalii despre cercetare, inclusiv filmări de calitate superioară ale extracțiilor, pot fi văzute în videoul oficial de mai jos.