AI descoperă activitatea secretă dezvăluită de Blank Walls

O colaborare de cercetare, inclusiv colaboratori de la NVIDIA și MIT, a dezvoltat o metodă de învățare automată care poate identifica oamenii ascunși prin simpla observare a iluminării indirecte pe un perete din apropiere, chiar și atunci când oamenii nu se află nicăieri în apropierea surselor de lumină. Metoda are o precizie de aproape 94% atunci când încearcă să identifice numărul de persoane ascunse și, de asemenea, poate identifica activitatea specifică a unei persoane ascunse prin amplificarea masivă a luminii care sunt invizibile pentru ochiul uman și pentru metodele standard de amplificare a imaginii.

Perturbații imperceptibile ale luminii, amplificate de noua metodă, care utilizează rețele neuronale convoluționale pentru a identifica zonele de schimbare. Sursa: https://www.youtube.com/watch?v=K4PapXyX-bI

Noul hârtie se intitulează Ce poți învăța uitându-te la un perete gol, cu contribuții de la NVIDIA și MIT, precum și de la Institutul de Tehnologie din Israel.

Abordările anterioare pentru „a vedea în jurul pereților” s-au bazat pe surse de lumină controlabile sau pe cunoașterea anterioară a surselor cunoscute de ocluzie, în timp ce noua tehnică se poate generaliza la orice încăpere nouă, fără a necesita recalibrare. Cele două rețele neuronale convoluționale care individualizează persoanele ascunse au folosit date obținute din doar 20 de scene.

Proiectul vizează situații cu risc ridicat, critice pentru securitate, pentru operațiuni de căutare și salvare, sarcini generale de supraveghere a organelor de ordine, scenarii de răspuns în situații de urgență, pentru detectarea căderilor în rândul persoanelor în vârstă și ca mijloc de detectare a pietonilor ascunși pentru vehiculele autonome.

Evaluare pasivă

Așa cum se întâmplă frecvent în cazul proiectelor de viziune computerizată, sarcina centrală a fost identificarea, clasificarea și operaționalizarea schimbărilor percepute de stare într-un flux de imagini. Concatenarea modificărilor conduce la modele de semnătură care pot fi utilizate fie pentru a identifica un număr de indivizi, fie pentru a detecta activitatea unuia sau mai multor indivizi.

Lucrarea deschide posibilitatea unei evaluări complet pasive a scenei, fără a fi necesară utilizarea suprafețelor reflectorizante, Semnale Wi-Fi, radar, sunet sau orice alte „circumstanțe speciale” necesare în alte eforturi de cercetare din ultimii ani care au încercat să stabilească prezența umană ascunsă într-un mediu periculos sau critic.

Un exemplu de scenariu de colectare a datelor de tipul utilizat pentru noua cercetare. Subiecții sunt poziționați cu atenție pentru a nu arunca umbre sau pentru a bloca direct orice lumină și nu sunt permise suprafețe reflectorizante sau alți vectori „înșelători”. Sursă: https://arxiv.org/pdf/2108.13027.pdf

În mod efectiv, lumina ambientală pentru scenariul tipic preconizat pentru aplicație ar copleși orice perturbație minoră cauzată de lumina reflectată de la oamenii ascunși în altă parte a scenei. Cercetătorii calculează că contribuția indivizilor la perturbarea luminii ar fi de obicei mai mică de 1% din lumina vizibilă totală.

Îndepărtarea Iluminării Statice

Pentru a extrage mișcarea din imaginea de perete aparent statică, este necesar să calculați media temporală a videoclipului și să o eliminați din fiecare cadru. Modelele de mișcare rezultate sunt de obicei sub pragul de zgomot chiar și al echipamentelor video de bună calitate și, de fapt, o mare parte a mișcării are loc într-un spațiu de pixeli negativ.

Pentru a remedia acest lucru, cercetătorii au redus eșantionul videoclipului cu un factor de 16 și au mărit filmarea rezultată cu un factor de 50, adăugând în același timp un nivel de bază de gri mijlociu pentru a discerne prezența pixelilor negativi (care nu au putut fi explicați prin videoclipul de bază). zgomotul senzorului).

Diferența dintre peretele perceput de om și perturbarea extrasă de indivizi ascunși. Deoarece calitatea imaginii este o problemă centrală în această cercetare, vă rugăm să consultați videoclipul oficial de la sfârșitul articolului pentru o imagine de calitate superioară.

Fereastra de oportunitate de a percepe mișcarea este foarte fragilă și poate fi afectată chiar și de pâlpâirea luminilor la o frecvență AC de 60 Hz. Prin urmare, această perturbare naturală trebuie, de asemenea, evaluată și eliminată din filmare înainte ca mișcarea indusă de persoană să apară.

În cele din urmă, sistemul produce diagrame spațiu-timp care semnalează un anumit număr de locuitori ascunși ai camerei - semnături vizuale discrete:

Semnături spațiu-timp reprezentând un număr diferit de persoane ascunse într-o cameră.

Diferitele activități umane vor duce, de asemenea, la perturbări de semnătură care pot fi clasificate și ulterior recunoscute:

Spațiul-timp prezintă semnături pentru inactivitate, mers, ghemuire, fluturare a mâinilor și sărituri.

Pentru a produce un flux de lucru automatizat bazat pe învățare automată pentru recunoașterea persoanelor ascunse, au fost folosite imagini variate din 20 de scenarii adecvate pentru a antrena două rețele neuronale care funcționează pe configurații în general similare - una pentru a număra numărul de persoane dintr-o scenă, iar cealaltă pentru a număra numărul de persoane dintr-o scenă. identifica orice mișcare care are loc.

Testarea

Cercetătorii au testat sistemul antrenat în zece medii nevăzute din lumea reală, concepute pentru a recrea limitările anticipate pentru implementarea finală. Sistemul a reușit să atingă o precizie de până la 94.4% (peste 256 de cadre – de obicei puțin peste 8 secunde de videoclip) în clasificarea numărului de persoane ascunse și până la 93.7% precizie (în aceleași condiții) în clasificarea activităților. Deși acuratețea scade cu mai puține cadre sursă, nu este o scădere liniară și chiar și 64 de cadre vor atinge o rată de precizie de 79.4% pentru evaluarea „număr de persoane” (față de aproape 95% pentru de patru ori numărul de cadre).

Deși metoda este robustă la schimbările de iluminare bazate pe vreme, se luptă într-o scenă iluminată de un televizor sau în circumstanțe în care oamenii poartă haine monotone de aceeași culoare ca și peretele reflectorizant.

Mai multe detalii despre cercetare, inclusiv imagini de calitate superioară ale extracțiilor, pot fi văzute în videoclipul oficial de mai jos.