La IA descobreix l'activitat secreta revelada per Blank Walls

Una col·laboració de recerca, que inclou col·laboradors de NVIDIA i MIT, ha desenvolupat a màquina d'aprenentatge mètode que pot identificar persones amagades simplement observant la il·luminació indirecta a una paret propera, fins i tot quan les persones no estan a prop de les fonts de llum il·luminades. El mètode té una precisió propera al 94% quan s'intenta identificar el nombre de persones ocultes, i també pot identificar l'activitat específica d'una persona oculta mitjançant l'amplificació massiva dels rebots de llum que són invisibles als ulls humans i als mètodes estàndard d'amplificació d'imatge.

Pertorbacions imperceptibles de la llum, amplificades pel nou mètode, que utilitza xarxes neuronals convolucionals per identificar àrees de canvi. Font: https://www.youtube.com/watch?v=K4PapXyX-bI

El nou paper es titula Què pots aprendre mirant una paret en blanc, amb contribucions de NVIDIA i MIT, així com de l'Israel Institute of Technology.

Els enfocaments anteriors per "veure al voltant de les parets" s'han basat en fonts de llum controlables o en coneixements previs de fonts d'oclusió conegudes, mentre que la nova tècnica es pot generalitzar a qualsevol habitació nova, sense necessitat de recalibrar. Les dues xarxes neuronals convolucionals que individuen persones ocultes van utilitzar dades obtingudes de només 20 escenes.

El projecte s'adreça a situacions d'alt risc i crítiques per a la seguretat, per a operacions de recerca i rescat, tasques generals de vigilància de les forces de l'ordre, escenaris de resposta d'emergència, per a la detecció de caigudes entre gent gran i com a mitjà per detectar vianants amagats per a vehicles autònoms.

Avaluació passiva

Com passa sovint amb visió per computadora projectes, la tasca central era identificar, classificar i operacionalitzar els canvis d'estat percebuts en un flux d'imatges. La concatenació dels canvis condueix a patrons de signatura que es poden utilitzar per identificar un nombre d'individus o per detectar l'activitat d'un o més individus.

El treball obre la possibilitat d'una avaluació d'escena completament passiva, sense necessitat d'utilitzar superfícies reflectants, Senyals de Wi-Fi, radar, so o qualsevol altra "circumstàncies especials" requerides en altres esforços de recerca dels darrers anys que han intentat establir la presència humana oculta en un entorn perillós o crític.

Un exemple d'escenari de recollida de dades del tipus utilitzat per a la nova investigació. Els subjectes es col·loquen amb cura per no projectar ombres o per ocluir directament cap llum, i no es permeten superfícies reflectants ni altres vectors "enganyosos". Font: https://arxiv.org/pdf/2108.13027.pdf

Efectivament, la llum ambiental per a l'escenari típic previst per a l'aplicació aclapararia qualsevol pertorbació menor causada per la llum reflectida de persones amagades en altres llocs de l'escena. Els investigadors calculen que la contribució a la pertorbació de la llum dels individus normalment seria inferior a l'1% de la llum visible total.

Eliminació de la il·luminació estàtica

Per extreure el moviment de la imatge de paret aparentment estàtica, cal calcular la mitjana temporal del vídeo i eliminar-la de cada fotograma. Els patrons de moviment resultants solen estar per sota del llindar de soroll fins i tot d'equips de vídeo de bona qualitat i, en efecte, gran part del moviment es produeix dins d'un espai de píxels negatiu.

Per solucionar-ho, els investigadors redueixen la mostra del vídeo en un factor de 16 i augmenten el metratge resultant en un factor de 50, alhora que afegeixen un nivell de base de gris mitjà per discernir la presència de píxels negatius (que no s'han pogut explicar pel vídeo de referència). soroll del sensor).

La diferència entre el mur percebut pels humans i la pertorbació extreta dels individus ocults. Com que la qualitat de la imatge és un tema central en aquesta investigació, consulteu el vídeo oficial al final de l'article per obtenir una imatge de més qualitat.

La finestra d'oportunitat per percebre el moviment és molt fràgil i es pot veure afectada fins i tot pel parpelleig de les llums a una freqüència de 60 Hz AC. Per tant, aquesta pertorbació natural també s'ha d'avaluar i eliminar del metratge abans que sorgeixi el moviment induït per la persona.

Finalment, el sistema produeix gràfics espai-temps que indiquen un nombre específic d'habitants ocults de l'habitació: signatures visuals discretes:

Trames espacials i temporals que representen diferents nombres de persones amagades en una habitació.

Les diferents activitats humanes també donaran lloc a pertorbacions de signatura que es poden classificar i reconèixer posteriorment:

L'espai-temps dibuixa signatures per a la inactivitat, caminar, ajupir-se, agitar les mans i saltar.

Per tal de produir un flux de treball automatitzat basat en l'aprenentatge automàtic per al reconeixement de persones ocultes, es van utilitzar imatges variades de 20 escenaris adequats per entrenar dues xarxes neuronals que operen en configuracions molt similars: una per comptar el nombre de persones en una escena i l'altra per identificar qualsevol moviment que es produeixi.

Proves

Els investigadors van provar el sistema entrenat en deu entorns del món real no vists dissenyats per recrear les limitacions previstes per al desplegament final. El sistema va poder aconseguir fins a un 94.4% de precisió (més de 256 fotogrames, normalment poc més de 8 segons de vídeo) en la classificació del nombre de persones ocultes i fins a un 93.7% de precisió (en les mateixes condicions) en la classificació d'activitats. Tot i que la precisió baixa amb menys fotogrames d'origen, no és una caiguda lineal, i fins i tot 64 fotogrames aconseguiran una taxa de precisió del 79.4% per a l'avaluació del "nombre de persones" (contra gairebé el 95% per quatre vegades el nombre de fotogrames).

Tot i que el mètode és robust als canvis d'il·luminació basats en el temps, lluita en una escena il·luminada per un televisor o en circumstàncies en què la gent porta roba monòtona del mateix color que la paret reflectora.

Es poden veure més detalls de la investigació, incloses imatges de major qualitat de les extraccions, al vídeo oficial a continuació.