AI afslører hemmelig aktivitet afsløret af blanke vægge

Et forskningssamarbejde, der inkluderer bidragydere fra NVIDIA og MIT, har udviklet en maskinel læringsmetode, der kan identificere skjulte personer blot ved at observere indirekte belysning på en nærliggende væg, selv når personerne ikke er nær lyskilderne. Metoden har en nøjagtighed på næsten 94%, når det kommer til at identificere antallet af skjulte personer, og kan også identificere den specifikke aktivitet af en skjult person ved at massivt forstærke lysrefleksioner, der er usynlige for det menneskelige øje og for standardmetoder til billedforstærkning.

Umærkelige forstyrrelser af lys, forstærket af den nye metode, der bruger convolutional neural networks til at identificere områder med ændring. Kilde: https://www.youtube.com/watch?v=K4PapXyX-bI

Den nye artikel har titlen Hvad du kan lære ved at stirre på en blank væg, med bidrag fra NVIDIA og MIT, samt Israel Institute of Technology.

Tidligere tilgange til ‘at se omkring vægge’ har afhængigt af kontrollerbare lyskilder eller forhåndsviden om kendte kilder til blokering, hvorimod den nye teknik kan generalisere til enhver ny rum, uden krav til omkalibrering. De to convolutional neural networks, der individuerer skjulte personer, brugte data fra kun 20 scener.

Projektet er rettet mod højrisiko-, sikkerheds-kritiske situationer, til eftersøgnings- og redningsoperationer, almindelige overvågningsopgaver, nødsituationer, til falddetektion blandt ældre mennesker og som en måde til at detektere skjulte fodgængere for selvstændige køretøjer.

Passiv evaluering

Som ofte er tilfældet med computer vision-projekter, var den centrale opgave at identificere, klassificere og operationalisere opfattede tilstandsændringer i en billedstrøm. At konkatenerer ændringerne fører til signaturmønstre, der kan bruges enten til at identificere et antal personer eller til at detektere aktivitet af en eller flere personer.

Arbejdet åbner mulighed for fuldstændig passiv scenarievaluering, uden behov for at anvende reflekterende overflader, Wi-Fi-signaler, radar, lyd eller nogen andre ‘specielle omstændigheder’ krævet i andre forskningsindsatser i de seneste år, der har søgt at etablere skjult menneskelig tilstedeværelse i en farlig eller kritisk miljø.

En prøve på dataindsamlingsscenariet af den type, der er brugt til den nye forskning. Emnerne er omhyggeligt placeret, så de ikke kaster skygger eller direkte blokerer lys, og der er ikke tilladt reflekterende overflader eller andre ‘snydemidler’. Kilde: https://arxiv.org/pdf/2108.13027.pdf

Effektivt vil den omgivende belysning for den typiske scenario, der er forestillet for anvendelsen, ville overvælde enhver mindre forstyrrelse forårsaget af reflekteret lys fra personer skjult andre steder i scenariet. Forskerne beregner, at lysforstyrrelsesbidraget fra personerne typisk ville være mindre end 1% af det samlede synlige lys.

Fjernelse af statisk belysning

For at udtrække bevægelse fra den åbenbart statiske væg, er det nødvendigt at beregne den tidsmæssige gennemsnit af videoen og fjerne det fra hvert billede. De resulterende bevægelsesmønstre er normalt under støjeniveauet for selv godkvalitetsvideoudstyr, og i virkeligheden sker meget af bevægelsen inden for et negativt pixelspace.

For at løse dette problem nedsamplede forskerne videoen med en faktor på 16 og upscalede den resulterende footage med en faktor på 50, mens de tilføjede en midtgrå basisniveau for at påvise tilstedeværelse af negative pixel (der ikke kunne tilskrives baselinevideo sensorstøj).

Forskellen mellem det menneskeligt opfattede væg og den udtrukne forstyrrelse af skjulte personer. Da billedkvalitet er et centralt spørgsmål i denne forskning, henvises til den officielle video i slutningen af artiklen for en højere kvalitetsbillede.

Vinduet for at opfatte bevægelse er meget skrøbeligt og kan påvirkes, selv af lysblink i en 60 Hz AC-frekvens. Derfor skal denne naturlige forstyrrelse også vurderes og fjernes fra footage før personinduceret bevægelse vil opstå.

Til sidst producerer systemet rum-tidsplot, der signalerer et bestemt antal skjulte værelsesbeboere – diskrete visuelle signaturer:

Signatur rum-tidsplot, der repræsenterer forskellige antal skjulte personer i et rum.

Forskellige menneskelige aktiviteter vil også resultere i signaturforstyrrelser, der kan klassificeres og senere genkendes:

Rum-tidsplot-signaturer for inaktivitet, gående, knælende, vinkende hænder og hoppende.

For at producere en automatiseret maskinlæringsbaseret arbejdsproces for skjult persongenkendelse, blev varieret footage fra 20 passende scener brugt til at træne to neurale netværk, der opererer på bredt lignende konfigurationer – en til at tælle antallet af personer i en scene, og den anden til at identificere enhver bevægelse, der forekommer.

Test

Forskerne testede det trænede system i ti usete virkelige miljøer, der er designet til at genskabe begrænsningerne, der forventes for den endelige implementering. Systemet kunne opnå op til 94,4% nøjagtighed (over 256 billeder – typisk kun over 8 sekunder video) i klassificering af antallet af skjulte personer, og op til 93,7% nøjagtighed (under de samme betingelser) i klassificering af aktiviteter. Selvom nøjagtigheden falder med færre kildebilleder, er det ikke en lineær fald, og selv 64 billeder vil opnå en 79,4% nøjagtighedsrate for ‘antallet af personer’-evaluering (mod næsten 95% for fire gange antallet af billeder).

Selvom metoden er robust over for vejrrelaterede ændringer i belysning, kæmper den i en scene belyst af en tv, eller under omstændigheder, hvor personerne bærer ensartet tøj af samme farve som den reflekterende væg.

Flere detaljer om forskningen, herunder højere kvalitetsfootage af udtrækningerne, kan ses i den officielle video nedenfor.