AI afslører hemmelig aktivitet afsløret af blanke vægge

Et forskningssamarbejde, der inkluderer bidrag fra NVIDIA og MIT, har udviklet en maskinel læringsmetode, der kan identificere skjulte personer ved blot at observere indirekte belysning på en nærliggende væg, selv når personerne ikke er nær lyskilderne. Metoden har en nøjagtighed på næsten 94%, når det gælder om at identificere antallet af skjulte personer, og kan også identificere den specifikke aktivitet af en skjult person ved at forstærke lysrefleksioner, der er usynlige for det menneskelige øje og for standardmetoder til billedforstærkning.

Umærkelige forstyrrelser af lys, forstærket af den nye metode, der bruger convolutionelle neurale netværk til at identificere områder med ændring. Kilde: https://www.youtube.com/watch?v=K4PapXyX-bI

Den nye rapport har titlen Hvad du kan lære ved at stirre på en blank væg, med bidrag fra NVIDIA og MIT, samt Israel Institute of Technology.

Tidligere metoder til at “se rundt om hjørner” har afhængigt af kontrollerbare lyskilder eller forhåndsviden om kendte kilder til skjulthed, hvorimod den nye metode kan generalisere til enhver ny rum, uden krav om omkalibrering. De to convolutionelle neurale netværk, der identificerer skjulte personer, brugte data fra kun 20 scener.

Projektet er rettet mod højrisikosituationsanalyse, eftersøgnings- og redningsoperationer, almindelig politiovervågning, nødsituationer, faldregistrering hos ældre mennesker og som metode til at registrere skjulte fodgængere for selvstændige køretøjer.

Passiv evaluering

Som oftest er det centrale opgave i computerseende-projekter at identificere, klassificere og operationalisere opfattede tilstandsændringer i en billedstrøm. At kombinere ændringerne fører til signaturmønstre, der kan bruges til enten at identificere antallet af personer eller til at registrere aktivitet af en eller flere personer.

Arbejdet åbner mulighed for fuldstændig passiv scenarievaluering, uden behov for at bruge reflekterende overflader, Wi-Fi-signaler, radar, lyd eller andre “specielle omstændigheder”, der kræves i andre forskningsindsatser i de seneste år for at fastslå skjult menneskelig tilstedeværelse i en farlig eller kritisk situation.

Et eksempel på en datasamlingssituation af den type, der er brugt til den nye forskning. Emnerne er omhyggeligt placeret, så de ikke kaster skygger eller direkte skjuler lys, og der er ikke tilladt reflekterende overflader eller andre “snydemetoder”. Kilde: https://arxiv.org/pdf/2108.13027.pdf

Effektivt vil den omgivende belysning i den typiske scenario, der er forestillet for anvendelsen, overvælde enhver mindre forstyrrelse forårsaget af reflekteret lys fra personer, der er skjult andre steder i scenariet. Forskerne beregner, at lysforstyrrelsesbidraget fra personerne typisk vil være mindre end 1% af det totale synlige lys.

Fjernelse af statisk belysning

For at udtrække bevægelse fra den tilsyneladende statiske vægbillede er det nødvendigt at beregne den tidsmæssige gennemsnit af videoen og fjerne det fra hvert billede. De resulterende bevægelsesmønstre er normalt under støjeniveauet for selv godkvalitets videoudstyr, og i virkeligheden sker meget af bevægelsen inden for et negativt pixelspace.

For at løse dette problem nedsamplede forskerne videoen med en faktor på 16 og opskalerede den resulterende film med en faktor på 50, samtidig med at de tilføjede en midtgrå basisniveau for at registrere tilstedeværelsen af negative pixel (der ikke kunne forklares af baseline video sensor støj).

Forskellen mellem det menneskeligt opfattede væg og den udtrukne forstyrrelse af skjulte personer. Da billedkvalitet er et centralt spørgsmål i denne forskning, henvises til den officielle video i artiklens slutning for en højere kvalitetsbillede.

Vinduet for at registrere bevægelse er meget skrøbeligt og kan påvirkes, selv af lysblink i en 60 Hz AC-frekvens. Derfor skal denne naturlige forstyrrelse også vurderes og fjernes fra filmen, før personforårsaget bevægelse vil optræde.

Til sidst producerer systemet rum-tids-plots, der signalerer et bestemt antal skjulte værelsesbeboere – diskrete visuelle signaturer:

Signatur rum-tids-plots, der repræsenterer forskellige antal skjulte personer i et rum.

Forskellige menneskelige aktiviteter vil også resultere i signaturforstyrrelser, der kan klassificeres og senere genkendes:

Rum-tids-plots-signaturer for inaktivitet, gående, knælende, vinkende hænder og hoppende.

For at producere en automatiseret maskinel læring-baseret arbejdsgang for skjult personregistrering blev varieret film fra 20 passende scener brugt til at træne to neurale netværk, der opererede på bredt lignende konfigurationer – ét til at tælle antallet af personer i en scene, og det andet til at identificere enhver bevægelse, der sker.

Test

Forskerne testede det trænede system i ti usete virkelige miljøer, der var designet til at genskabe begrænsningerne, der var forventet for den endelige implementering. Systemet kunne opnå op til 94,4% nøjagtighed (over 256 billeder – typisk kun over 8 sekunder video) i klassificering af antallet af skjulte personer og op til 93,7% nøjagtighed (under samme betingelser) i klassificering af aktiviteter. Selv om nøjagtigheden falder med færre kildebilleder, er det ikke en lineær fald, og selv 64 billeder kan opnå en 79,4% nøjagtighedsrate for “antallet af personer”-evaluering (i forhold til næsten 95% for fire gange antallet af billeder).

Selv om metoden er robust over for vejrbaserede ændringer i belysning, kæmper den i en scene belyst af en tv, eller under omstændigheder, hvor personerne bærer ensartet tøj i samme farve som den reflekterende væg.

Der kan ses flere detaljer om forskningen, herunder højere kvalitetsfilm af udtrækningerne, i den officielle video nedenfor.