AI ontdekt het geheime activiteit dat wordt onthuld door lege muren

Een onderzoeksproject, met bijdragen van onder andere NVIDIA en MIT, heeft een machine learning-methode ontwikkeld die verborgen personen kan identificeren door indirecte verlichting op een nabijgelegen muur te observeren, zelfs als de personen niet in de buurt van de lichtbronnen zijn. De methode heeft een nauwkeurigheid van bijna 94% bij het identificeren van het aantal verborgen personen en kan ook de specifieke activiteit van een verborgen persoon identificeren door lichtreflecties die onzichtbaar zijn voor het menselijk oog en voor standaard methoden van beeldversterking enorm te versterken.

Onmerkbare veranderingen in licht, versterkt door de nieuwe methode, die convolutionele neurale netwerken gebruikt om gebieden van verandering te identificeren. Bron: https://www.youtube.com/watch?v=K4PapXyX-bI

Het nieuwe artikel heeft als titel Wat je kunt leren door naar een lege muur te staren, met bijdragen van onder andere NVIDIA en MIT, evenals het Israel Institute of Technology.

Eerder onderzoek naar ‘het zien om hoeken’ was afhankelijk van controleerbare lichtbronnen of voorafgaande kennis van bekende bronnen van occlusie, terwijl de nieuwe techniek kan worden toegepast op elke nieuwe kamer, zonder dat er een herkalibratie nodig is. De twee convolutionele neurale netwerken die verborgen personen identificeren, gebruikten gegevens die zijn verkregen uit slechts 20 scènes.

Het project is gericht op hoge-risico, veiligheidskritieke situaties, zoals zoek- en reddingsoperaties, algemene surveillance-taken van de politie, noodsituaties, valdetectie bij ouderen en als middel om verborgen voetgangers te detecteren voor autonome voertuigen.

Pasieve evaluatie

Zoals vaak het geval is bij computer vision-projecten, was de centrale taak om veranderingen in een beeldstroom te identificeren, te classificeren en te operationaliseren. Het combineren van deze veranderingen leidt tot patroonherkenning die kan worden gebruikt om het aantal personen te identificeren of om de activiteit van een of meer personen te detecteren.

Het onderzoek opent de mogelijkheid van volledig passieve scène-evaluatie, zonder dat er reflecterende oppervlakken, Wi-Fi-signalen, radar, geluid of andere ‘speciale omstandigheden’ nodig zijn die in andere onderzoeken van de afgelopen jaren zijn gebruikt om verborgen menselijke aanwezigheid in een gevaarlijke of kritieke omgeving te detecteren.

Een voorbeeld van een gegevensverzamelingscenario van het type dat voor het nieuwe onderzoek is gebruikt. De onderwerpen zijn zorgvuldig geplaatst om geen schaduwen te werpen of lichtbronnen rechtstreeks te verduisteren, en er zijn geen reflecterende oppervlakken of andere ‘cheat’-vectoren toegestaan. Bron: https://arxiv.org/pdf/2108.13027.pdf

Effectief gezien zou de omgevingsverlichting in het typische scenario dat voor de toepassing wordt overwogen, elke kleine perturbatie veroorzaakt door gereflecteerd licht van personen die elders in de scène verborgen zijn, overweldigen. De onderzoekers berekenen dat de lichtverstoring die door de individuen wordt veroorzaakt, typisch minder dan 1% van het totale zichtbare licht zou zijn.

Verwijdering van statische verlichting

Om beweging uit het ogenschijnlijk statische muurbeeld te extraheren, is het nodig om de tijdelijke gemiddelde van de video te berekenen en deze van elke frame te verwijderen. De resulterende bewegingspatronen liggen meestal onder de ruisdrempel van zelfs goedkwalitatieve videomateriaal, en in feite vindt veel van de beweging plaats in een negatieve pixeldimensie.

Om dit te verhelpen, downsamplen de onderzoekers de video met een factor van 16 en upscalen de resulterende beelden met een factor van 50, terwijl ze een midden-grijze basisniveau toevoegen om de aanwezigheid van negatieve pixels (die niet kunnen worden toegeschreven aan baselinesensorruis) te detecteren.

Het verschil tussen de door de mens waargenomen muur en de geëxtraheerde perturbatie van verborgen individuen. Omdat beeldkwaliteit een centraal punt is in dit onderzoek, verwijzen we naar de officiële video aan het einde van het artikel voor een hogere kwaliteit beeld.

Het venster van mogelijkheid om beweging waar te nemen is zeer fragiel en kan worden beïnvloed, zelfs door het knipperen van lichten met een frequentie van 60 Hz. Daarom moet deze natuurlijke perturbatie ook worden geëvalueerd en verwijderd uit de beelden voordat de beweging die door personen wordt veroorzaakt, zal verschijnen.

Tenslotte produceert het systeem ruimte-tijdplots die een specifiek aantal verborgen kamergenoten signaleren – discrete visuele handtekeningen:

Handtekening ruimte-tijdplots die verschillende aantallen verborgen personen in een kamer vertegenwoordigen.

Andere menselijke activiteiten zullen ook leiden tot handtekeningperturbaties die kunnen worden geclassificeerd en later herkend:

De ruimte-tijdplot-handtekeningen voor inactiviteit, lopen, hurken, handen wuiven en springen.

Om een geautomatiseerde machine learning-gebaseerde workflow voor verborgen persoonherkenning te produceren, werd gevarieerde beelden uit 20 geschikte scenario’s gebruikt om twee neurale netwerken te trainen die op breed vergelijkbare configuraties werken – één om het aantal personen in een scène te tellen en de andere om elke beweging te identificeren die optreedt.

Testen

De onderzoekers testten het getrainde systeem in tien ongezien reële omgevingen die zijn ontworpen om de beperkingen te simuleren die worden verwacht voor de uiteindelijke implementatie. Het systeem kon een nauwkeurigheid van maximaal 94,4% bereiken (over 256 frames – meestal net iets meer dan 8 seconden video) bij het classificeren van het aantal verborgen personen en maximaal 93,7% (onder dezelfde omstandigheden) bij het classificeren van activiteiten. Hoewel de nauwkeurigheid afneemt met minder bronframes, is het geen lineaire daling, en zelfs 64 frames zullen een nauwkeurigheidspercentage van 79,4% bereiken voor ‘aantal-mensen’-evaluatie (tegen bijna 95% voor vier keer zoveel frames).

Hoewel de methode robuust is tegen weersafhankelijke veranderingen in verlichting, heeft ze moeite in een scène die wordt verlicht door een televisie, of in omstandigheden waarin de personen monotone kleding dragen die dezelfde kleur hebben als de reflecterende muur.

Meer details over het onderzoek, waaronder hogekwalitatieve beelden van de extracties, kunnen worden gezien in de officiële video hieronder.