AI Odhaluje Skrytou Činnost Zjevnou Z Prázdných Stěn

Výzkumná spolupráce, včetně přispěvatelů z NVIDIA a MIT, vyvinula metodu strojového učení, která může identifikovat skryté osoby jednoduše pozorováním nepřímého osvětlení na blízké zdi, i když osoby nejsou nikde blízko světelných zdrojů. Metoda má přesnost blízko 94 % při pokusu o identifikaci počtu skrytých osob a může také identifikovat konkrétní činnost skryté osoby masivním zesílením odrazů světla, které jsou neviditelné pro lidské oči a pro standardní metody zesílení obrazu.

Nezřetelné perturbace světla, zesílené novou metodou, která používá konvoluční neuronové sítě k identifikaci oblastí změny. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

Nová práce je nazvaná Co můžete naučit pozorováním prázdné zdi, s příspěvky z NVIDIA a MIT, stejně jako z Izraelského technologického institutu.

Předchozí přístupy k “vidění za zdmi” spoléhaly na ovladatelné světelné zdroje nebo předchozí znalosti známých zdrojů zakrytí, zatímco nová technika se může zobecnit na jakoukoli novou místnost, bez požadavku na opětovnou kalibraci. Dvě konvoluční neuronové sítě, které identifikují skryté osoby, používaly data získaná pouze z 20 scén.

Tento projekt je zaměřen na vysoce rizikové, bezpečnostně kritické situace, pro vyhledávací a záchranné operace, obecné úkoly policejního dohledu, scénáře nouzové reakce, pro detekci pádu u starších lidí a jako prostředek k detekci skrytých chodců pro autonomní vozidla.

Pasivní Hodnocení

Jak je často případ u projektů počítačového vidění, centrálním úkolem bylo identifikovat, klasifikovat a operacionalizovat vnímané změny stavu v obrazovém proudu. Spojování změn vede k signálním vzorům, které lze použít buď k identifikaci počtu jedinců nebo k detekci činnosti jednoho nebo více jedinců.

Práce otevírá možnost完全ně pasivního hodnocení scény, bez potřeby využití odrazivých ploch, Wi-Fi signálů, radaru, zvuku nebo jakýchkoli jiných “zvláštních okolností” vyžadovaných v jiných výzkumných úsilích posledních let, které se snažily stanovit skrytou lidskou přítomnost v nebezpečném nebo kritickém prostředí.

Ukázka scénáře sběru dat používaného pro novou práci. Předměty jsou pečlivě umístěny tak, aby nezahalovaly stíny nebo přímo nezakrývaly světla, a nejsou povoleny žádné odrazivé plochy nebo jiné “podvodné” vektory. Source: https://arxiv.org/pdf/2108.13027.pdf

Účinně, okolní světlo pro typickou scénu, kterou lze použít pro aplikaci, by přehlušilo jakékoli malé perturbace způsobené odraženým světlem od lidí skrytých jinde ve scéně. Výzkumníci vypočítali, že příspěvek světelného rušení jednotlivců by byl obvykle menší než 1 % celkového viditelného světla.

Odstranění Statického Osvětlení

Abyste mohli extrahovat pohyb z zdánlivě statického obrazu zdi, je nutné vypočítat temporální průměr videa a odebrat jej z každého snímku. Výsledné vzory pohybu jsou obvykle pod prahem šumu even dobré kvality video zařízení, a ve skutečnosti většina pohybu se vyskytuje v negativním pixelovém prostoru.

Aby se tomu zabránilo, výzkumníci snížili vzorkovací frekvenci videa o faktor 16 a zvýšili výsledné video o faktor 50, zatímco přidali střední šedou úroveň, aby zjistili přítomnost negativních pixelů (které nemohly být vysvětleny základním šumem videa).

Rozdíl mezi lidsky vnímanou zdí a extrahovanými perturbacemi skrytých jedinců. Protože kvalita obrazu je centrálním problémem tohoto výzkumu, prosím odkážete na oficiální video na konci článku pro vyšší kvalitu obrazu.

Okno příležitosti k vnímání pohybu je velmi křehké a může být ovlivněno i blikáním světel na frekvenci 60 Hz. Proto je také nutné vyhodnotit a odebrat tuto přirozenou perturbaci ze záběru, než se objeví pohyb způsobený osobami.

Nakonec systém produkuje prostorově-časové grafy, které signalizují konkrétní počet skrytých obyvatel místnosti – diskrétní vizuální signály:

Signální prostorově-časové grafy reprezentující různé počty skrytých lidí v místnosti.

Různé lidské činnosti také vedou k signálním perturbacím, které lze klasifikovat a později rozpoznat:

Prostorově-časové grafy signálů pro nečinnost, chůzi, kleknutí, mávání rukama a skákání.

Aby se vytvořil automatizovaný workflow založený na strojovém učení pro rozpoznávání skrytých osob, byl použit různý záběr z 20 scén, aby se trénovaly dvě neuronové sítě, které fungují na obdobných konfiguracích – jedna k počítání počtu osob ve scéně a druhá k identifikaci pohybu, který se vyskytuje.

Testování

Výzkumníci otestovali trénovaný systém v deseti neviditelných reálných prostředích, která byla navržena tak, aby rekonstruovala omezení předpokládaná pro konečnou implementaci. Systém dosáhl až 94,4% přesnosti (přes 256 snímků – obvykle asi 8 sekund videa) při klasifikaci počtu skrytých osob a až 93,7% přesnosti (za stejných podmínek) při klasifikaci aktivit. Ačkoli přesnost klesá s menším počtem zdrojových snímků, není to lineární pokles, a dokonce i 64 snímků dosáhne 79,4% přesnosti pro “počet osob” (proti téměř 95% pro čtyřnásobný počet snímků).

Ačkoli metoda je robustní vůči povětrnostním změnám osvětlení, má potíže ve scéně osvětlené televizí, nebo v případech, kdy osoby nosí monotónní oblečení stejné barvy jako odrazivá stěna.

Více informací o výzkumu, včetně vyšší kvality záběrů extrahovaných perturbací, lze vidět v oficiálním videu níže.