AI Odkrywa Tajną Działalność Ujawnioną Przez Puste Ściany

Współpraca badawcza, w której brali udział również przedstawiciele NVIDIA i MIT, opracowała metodę machine learning, która pozwala identyfikować ukryte osoby, po prostu obserwując pośrednie oświetlenie na pobliskiej ścianie, nawet wtedy, gdy osoby te nie znajdują się w pobliżu źródeł światła. Metoda ta ma dokładność wynoszącą prawie 94%, gdy próbuje określić liczbę ukrytych osób i może również identyfikować konkretną działalność ukrytej osoby, znacznie zwiększając odbicia światła, które są niewidoczne dla ludzkich oczu i standardowych metod powiększania obrazu.

Imperceptible perturbations of light, amplified by the new method, which uses convolutional neural networks to identify areas of change. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

Nowy artykuł nosi tytuł Czego Można Nauczyć Się, Patrząc Na Pustą Ścianę, a w jego opracowaniu brali udział również przedstawiciele NVIDIA i MIT, a także Izraelski Instytut Technologiczny.

Poprzednie podejścia do “widzenia za ścianami” opierały się na kontrolowanych źródłach światła lub wcześniej znanych źródłach zakrycia, podczas gdy nowa technika może być stosowana w dowolnym nowym pomieszczeniu, bez potrzeby ponownej kalibracji. Dwa sieci neuronowe, które identyfikują ukryte osoby, wykorzystywały dane uzyskane z zaledwie 20 scen.

Projekt ten skierowany jest do sytuacji o wysokim ryzyku, krytycznych pod względem bezpieczeństwa, takich jak operacje poszukiwawczo-ratunkowe, ogólne zadania nadzoru policyjnego, sytuacje awaryjne, wykrywanie upadków wśród osób starszych, a także jako sposób wykrywania ukrytych pieszych przez pojazdy autonomiczne.

Ocena Bierna

Jak to często bywa w przypadku projektów związanych z komputerowym widzeniem, głównym zadaniem było identyfikowanie, klasyfikowanie i operacjonalizowanie postrzeganych zmian stanu w strumieniu obrazu. Łączenie tych zmian prowadzi do wzorów sygnaturowych, które mogą być wykorzystane do identyfikacji liczby osób lub wykrycia działalności jednej lub więcej osób.

Praca ta otwiera możliwość całkowicie biernej oceny sceny, bez potrzeby wykorzystania powierzchni odbijających, sygnałów Wi-Fi, radaru, dźwięku lub jakichkolwiek innych “specjalnych okoliczności” wymaganych w innych badaniach z ostatnich lat, które próbowały ustalić ukrytą obecność ludzi w niebezpiecznym lub krytycznym środowisku.

Przykładowa scena zbierania danych, jakiej użyto w nowych badaniach. Osoby są starannie ustawione, aby nie rzucać cieni ani nie zakrywać bezpośrednio źródeł światła, a także nie są dozwolone powierzchnie odbijające ani inne ‘sztuczki’. Source: https://arxiv.org/pdf/2108.13027.pdf

W istocie, światło otoczenia w typowym scenariuszu przewidzianym dla zastosowania byłoby przytłaczające dla wszelkich niewielkich perturbacji spowodowanych odbitym światłem od ukrytych osób w scenie. Naukowcy obliczają, że wkład perturbacji światła ze strony osób byłby zwykle mniejszy niż 1% widocznego światła.

Usuwanie Statycznego Oświetlenia

Aby wyodrębnić ruch z pozornie statycznego obrazu ściany, konieczne jest obliczenie średniej czasowej wideo i usunięcie jej z każdego klatki. Wynikowe wzory ruchu są zwykle poniżej progu szumu nawet dobrych jakościowo urządzeń wideo, a w efekcie większość ruchu występuje w przestrzeni negatywnych pikseli.

Aby to naprawić, naukowcy zmniejszają rozdzielczość wideo o czynnik 16 i zwiększają wynikające z tego nagranie o czynnik 50, dodając przy tym poziom średniego szarości, aby rozpoznać obecność pikseli negatywnych (które nie mogłyby być uwzględnione przez podstawowy szum czujnika wideo).

Różnica między ścianą postrzeganą przez człowieka a wyodrębnioną perturbacją ukrytych osób. Ponieważ jakość obrazu jest kluczowym problemem w tym badaniu, proszę odnieść się do oficjalnego filmu na końcu artykułu, aby zobaczyć wyższej jakości obraz.

Okno możliwości postrzegania ruchu jest bardzo kruche i może być wpływane nawet przez migotanie świateł o częstotliwości 60 Hz. Dlatego też ta naturalna perturbacja musi być również oceniona i usunięta z nagrania przed pojawieniem się ruchu wywołanego przez osoby.

W końcu system produkuje wykresy czasoprzestrzenne, które sygnalizują określoną liczbę ukrytych mieszkańców pokoju – dyskretne sygnatury wizualne:

Sygnatury wykresów czasoprzestrzennych reprezentujące różną liczbę ukrytych osób w pokoju.

Różne działania ludzi również powodują sygnatury perturbacji, które mogą być klasyfikowane i później rozpoznawane:

Sygnatury wykresów czasoprzestrzennych dla bezczynności, chodzenia, kucających, machających rękami i skaczących.

Aby wytworzyć zautomatyzowany przepływ pracy oparty na machine learning do rozpoznawania ukrytych osób, wykorzystano różne nagrania z 20 odpowiednich scenariuszy do trenowania dwóch sieci neuronowych działających w podobnych konfiguracjach – jednej do liczenia liczby osób w scenie, a drugiej do identyfikowania ruchu.

Testowanie

Naukowcy przetestowali wytrenowany system w dziesięciu nieznanym, rzeczywistym środowiskach zaprojektowanych w celu odtworzenia ograniczeń przewidzianych dla ostatecznego wdrożenia. System był w stanie osiągnąć dokładność do 94,4% (przez 256 klatek – zwykle nieco ponad 8 sekund wideo) w klasyfikacji liczby ukrytych osób i do 93,7% dokładności (w tych samych warunkach) w klasyfikacji działań. Chociaż dokładność maleje z mniejszą liczbą klatek, nie jest to liniowy spadek, a nawet 64 klatki mogą osiągnąć 79,4% wskaźnik dokładności dla “liczby osób” (w porównaniu z prawie 95% dla czterokrotnie większej liczby klatek).

Chociaż metoda jest odporna na zmiany w oświetleniu spowodowane warunkami pogodowymi, ma trudności w scenie oświetlonej przez telewizor lub w sytuacjach, w których osoby noszą monochromatyczne ubranie w tym samym kolorze, co odbijająca ściana.

Więcej szczegółów na temat badań, w tym wyższej jakości nagrania ekstrakcji, można zobaczyć w oficjalnym filmie poniżej.