Sztuczna inteligencja odkrywa tajną aktywność ujawnioną przez puste ściany

Współpraca badawcza, w której uczestniczą przedstawiciele NVIDIA i MIT, opracowała metodę sztucznej inteligencji, która może identyfikować ukryte osoby, po prostu obserwując pośrednie oświetlenie na pobliskiej ścianie, nawet wtedy, gdy osoby te nie są w pobliżu źródeł światła. Metoda ta ma dokładność wynoszącą prawie 94%, gdy próbuje określić liczbę ukrytych osób i może również identyfikować konkretną aktywność ukrytej osoby, znacznie zwiększając odbicia światła, które są niewidoczne dla ludzkich oczu i standardowych metod powiększania obrazu.

Niewidoczne perturbacje światła, powiększone za pomocą nowej metody, która wykorzystuje sieci neuronowe do identyfikacji obszarów zmian. Źródło: https://www.youtube.com/watch?v=K4PapXyX-bI

Nowy artykuł nosi tytuł Czego możesz się dowiedzieć, patrząc na pustą ścianę, a wśród jego autorów znajdują się przedstawiciele NVIDIA, MIT, a także Izraelskiego Instytutu Technologicznego.

Poprzednie podejścia do “widzenia za ścianami” opierały się na kontrolowanych źródłach światła lub wcześniej znanych źródłach zakrycia, podczas gdy nowa technika może być stosowana w dowolnym nowym pomieszczeniu, bez potrzeby ponownej kalibracji. Dwie sieci neuronowe, które identyfikują ukryte osoby, wykorzystywały dane uzyskane z zaledwie 20 scen.

Projekt ten skierowany jest do sytuacji o wysokim ryzyku, wymagających bezpieczeństwa, takich jak operacje poszukiwawcze, ogólne zadania nadzoru policyjnego, scenariusze odpowiedzi na sytuacje awaryjne, wykrywanie upadków wśród osób starszych, a także jako środek do wykrywania ukrytych pieszych przez pojazdy autonomiczne.

Ocena bierna

Jak to często bywa w przypadku projektów związanych z widzeniem komputerowym, głównym zadaniem było zidentyfikowanie, sklasyfikowanie i operacjonalizowanie postrzeganych zmian stanu w strumieniu obrazu. Łączenie tych zmian prowadzi do wzorów sygnatur, które mogą być wykorzystane do identyfikacji liczby osób lub wykrycia aktywności jednej lub więcej osób.

Praca ta otwiera możliwość całkowicie biernego badania sceny, bez potrzeby wykorzystania powierzchni odbijających, sygnałów Wi-Fi, radaru, dźwięku lub innych “specjalnych okoliczności” wymaganych w innych badaniach z ostatnich lat, które próbowały ustalić ukrytą obecność ludzi w niebezpiecznym lub krytycznym środowisku.

Przykładowy scenariusz zbierania danych wykorzystywany w nowych badaniach. Osoby są starannie umieszczane w taki sposób, aby nie rzucać cieni ani nie zakrywać źródeł światła, a także nie są dozwolone powierzchnie odbijające ani inne “sztuczki”. Źródło: https://arxiv.org/pdf/2108.13027.pdf

Skutecznie, światło otoczenia w typowym scenariuszu przewidzianym dla zastosowania byłoby przytłaczające dla każdej nieznacznej perturbacji spowodowanej przez odbite światło od ludzi ukrytych gdzie indziej w scenie. Badacze obliczają, że wkład perturbacji światła ze strony osób byłby zwykle mniejszy niż 1% całkowitego widocznego światła.

Usuwanie oświetlenia statycznego

Aby wyodrębnić ruch z pozornie statycznego obrazu ściany, konieczne jest obliczenie średniej czasowej wideo i usunięcie jej z każdego klatki. Wynikowe wzory ruchu są zwykle poniżej progu szumu nawet dobrych jakościowo urządzeń wideo, a w efekcie wiele ruchu występuje w przestrzeni negatywnych pikseli.

Aby naprawić to, badacze zmniejszają rozdzielczość wideo o czynnik 16 i zwiększają wynikowy film o czynnik 50, dodając przy tym poziom średniego szarości, aby wykryć obecność negatywnych pikseli (które nie mogłyby być uwzględnione przez szum czujnika wideo).

Różnica między ludzkim postrzeganiem ściany a wyodrębnioną perturbacją ukrytych osób. Ponieważ jakość obrazu jest kluczowym problemem w tym badaniu, proszę odnieść się do oficjalnego filmu na końcu artykułu, aby zobaczyć wyższej jakości obraz.

Okno możliwości postrzegania ruchu jest bardzo kruche i może być wpływane nawet przez miganie świateł o częstotliwości 60 Hz. Dlatego też ta naturalna perturbacja również musi być oceniona i usunięta z filmu przed pojawieniem się ruchu wywołanego przez osoby.

W końcu system wytwarza wykresy czasoprzestrzenne, które sygnalizują określoną liczbę ukrytych mieszkańców pomieszczenia – dyskretne sygnatury wizualne:

Sygnatury wykresów czasoprzestrzennych reprezentujące różną liczbę ukrytych osób w pomieszczeniu.

Różne działania ludzi również spowodują sygnatury perturbacji, które mogą być sklasyfikowane i później rozpoznane:

Sygnatury wykresów czasoprzestrzennych dla bezczynności, chodzenia, kucania, machania rękami i skakania.

Aby wytworzyć zautomatyzowany przepływ pracy oparty na sztucznej inteligencji do rozpoznawania ukrytych osób, wykorzystano różne filmy z 20 odpowiednich scenariuszy do szkolenia dwóch sieci neuronowych działających w podobnych konfiguracjach – jednej do liczenia liczby osób w scenie i drugiej do identyfikacji ruchu.

Testowanie

Badacze przetestowali wyszkolony system w dziesięciu niewidocznych środowiskach rzeczywistych zaprojektowanych w celu odtworzenia ograniczeń przewidzianych dla ostatecznego wdrożenia. System był w stanie osiągnąć dokładność do 94,4% (przy 256 klatkach – co odpowiada około 8 sekundom wideo) w klasyfikacji liczby ukrytych osób i do 93,7% (w tych samych warunkach) w klasyfikacji działań. Chociaż dokładność maleje z mniejszą liczbą klatek źródłowych, nie jest to liniowy spadek, a nawet 64 klatki osiągną wskaźnik dokładności 79,4% dla “liczby osób” (w porównaniu z prawie 95% dla czterokrotnie większej liczby klatek).

Chociaż metoda jest odporna na zmiany warunków pogodowych, ma trudności w scenie oświetlonej przez telewizor lub w sytuacjach, w których osoby noszą ubrania o monotonnej barwie, takiej samej jak kolor ściany odbijającej.

Więcej szczegółów dotyczących badań, w tym wyższej jakości filmy z wyodrębnionymi perturbacjami, można zobaczyć w oficjalnym filmie poniżej.