„Tajne trasy”, które mogą pokrzyżować systemy rozpoznawania pieszych

Nowe badanie przeprowadzone we współpracy Izraela i Japonii twierdzi, że systemy wykrywania pieszych posiadają wewnętrzne słabości, pozwalające osobom dobrze poinformowanym uniknąć systemów rozpoznawania twarzy, nawigując starannie zaplanowanymi trasami przez obszary, w których sieci nadzoru są najmniej skuteczne.

Dzięki pomocy publicznie dostępnego materiału wideo z Tokio, Nowego Jorku i San Francisco, badacze opracowali zautomatyzowaną metodę obliczania takich tras, opartą na najpopularniejszych systemach rozpoznawania obiektów, które prawdopodobnie są używane w publicznych sieciach.

Trzy skrzyżowania użyte w badaniu: Shibuya Crossing w Tokio, Japonia; Broadway, Nowy Jork; i Castro District, San Francisco. Źródło: https://arxiv.org/pdf/2501.15653

Metodą tą można wygenerować mapy cieplne ufności, które wyznaczają obszary w obrębie klatki wideo, w których piesi są najmniej prawdopodobni do pozytywnego rozpoznania twarzy:

Po prawej stronie widzimy mapę cieplną ufności wygenerowaną przez metodę badaczy. Czerwone obszary wskazują niską ufność, a konfigurację postawy, położenia kamery i innych czynników, które mogą utrudnić rozpoznanie twarzy.

W teorii taka metoda mogłaby być wykorzystana w aplikacji zorientowanej na lokalizację lub innej platformie do rozpowszechniania tras najmniej „przyjaznych rozpoznaniu” z punktu A do punktu B w dowolnej obliczonej lokalizacji.

Nowy artykuł proponuje taką metodologię, zatytułowaną Technika poprawy prywatności oparta na lokalizacji (L-PET); proponuje również przeciwwagę zatytułowaną Progowa granica adaptacyjna oparta na lokalizacji (L-BAT), która podstawowo wykonuje te same rutyny, ale wykorzystuje informacje do wzmocnienia i poprawy środków nadzoru, zamiast wymyślania sposobów uniknięcia rozpoznania; i w wielu przypadkach takie udoskonalenia nie byłyby możliwe bez dalszych inwestycji w infrastrukturę nadzoru.

Artykuł stwarza więc potencjalną wojnę technologiczną eskalacji między tymi, którzy starają się zoptymalizować swoje trasy, aby uniknąć wykrycia, a możliwością systemów nadzoru do pełnego wykorzystania technologii rozpoznawania twarzy.

Poprzednie metody uniknięcia wykrycia są mniej eleganckie niż ta, i opierają się na adwersyjnych podejściach, takich jak TnT Attacks, i użyciu drukowanych wzorów w celu zmylenia algorytmu wykrywania.

Praca z 2019 roku „Fooling automated surveillance cameras: adversarial patches to attack person detection” wykazała adwersyjny drukowany wzór zdolny do przekonania systemu rozpoznawania, że nie wykryto osoby, umożliwiając rodzaj „niewidzialności”. Źródło: https://arxiv.org/pdf/1904.08653

Badacze zaangażowani w nowy artykuł obserwują, że ich podejście wymaga mniej przygotowań, bez potrzeby opracowania adwersyjnych przedmiotów noszonych (patrz zdjęcie powyżej).

Artykuł artykuł nosi tytuł Technika poprawy prywatności do uniknięcia wykrycia przez kamery uliczne bez użycia adwersyjnych akcesoriów, i pochodzi od pięciu badaczy z Ben-Gurion University of the Negev i Fujitsu Limited.

Metoda i testy

Zgodnie z poprzednimi pracami, takimi jak Adversarial Mask, AdvHat, adwersyjne patche, i inne podobne prace, badacze zakładają, że pieszy „atakujący” wie, jaki system wykrywania obiektów jest używany w sieci nadzoru. To założenie nie jest nierozsądne, ze względu na powszechne przyjęcie najnowszych systemów open source, takich jak YOLO w systemach nadzoru firm takich jak Cisco i Ultralytics (obecnie główny motor napędowy rozwoju YOLO).

Artykuł zakłada również, że pieszy ma dostęp do strumienia na żywo w internecie, skupionego na lokalizacjach do obliczenia, co, ponownie, jest rozumnym założeniem w większości miejsc, które prawdopodobnie mają intensywny zasięg.

Strony takie jak 511ny.org oferują dostęp do wielu kamer nadzoru w obszarze NYC. Źródło: https://511ny.or

Ponadto, pieszy potrzebuje dostępu do proponowanej metody i samej sceny (tj. skrzyżowań i tras, w których „bezpieczna” trasa ma być ustanowiona).

Aby opracować L-PET, autorzy ocenili wpływ kąta pieszego w stosunku do kamery; wpływ wysokości kamery; wpływ odległości; i wpływ pory dnia. Aby uzyskać prawdę, sfotografowali osobę pod kątem 0°, 45°, 90°, 135°, 180°, 225°, 270° i 315°.

Obserwacje przeprowadzone przez badaczy.

Powtórzyli te zmienne przy trzech różnych wysokościach kamery (0,6 m, 1,8 m, 2,4 m) i z różnymi warunkami oświetlenia (poranek, popołudnie, noc i „lab” warunki).

Karmiąc ten materiał wideo do Faster R-CNN i YOLOv3 wykrywaczy obiektów, stwierdzili, że ufność obiektu zależy od kąta pieszego, odległości pieszego, wysokości kamery i warunków oświetlenia*.

Następnie przetestowali szerszy zakres wykrywaczy obiektów w tym samym scenariuszu: Faster R-CNN; YOLOv3; SSD; DiffusionDet; i RTMDet.

Autorzy stwierdzają:

„Stwierdziliśmy, że wszystkie pięć architektur wykrywaczy obiektów jest wpływanych przez położenie pieszego i światło otoczenia. Ponadto stwierdziliśmy, że dla trzech z pięciu modeli (YOLOv3, SSD i RTMDet) efekt utrzymuje się we wszystkich poziomach światła otoczenia”.

Aby rozszerzyć zakres, badacze wykorzystali materiał wideo z trzech lokalizacji: Shibuya Crossing w Tokio, Broadway w Nowym Jorku i Castro District w San Francisco.

Każda lokalizacja dostarczyła od pięciu do sześciu nagrań, z około czterema godzinami materiału wideo na nagranie. Aby przeanalizować wydajność wykrywania, jeden klatka został wyodrębniony co dwie sekundy i przetworzony przy użyciu wykrywacza obiektów Faster R-CNN. Dla każdego piksela w uzyskanych klatkach metoda oszacowała średnią ufność wykrywania obiektu „osoba” w tym pikselu.

„Stwierdziliśmy, że we wszystkich trzech lokalizacjach ufność wykrywacza obiektu różniła się w zależności od położenia ludzi w klatce. Na przykład w nagraniu z Shibuya Crossing, istnieją duże obszary niskiej ufności zarówno z dala od kamery, jak i bliżej kamery, gdzie słup częściowo zasłania przechodzących pieszych”.

Metoda L-PET jest podstawowo tą procedurą, można powiedzieć, „uzbrojoną” w celu uzyskania trasy przez obszar miejski, który jest najmniej prawdopodobny do wykrycia pieszego.

W przeciwieństwie do tego, L-BAT podąża tą samą procedurą, z tą różnicą, że aktualizuje wyniki w systemie wykrywania, tworząc pętlę sprzężenia zwrotnego zaprojektowaną do uniknięcia podejścia L-PET i uczynienia „ślepych obszarów” systemu bardziej skutecznymi.

(W praktyce jednak poprawa pokrycia na podstawie uzyskanych map cieplnych wymagałaby więcej niż tylko uaktualnienia kamery siedzącej w oczekiwanym położeniu; na podstawie kryteriów testowych, w tym lokalizacji, wymagałoby zainstalowania dodatkowych kamer w celu pokrycia zaniedbanych obszarów – można więc powiedzieć, że metoda L-PET eskaluje tę konkretną „zimną wojnę” w bardzo drogi scenariusz)

Średnia ufność wykrywania pieszego dla każdego piksela, w różnych ramach wykrywaczy, w obserwowanym obszarze Castro Street, analizowanym w pięciu filmach. Każdy film został nagrany w różnych warunkach oświetlenia: wschód słońca, dzień, zachód słońca i dwa różne ustawienia nocne. Wyniki są przedstawione oddzielnie dla każdego scenariusza oświetlenia.

Przekształcając macierz pikseli w reprezentację graficzną odpowiednią do zadania, badacze dostosowali algorytm Dijkstra do obliczania optymalnych tras dla pieszych, aby nawigować przez obszary z zmniejszonym wykryciem nadzoru.

Zamiast szukać najkrótszej trasy, algorytm został zmodyfikowany, aby zminimalizować ufność wykrywania, traktując obszary o wysokiej ufności jako obszary o wyższych „kosztach”. To dostosowanie pozwoliło algorytmowi identyfikować trasy przechodzące przez punkty ślepe lub obszary o niskim wykryciu, skutecznie prowadząc pieszych wzdłuż tras o zmniejszonej widoczności dla systemów nadzoru.

Wizualizacja przedstawiająca transformację mapy cieplnej sceny z macierzy pikseli w reprezentację graficzną.

Badacze ocenili wpływ systemu L-BAT na wykrywanie pieszych z zestawem danych zbudowanym z wcześniej wspomnianych nagrań czterogodzinnych ruchu pieszego. Aby zaludnić kolekcję, jeden klatka został przetworzony co dwie sekundy przy użyciu wykrywacza obiektów SSD.

Z każdego klatki wybrano jeden prostokąt obejmujący wykrytą osobę jako próbkę pozytywną, a inny losowy obszar bez wykrytych osób jako próbkę negatywną. Te dwie próbki utworzyły zestaw danych do oceny dwóch modeli Faster R-CNN – jeden z zastosowanym L-BAT i jeden bez.

Wydajność modeli została oceniona, sprawdzając, jak dokładnie identyfikują one próbki pozytywne i negatywne: prostokąt obejmujący próbkę pozytywną został uznany za prawdziwy pozytyw, podczas gdy prostokąt obejmujący próbkę negatywną został oznaczony jako fałszywy pozytyw.

Metryki użyte do określenia niezawodności wykrywania L-BAT były powierzchnia pod krzywą (AUC); współczynnik prawdziwych pozytywów (TPR); fałszywy współczynnik pozytywny (FPR); i średnia ufność prawdziwych pozytywów. Badacze twierdzą, że użycie L-BAT poprawiło ufność wykrywania, utrzymując wysoki współczynnik prawdziwych pozytywów (choć z niewielkim wzrostem fałszywych pozytywów).

Na zakończenie autorzy zauważają, że podejście ma pewne ograniczenia. Jednym z nich jest to, że mapy cieplne wygenerowane przez ich metodę są specyficzne dla określonej pory dnia. Chociaż nie rozwijają tego, wskazuje to, że bardziej złożone podejście byłoby potrzebne do uwzględnienia pory dnia w bardziej elastycznym wdrożeniu.

Zauważają również, że mapy cieplne nie będą przenoszone do innych architektur modeli, i są związane z konkretnym modelem wykrywacza obiektów. Ponieważ proponowana praca jest podstawowo dowodem pojęciowym, bardziej zaawansowane architektury mogłyby również zostać opracowane, aby naprawić ten techniczny dług.

Wnioski

Każda nowa metoda ataku, dla której rozwiązaniem jest „zakup nowych kamer nadzoru”, ma pewne przewagi, ponieważ rozwinięcie sieci kamer w obszarach o wysokim nasileniu nadzoru może być politycznie wyzwaniem, a także reprezentuje znaczne wydatki publiczne, które zwykle wymagają mandatu wyborczego.

Być może największym pytaniem postawionym przez tę pracę jest „Czy systemy nadzoru zamykane wykorzystują otwarte ramy SOTA, takie jak YOLO?”. To, oczywiście, jest niemożliwe do ustalenia, ponieważ twórcy systemów własnościowych, które napędzają wiele sieci kamer państwowych i miejskich (przynajmniej w USA), utrzymują, że ujawnienie takiego użycia mogłoby ich narażać na ataki.

Niemniej jednak, migracja IT rządowych i kodu własnościowego do globalnego i otwartego kodu źródłowego sugeruje, że ktokolwiek testujący twierdzenie autorów (na przykład z YOLO) mógłby natychmiast trafić w dziesiątkę.

* Zazwyczaj dołączam powiązane wyniki tabeli, gdy są one dostarczone w artykule, ale w tym przypadku złożoność tabel artykułu sprawia, że są one niejasne dla czytelnika, a podsumowanie jest więc bardziej przydatne.

Publikacja po raz pierwszy we wtorek, 28 stycznia 2025