„Tajné trasy“, které mohou obejít systémy rozpoznávání chodců

Nová výzkumná spolupráce mezi Izraelem a Japonskem tvrdí, že systémy rozpoznávání chodců mají vrozené slabiny, které umožňují dobře informovaným osobám vyhnout se systémům rozpoznávání obličeje navigací pečlivě naplánovaných trasami přes oblasti, kde jsou sítě sledování nejméně efektivní.

S pomocí veřejně dostupných záznamů z Tokia, New Yorku a San Francisca vyvinuli výzkumníci automatizovanou metodu pro výpočet takových tras, založenou na nejčastěji používaných systémech rozpoznávání objektů, které jsou pravděpodobně používány v veřejných sítích.

Tři přechody použitých ve studii: Shibuya Crossing v Tokiu, Broadway v New Yorku a Castro District v San Francisku. Zdroj: https://arxiv.org/pdf/2501.15653

Pomocí této metody je možné generovat mapy spolehlivosti, které označují oblasti v rámci kamery, kde chodci jsou nejméně pravděpodobně rozpoznáni:

Na pravé straně vidíme mapu spolehlivosti generovanou metodou výzkumníků. Červené oblasti označují nízkou spolehlivost a konfiguraci postoje, polohy kamery a dalších faktorů, které pravděpodobně brání rozpoznání obličeje.

V teorii by taková metoda mohla být instrumentalizována do lokálně vědomé aplikace nebo jiné platformy pro šíření nej„rozpoznávacích“ tras z bodu A do bodu B v libovolné vypočítané lokalitě.

Nový článek navrhuje takovou metodologii, nazvanou Technika zvyšování soukromí na základě lokace (L-PET); navrhuje také protižáru nazvanou Adaptivní prah na základě lokace (L-BAT), která vlastně běží stejné rutiny, ale pak používá informace k posílení a zlepšení opatření sledování, místo nalezení způsobů, jak se vyhnout rozpoznání; a ve mnoha případech by takové zlepšení nebylo možné bez další investice do infrastruktury sledování.

Článek tedy vytváří potenciální technologickou válku eskalace mezi těmi, kteří se snaží optimalizovat své trasy, aby se vyhnuli detekci, a schopností systémů sledování plně využívat technologie rozpoznávání obličeje.

Předchozí metody obejití detekce jsou méně elegantní než tato a soustředí se na adverzární přístupy, jako jsou TnT Attacks, a použití vytištěných vzorů pro zmátění algoritmu detekce.

Práce z roku 2019 „Fooling automated surveillance cameras: adversarial patches to attack person detection“ demonstrovala adverzární vytištěný vzor schopný přesvědčit systém rozpoznávání, že nebyla detekována žádná osoba, umožňující určitou formu „nepozorovatelnosti“. Zdroj: https://arxiv.org/pdf/1904.08653

Výzkumníci za novým článkem pozorují, že jejich přístup vyžaduje méně přípravy, bez potřeby vynalézání adverzárních nositelných předmětů (viz obrázek výše).

Článek článku se nazývá Technika zvyšování soukromí pro vyhnout se detekci pouličními kamerami bez použití adverzárních doplňků a pochází od pěti výzkumníků z Ben-Gurionovy univerzity v Negevu a Fujitsu Limited.

Metoda a testy

V souladu s předchozími pracemi, jako je Adversarial Mask, AdvHat, adverzární vzory a různé další podobné práce, výzkumníci předpokládají, že chodec „útočník“ ví, který systém detekce objektů je použit v síti sledování. To je vlastně rozumný předpoklad, díky širokému přijetí otevřených zdrojových systémů, jako je YOLO, v systémech sledování od firem, jako je Cisco a Ultralytics (nyní centrální hnací síla ve vývoji YOLO).

Článek také předpokládá, že chodec má přístup k internetovému streamu zaměřenému na místa, která mají být vypočítána, což je rozumný předpoklad ve většině míst s intenzivním pokrytím.

Weby, jako je 511ny.org, nabízejí přístup k mnoha kamerám sledování v oblasti NYC. Zdroj: https://511ny.or

Kromě toho potřebuje chodec přístup k navrhované metodě a k samotné scéně (tj. přechodům a trasám, ve kterých má být stanoven „bezpečný“ průběh).

Pro vývoj L-PET vyhodnotili autoři účinek úhlu chodce vzhledem ke kameře; účinek výšky kamery; účinek vzdálenosti; a účinek denní doby. Pro získání základních skutečností vyfotografovali osobu v úhlech 0°, 45°, 90°, 135°, 180°, 225°, 270° a 315°.

Pozorování základních skutečností provedené výzkumníky.

Opakovali tyto varianty ve třech různých výškách kamery (0,6 m, 1,8 m, 2,4 m) a s různými osvětlovacími podmínkami (ráno, odpoledne, noc a „laboratorní“ podmínky).

Při krmení tohoto záznamu do Faster R-CNN a YOLOv3 detektorů objektů zjistili, že spolehlivost objektu závisí na ostrosti úhlu chodce, vzdálenosti chodce, výšce kamery a osvětlovacích podmínkách*.

Pak otestovali širší řadu detektorů objektů ve stejné scéně: Faster R-CNN; YOLOv3; SSD; DiffusionDet; a RTMDet.

Autoři uvádějí:

„Zjistili jsme, že všechny pět architektur detektorů objektů je ovlivněno polohou chodce a okolním světlem. Kromě toho jsme zjistili, že pro tři z pěti modelů (YOLOv3, SSD a RTMDet) účinek přetrvává ve všech úrovních okolního světla.“

Pro rozšíření rozsahu použili výzkumníci záznamy pořízené z veřejně dostupných kamer v třech lokalitách: Shibuya Crossing v Tokiu, Broadway v New Yorku a Castro District v San Francisku.

Každá lokalita poskytla mezi pěti a šesti záznamy, s přibližně čtyřmi hodinami záznamu na jeden záznam. Pro analýzu výkonu detekce byla z každého záznamu extrahována jedna snímka každých dvě sekundy a zpracována pomocí detektoru objektů Faster R-CNN. Pro každý pixel ve získaných snímcích odhadla metoda průměrnou spolehlivost „detekce osoby“ v tomto pixelu.

„Zjistili jsme, že ve všech třech lokalitách se spolehlivost detektoru objektů lišila v závislosti na poloze osob ve snímku. Například ve snímcích z Shibuya Crossing je velké množství oblastí s nízkou spolehlivostí dále od kamery, stejně jako blíže kameře, kde sloupek částečně zakrývá procházející chodce.“

Metoda L-PET je vlastně tento postup, který lze považovat za „zbranizovaný“ pro získání trasy přes městskou oblast, která je nejméně pravděpodobně rozpoznána jako chodec.

Naopak, L-BAT postupuje stejným způsobem, s tím rozdílem, že aktualizuje skóre v systému detekce, vytváří zpětnou vazbu navrženou k obejití přístupu L-PET a učinit „slepá“ místa systému více účinnými.

(V praktických termínech by však zlepšení pokrytí na základě získaných map spolehlivosti vyžadovalo více než jen upgrade kamery v očekávané poloze; na základě testovacích kritérií, včetně lokality, by vyžadovalo instalaci dalších kamer pro pokrytí zanedbávaných oblastí – proto by se dalo tvrdit, že metoda L-PET eskaluje tuto „studenou válku“ do velmi nákladné scénáře)

Průměrná spolehlivost detekce chodců pro každý pixel, napříč různými rámci detektorů, v pozorované oblasti Castro Street, analyzované napříč pěti videy. Každé video bylo zaznamenáno za různých osvětlovacích podmínek: východ slunce, denní doba, západ slunce a dvě různé noční nastavení. Výsledky jsou prezentovány samostatně pro každou osvětlovací scénu.

Po přeměně matice založené na pixelech na grafickou reprezentaci vhodnou pro úkol adaptovali výzkumníci algoritmus Dijkstra pro výpočet optimálních tras pro chodce, aby prošli oblastmi se sníženou detekcí sledování.

Místo nalezení nejkratší trasy byl algoritmus modifikován tak, aby minimalizoval spolehlivost detekce, přičemž oblasti s vysokou spolehlivostí byly považovány za oblasti s vyšší „nákladovostí“. Tato adaptace umožnila algoritmu identifikovat trasy procházející „slepými“ místy nebo oblastmi s nízkou detekcí, efektivními pro chodce, aby se vyhnuli trasám s nízkou viditelností pro systémy sledování.

Vizualizace znázorňující transformaci heatmapu scény z matice založené na pixelech na grafickou reprezentaci.

Výzkumníci vyhodnotili dopad systému L-BAT na detekci chodců pomocí datové sady vytvořené z výše uvedených čtyřhodinových záznamů veřejného provozu chodců. Pro vytvoření sady zpracovali jeden snímek každých dvě sekundy pomocí detektoru objektů SSD.

Z každého snímku vybrali jeden detekční rámeček obsahující detekovanou osobu jako pozitivní vzorek a další náhodnou oblast bez detekovaných osob jako negativní vzorek. Tyto dvojité vzorky tvořily datovou sadu pro hodnocení dvou modelů Faster R-CNN – jednoho s aplikovaným L-BAT a jednoho bez něj.

Výkon modelů byl hodnocen kontrolou přesnosti, s jakou identifikovaly pozitivní a negativní vzorky: detekční rámeček překrývající se s pozitivním vzorkem byl považován za pravdivý pozitivní, zatímco detekční rámeček překrývající se s negativním vzorkem byl označen jako falešný pozitivní.

Metriky používané pro určení spolehlivosti detekce L-BAT byly plocha pod křivkou (AUC); pravdivá pozitivní míra (TPR); falešná pozitivní míra (FPR); a průměrná pravdivá pozitivní spolehlivost. Výzkumníci tvrdí, že použití L-BAT zvýšilo spolehlivost detekce a udrželo vysokou pravdivou pozitivní míru (i když s mírným zvýšením falešných pozitivů).

Na závěr autoři poznamenávají, že přístup má einige omezení. Jedním z nich je, že generované mapy spolehlivosti jsou specifické pro určitou denní dobu. Ačkoli se o tom nezmiňují, to by naznačovalo, že by byla zapotřebí komplexnější, víceúrovňová metoda pro zohlednění denní doby v flexibilnějším nasazení.

Poznamenávají také, že mapy spolehlivosti se nepřevádějí na různé architektury modelů a jsou vázané na konkrétní model detektoru objektů. Jelikož navrhovaná práce je vlastně proof-of-concept, mohly by být vyvinuty i jiné, více propracované architektury, aby se vyřešil tento technický dluh.

Závěr

Jakýkoli nový útočný postup, pro který je řešení „platit za nové kamery sledování“, má určitou výhodu, protože rozšíření sítí kamer v oblastech s vysokou hustotou sledování může být politicky náročné, stejně jako představuje významné občanské výdaje, které obvykle vyžadují souhlas voličů.

Možná největší otázka, kterou práce klade, je „Zda uzavřené systémy sledování využívají otevřené zdrojové rámce SOTA, jako je YOLO?“. To je samozřejmě nemožné zjistit, protože tvůrci proprietárních systémů, které pohánějí tolik státních a občanských sítí kamer (alespoň ve Spojených státech), by mohli argumentovat, že zveřejnění takové informace by je vystavilo útokům.

Nicméně, migrace vládních IT a proprietárního kódu na globální a otevřené zdrojové kódy by naznačovala, že kdokoli, kdo testuje tvrzení autorů (například pomocí YOLO), by mohl okamžitě získat úspěch.

* Obvykle bych zahrnoval související výsledky tabulek, pokud jsou poskytovány v článku, ale v tomto případě je složitost tabulek článku neosvětlující pro běžného čtenáře, a proto je souhrn více užitečný.

První zveřejnění úterý 28. ledna 2025