„Rutele secrete” care pot învinge sistemele de recunoaștere a pietonilor

O nouă colaborare de cercetare între Israel și Japonia susține că sistemele de detectare a pietonilor posedă slăbiciuni inerente, permițând indivizilor bine informați să evite sistemele de recunoaștere facială prin navigarea pe rute planificate cu atenție prin zone în care rețelele de supraveghere sunt mai puțin eficiente.

Cu ajutorul înregistrărilor video publice din Tokyo, New York și San Francisco, cercetătorii au dezvoltat o metodă automată de calculare a unor astfel de trasee, pe baza celor mai populare sisteme de recunoaștere a obiectelor care sunt probabil să fie utilizate în rețelele publice.

Cele trei intersecții utilizate în studiu: Shibuya Crossing din Tokyo, Japonia; Broadway, New York; și Castro District, San Francisco. Sursă: https://arxiv.org/pdf/2501.15653

Prin această metodă, este posibil să se genereze hărți de căldură de încredere care delimitează zonele din fluxul de cameră în care pietonii sunt mai puțin probabil să ofere un rezultat pozitiv de recunoaștere facială:

În partea dreaptă, vedem harta de căldură generată de metoda cercetătorilor. Zonele roșii indică o încredere scăzută și o configurație de poziție, unghi de cameră și alți factori care sunt probabil să împiedice recunoașterea facială.

În teorie, o astfel de metodă ar putea fi instrumentalizată într-o aplicație conștientă de locație sau într-un alt fel de platformă pentru a disemina cele mai puțin „recunoscătoare” trasee de la A la B în orice locație calculată.

Noul articol propune o astfel de metodologie, intitulată Tehnică de îmbunătățire a confidențialității bazată pe locație (L-PET); el propune și o contramăsură intitulată Prag adaptiv bazat pe locație (L-BAT), care în esență rulează aceleași rutine, dar folosește informațiile pentru a întări și a îmbunătăți măsurile de supraveghere, în loc de a găsi modalități de a evita recunoașterea; și în multe cazuri, astfel de îmbunătățiri nu ar fi posibile fără o investiție suplimentară în infrastructura de supraveghere.

Articolul stabilește astfel un potențial război tehnologic de escaladă între cei care își optimizează rutele pentru a evita detectarea și capacitatea sistemelor de supraveghere de a face uz de tehnologiile de recunoaștere facială.

Metodele anterioare de a învinge detectarea sunt mai puțin elegante decât aceasta și se concentrează pe abordări adverse, cum ar fi Atacuri TnT și utilizarea modelelor imprimate pentru a confunda algoritmul de detectare.

Lucrarea din 2019 „Înșelarea camerelor de supraveghere automate: patch-uri adverse pentru a ataca detectarea persoanelor” a demonstrat un model imprimat advers care a convins un sistem de recunoaștere că nu a detectat nicio persoană, permițând o formă de „invizibilitate”. Sursă: https://arxiv.org/pdf/1904.08653

Cercetătorii din spatele noului articol observă că abordarea lor necesită mai puțină pregătire, fără a fi nevoie de a concepe accesorii adverse purtabile (a se vedea imaginea de mai sus).

Articolul articolul se intitulează O tehnică de îmbunătățire a confidențialității pentru a evita detectarea de către camerele de supraveghere stradale fără a utiliza accesorii adverse și provine de la cinci cercetători de la Universitatea Ben-Gurion din Negev și Fujitsu Limited.

Metodă și teste

În conformitate cu lucrări anterioare, cum ar fi Masca adversă, AdvHat, patch-uri adverse și diverse alte ieșiri similare, cercetătorii presupun că pietonul „atacator” știe care este sistemul de detectare a obiectelor utilizat în rețeaua de supraveghere. Acesta nu este, de fapt, o presupunere nerezonabilă, datorită adoptării pe scară largă a sistemelor open source de ultimă generație, cum ar fi YOLO, în sistemele de supraveghere de la companii precum Cisco și Ultralytics (în prezent, forța centrală care conduce dezvoltarea YOLO).

Articolul presupune, de asemenea, că pietonul are acces la un flux de internet fixat pe locațiile care urmează să fie calculate, ceea ce, din nou, este o presupunere rezonabilă în majoritatea locurilor care ar avea o intensitate de acoperire.

Site-urile precum 511ny.org oferă acces la multe camere de supraveghere din zona NYC. Sursă: https://511ny.or

Pe lângă aceasta, pietonul are nevoie de acces la metoda propusă și la scena în sine (adică, intersecțiile și rutele în care o „rută sigură” urmează să fie stabilită).

Pentru a dezvolta L-PET, autorii au evaluat efectul unghiului pietonului în raport cu camera; efectul înălțimii camerei; efectul distanței; și efectul orei din zi. Pentru a obține adevărul de bază, au fotografiat o persoană la unghiurile 0°, 45°, 90°, 135°, 180°, 225°, 270° și 315°.

Observațiile de bază efectuate de cercetători.

Ei au repetat aceste variații la trei înălțimi de cameră diferite (0,6 m, 1,8 m, 2,4 m) și cu condiții de iluminare variate (dimineața, după-amiaza, noaptea și „condiții de laborator”).

În urma alimentării acestor înregistrări cu Faster R-CNN și YOLOv3 detectoare de obiecte, au constatat că încrederea obiectului depinde de unghiul ascuțit al pietonului, de distanța pietonului, de înălțimea camerei și de condițiile de iluminare/vreme*.

Autorii au testat apoi o gamă mai largă de detectoare de obiecte în același scenariu: Faster R-CNN; YOLOv3; SSD; DiffusionDet; și RTMDet.

Autorii afirmă:

„Am descoperit că toate cinci arhitecturi de detectoare de obiecte sunt afectate de poziția pietonului și de lumina ambientală. În plus, am descoperit că pentru trei dintre cele cinci modele (YOLOv3, SSD și RTMDet) efectul persistă în toate nivelurile de lumină ambientală.”

Pentru a extinde domeniul de aplicare, cercetătorii au utilizat înregistrări video luate de la camere de supraveghere publice din trei locații: Shibuya Crossing din Tokyo, Broadway din New York și Castro District din San Francisco.

Fiecare locație a furnizat între cinci și șase înregistrări, cu aproximativ patru ore de înregistrare pe fiecare. Pentru a analiza performanța de detectare, a fost extras un cadru la fiecare două secunde și a fost procesat folosind un detectiv de obiecte Faster R-CNN. Pentru fiecare pixel din cadrul obținut, metoda a estimat încrederea medie a „detectării persoanei” a cutiilor de delimitare prezente în acel pixel.

„Am descoperit că în toate cele trei locații, încrederea detectivului de obiecte a variat în funcție de locația oamenilor în cadrul. De exemplu, în înregistrarea de la Shibuya Crossing, există zone mari de încredere scăzută mai departe de cameră, precum și mai aproape de cameră, unde un stâlp parțial obscură pietonii care trec.”

Metoda L-PET este, în esență, această procedură, care poate fi considerată „înarmată” pentru a obține o cale printr-o zonă urbană care este mai puțin probabil să rezulte în recunoașterea cu succes a pietonului.

În schimb, L-BAT urmează aceeași procedură, cu diferența că actualizează scorurile în sistemul de detectare, creând un buclă de feedback destinată să anuleze abordarea L-PET și să facă „zonele oarbe” ale sistemului mai eficiente.

(În termeni practici, cu toate acestea, îmbunătățirea acoperirii pe baza hărților de căldură obținute ar necesita mai mult decât doar o actualizare a camerei care stă în poziția așteptată; pe baza criteriilor de testare, inclusiv locația, ar necesita instalarea de camere suplimentare pentru a acoperi zonele neglijate – prin urmare, se poate argumenta că metoda L-PET escaladează acest „război rece” într-un scenariu foarte costisitor într-adevăr)

Încrederea medie de detectare a pietonilor pentru fiecare pixel, în diverse cadre de detectare, în zona observată a străzii Castro, analizată pe cinci videoclipuri. Fiecare videoclip a fost înregistrat în condiții de iluminare diferite: răsărit, zi, apus și două setări distincte de noapte. Rezultatele sunt prezentate separat pentru fiecare scenariu de iluminare.

Transformând reprezentarea matricială bazată pe pixeli într-o reprezentare grafică adecvată pentru sarcină, cercetătorii au adaptat algoritmul Dijkstra pentru a calcula căi optime pentru pietoni pentru a naviga prin zone cu detectare redusă de supraveghere.

În loc de a găsi calea cea mai scurtă, algoritmul a fost modificat pentru a minimiza încrederea de detectare, tratând regiunile cu încredere ridicată ca zone cu „cost” mai mare. Această adaptare a permis algoritmului să identifice rute care trec prin zone oarbe sau zone cu detectare scăzută, ghidând efectiv pietonii de-a lungul căilor cu vizibilitate redusă pentru sistemele de supraveghere.

O vizualizare care arată transformarea hărții de căldură a scenei dintr-o matrice bazată pe pixeli într-o reprezentare grafică.

Cercetătorii au evaluat impactul sistemului L-BAT asupra detectării pietonilor cu un set de date construit din înregistrările menționate de patru ore ale traficului pietonal public. Pentru a popula colecția, a fost procesat un cadru la fiecare două secunde folosind un detectiv de obiecte SSD.

De la fiecare cadru, a fost selectată o cutie de delimitare care conținea o persoană detectată ca un exemplu pozitiv și o altă zonă aleatoare fără oameni detectați ca un exemplu negativ. Aceste exemple pereche au format un set de date pentru evaluarea a două modele Faster R-CNN – unul cu L-BAT aplicat și unul fără.

Performanța modelelor a fost evaluată prin verificarea modului în care au identificat cu acuratețe exemplele pozitive și negative: o cutie de delimitare care se suprapunea peste un exemplu pozitiv a fost considerată un adevărat pozitiv, în timp ce o cutie de delimitare care se suprapunea peste un exemplu negativ a fost etichetată ca un fals pozitiv.

Metricile utilizate pentru a determina fiabilitatea detectării L-BAT au fost Aria sub curbă (AUC); rata de detectare adevărată (TPR); rata de fals pozitiv (FPR); și încrederea medie adevărată pozitivă. Cercetătorii afirmă că utilizarea L-BAT a îmbunătățit încrederea de detectare, menținând în același timp o rată ridicată de detectare adevărată (chiar dacă cu o ușoară creștere a falselor pozitive).

În încheiere, autorii notează că abordarea are unele limitări. Una dintre ele este că hărțile de căldură generate de metoda lor sunt specifice unei anumite ore din zi. Deși nu o explică, acest lucru ar indica că ar fi nevoie de o abordare mai cuprinzătoare și mai flexibilă pentru a lua în considerare ora din zi într-o implementare mai flexibilă.

Ei observă, de asemenea, că hărțile de căldură nu se vor transfera la arhitecturi de modele diferite și sunt legate de un anumit model de detectare a obiectelor. Deoarece lucrarea propusă este, în esență, o demonstrație a conceptului, arhitecturi mai abile ar putea, probabil, să fie dezvoltate, de asemenea, pentru a remedia această datorie tehnică.

Concluzie

Orice nouă metodă de atac pentru care soluția este „plata pentru noi camere de supraveghere” are un anumit avantaj, deoarece extinderea rețelelor de camere de supraveghere în zonele foarte supravegheate poate fi politic dificilă, precum și o cheltuială civică semnificativă care va necesita, de obicei, un mandat al votanților.

Probabil cea mai mare întrebare ridicată de această lucrare este „Utilizează sistemele de supraveghere cu sursă închisă cadre de lucru open source de ultimă generație, cum ar fi YOLO?”. Acest lucru este, desigur, imposibil de știut, deoarece producătorii sistemelor proprietare care alimentează atâtea rețele de camere de stat și civice (cel puțin în Statele Unite) ar argumenta că divulgarea unei astfel de utilizări i-ar expune la atac.

În orice caz, migrarea IT-ului guvernamental și a codului proprietar în cod deschis global ar sugera că oricine testează afirmația autorilor cu (de exemplu) YOLO ar putea lovi jackpotul imediat.

* Aș fi inclus, de obicei, rezultatele tabelelor relevante atunci când sunt furnizate în articol, dar în acest caz, complexitatea tabelelor articolului face ca acestea să fie neiluminante pentru cititorul obișnuit, și o sinteză este, prin urmare, mai utilă.

Publicat pentru prima dată marți, 28 ianuarie 2025