Le ‘Rotte Segrete’ Che Possono Foil il Riconoscimento dei Pedoni

Una nuova collaborazione di ricerca tra Israele e Giappone sostiene che i sistemi di rilevamento pedonale possiedono punti deboli intrinseci, consentendo a individui ben informati di evitare i sistemi di riconoscimento facciale navigando lungo percorsi attentamente pianificati in aree in cui le reti di sorveglianza sono meno efficaci.

Con l’aiuto di footage pubblicamente disponibile da Tokyo, New York e San Francisco, i ricercatori hanno sviluppato un metodo automatizzato per calcolare tali percorsi, basato sui sistemi di riconoscimento degli oggetti più popolari probabilmente utilizzati nelle reti pubbliche.

I tre incroci utilizzati nello studio: Shibuya Crossing a Tokyo, Giappone; Broadway, New York; e Castro District, San Francisco. Fonte: https://arxiv.org/pdf/2501.15653

Con questo metodo, è possibile generare mappa di calore della fiducia che delimita le aree all’interno del feed della telecamera in cui i pedoni sono meno probabili di fornire un riconoscimento facciale positivo:

A destra, vediamo la mappa di calore della fiducia generata dal metodo dei ricercatori. Le aree rosse indicano bassa fiducia e una configurazione di posizione, angolo della telecamera e altri fattori che possono impedire il riconoscimento facciale.

In teoria, un tale metodo potrebbe essere strumentalizzato in un’applicazione consapevole della posizione o in una piattaforma per diffondere i percorsi meno ‘riconoscibili’ da A a B in qualsiasi posizione calcolata.

Il nuovo articolo propone una tale metodologia, intitolata Tecnica di Miglioramento della Privacy basata sulla Posizione (L-PET); propone anche una contromisura intitolata Soglia Adattiva basata sulla Posizione (L-BAT), che sostanzialmente esegue le stesse routine, ma utilizza le informazioni per rafforzare e migliorare le misure di sorveglianza, invece di escogitare modi per evitare di essere riconosciuti; e in molti casi, tali miglioramenti non sarebbero possibili senza ulteriori investimenti nella infrastruttura di sorveglianza.

L’articolo stabilisce quindi una potenziale guerra tecnologica di escalation tra coloro che cercano di ottimizzare i propri percorsi per evitare la rilevazione e la capacità dei sistemi di sorveglianza di utilizzare appieno le tecnologie di riconoscimento facciale.

I metodi precedenti per eludere la rilevazione sono meno eleganti di questo e si concentrano su approcci avversari, come TnT Attacks, e l’uso di modelli stampati per confondere l’algoritmo di rilevamento.

Il lavoro del 2019 ‘Fooling automated surveillance cameras: adversarial patches to attack person detection’ ha dimostrato un modello stampato avversario capace di convincere un sistema di riconoscimento che non ci sia una persona rilevata, consentendo una sorta di ‘invisibilità’. Fonte: https://arxiv.org/pdf/1904.08653

I ricercatori dietro il nuovo articolo osservano che il loro approccio richiede meno preparazione, senza la necessità di creare accessori avversari (vedi immagine sopra).

L’articolo si intitola Tecnica di Miglioramento della Privacy per Evitare la Rilevazione delle Telecamere Stradali senza l’Uso di Accessori Avversari, e proviene da cinque ricercatori dell’Università Ben-Gurion del Negev e Fujitsu Limited.

Metodo e Test

In conformità con lavori precedenti come Adversarial Mask, AdvHat, modelli avversari, e vari altri lavori simili, i ricercatori assumono che il pedone ‘attaccante’ conosca quale sistema di rilevamento degli oggetti viene utilizzato nella rete di sorveglianza. Questo è in realtà un assunto non irragionevole, a causa dell’ampia adozione di sistemi open source all’avanguardia come YOLO nei sistemi di sorveglianza di aziende come Cisco e Ultralytics (attualmente la forza trainante principale nello sviluppo di YOLO).

L’articolo assume anche che il pedone abbia accesso a un flusso live su Internet fissato sulle posizioni da calcolare, il che, di nuovo, è un assunto ragionevole nella maggior parte dei luoghi che probabilmente avranno un’intensità di copertura.

Siti come 511ny.org offrono l’accesso a molte telecamere di sorveglianza nell’area di NYC. Fonte: https://511ny.or

Oltre a questo, il pedone necessita di accesso al metodo proposto e alla scena stessa (cioè, gli incroci e i percorsi in cui una ‘rotta sicura’ deve essere stabilita).

Per sviluppare L-PET, gli autori hanno valutato l’effetto dell’angolo del pedone in relazione alla telecamera; l’effetto dell’altezza della telecamera; l’effetto della distanza; e l’effetto dell’ora del giorno. Per ottenere la verità fondamentale, hanno fotografato una persona agli angoli 0°, 45°, 90°, 135°, 180°, 225°, 270° e 315°.

Osservazioni di verità fondamentale condotte dai ricercatori.

Hanno ripetuto queste variazioni a tre diverse altezze della telecamera (0,6 m, 1,8 m, 2,4 m) e con condizioni di illuminazione variate (mattina, pomeriggio, notte e condizioni ‘lab’).

Alimentando questo footage ai rilevatori di oggetti Faster R-CNN e YOLOv3, hanno scoperto che la fiducia dell’oggetto dipende dall’acutezza dell’angolo del pedone, dalla distanza del pedone, dall’altezza della telecamera e dalle condizioni di illuminazione/luce*.

Gli autori hanno quindi testato una gamma più ampia di rilevatori di oggetti nella stessa scenari: Faster R-CNN; YOLOv3; SSD; DiffusionDet; e RTMDet.

Gli autori affermano:

‘Abbiamo scoperto che tutti e cinque i framework di rilevamento degli oggetti sono influenzati dalla posizione del pedone e dalla luce ambientale. Inoltre, abbiamo scoperto che per tre dei cinque modelli (YOLOv3, SSD e RTMDet) l’effetto persiste attraverso tutti i livelli di luce ambientale.’

Per estendere la portata, i ricercatori hanno utilizzato il footage registrato da telecamere di sorveglianza pubbliche in tre posizioni: Shibuya Crossing a Tokyo, Broadway a New York e Castro District a San Francisco.

Ogni posizione ha fornito tra cinque e sei registrazioni, con circa quattro ore di footage per registrazione. Per analizzare le prestazioni di rilevamento, un frame è stato estratto ogni due secondi e elaborato utilizzando un rilevatore di oggetti Faster R-CNN. Per ogni pixel nei frame ottenuti, il metodo ha stimato la fiducia media della presenza di una ‘persona’ all’interno di quel pixel.

‘Abbiamo scoperto che in tutte e tre le posizioni, la fiducia del rilevatore di oggetti variava in base alla posizione delle persone nel frame. Ad esempio, nel footage di Shibuya Crossing, ci sono grandi aree di bassa fiducia più lontane dalla telecamera, nonché più vicine alla telecamera, dove un palo parzialmente oscura i pedoni in transito.’

Il metodo L-PET è essenzialmente questa procedura, argomentabile ‘militarizzato’ per ottenere un percorso attraverso un’area urbana che sia meno probabile risultare in un pedone riconosciuto con successo.

Al contrario, L-BAT segue la stessa procedura, con la differenza che aggiorna i punteggi nel sistema di rilevamento, creando un ciclo di feedback progettato per annullare l’approccio L-PET e rendere le ‘aree cieche’ del sistema più efficaci.

(In termini pratici, tuttavia, migliorare la copertura in base alle mappe di calore ottenute richiederebbe più di un semplice aggiornamento della telecamera situata nella posizione prevista; in base ai criteri di test, inclusa la posizione, richiederebbe l’installazione di telecamere aggiuntive per coprire le aree trascurate – quindi potrebbe essere argomentato che il metodo L-PET escalationa questa particolare ‘guerra fredda’ in uno scenario molto costoso)

La fiducia media di rilevamento pedonale per ogni pixel, attraverso diversi framework di rilevamento, nell’area osservata di Castro Street, analizzata in cinque video. Ogni video è stato registrato in condizioni di illuminazione diverse: alba, giorno, tramonto e due impostazioni notturne diverse. I risultati sono presentati separatamente per ogni scenario di illuminazione.

Aver convertito la rappresentazione matriciale basata su pixel in una rappresentazione grafica adatta al compito, i ricercatori hanno adattato l’algoritmo di Dijkstra per calcolare percorsi ottimali per i pedoni per navigare attraverso aree con ridotta rilevazione di sorveglianza.

Invece di trovare il percorso più breve, l’algoritmo è stato modificato per minimizzare la fiducia di rilevamento, trattando le aree ad alta fiducia come aree con ‘costo’ più alto. Questa adattamento ha consentito all’algoritmo di identificare percorsi che passano attraverso punti ciechi o aree con bassa rilevazione, guidando efficacemente i pedoni lungo percorsi con visibilità ridotta per i sistemi di sorveglianza.

Una visualizzazione che mostra la trasformazione della mappa di calore della scena da una matrice basata su pixel a una rappresentazione basata su grafo.

I ricercatori hanno valutato l’impatto del sistema L-BAT sulla rilevazione pedonale con un set di dati costruito dalle registrazioni di quattro ore di traffico pedonale pubblico. Per popolare la raccolta, un frame è stato elaborato ogni due secondi utilizzando un rilevatore di oggetti SSD.

Da ogni frame, una scatola delimitante contenente una persona rilevata è stata selezionata come campione positivo e un’altra area casuale senza persone rilevate è stata utilizzata come campione negativo. Questi campioni gemelli hanno formato un set di dati per valutare due modelli Faster R-CNN – uno con L-BAT applicato e uno senza.

Le prestazioni dei modelli sono state valutate verificando quanto accuratamente identificavano campioni positivi e negativi: una scatola delimitante che sovrapponeva un campione positivo era considerata un vero positivo, mentre una scatola delimitante che sovrapponeva un campione negativo era etichettata come falso positivo.

I metrici utilizzati per determinare l’affidabilità della rilevazione di L-BAT sono stati Area Under the Curve (AUC); vero tasso di positivi (TPR); falso tasso di positivi (FPR); e fiducia media dei veri positivi. I ricercatori affermano che l’uso di L-BAT ha migliorato la fiducia di rilevamento mantenendo un alto tasso di veri positivi (sebbene con un leggero aumento di falsi positivi).

In chiusura, gli autori notano che l’approccio ha alcune limitazioni. Una di queste è che le mappe di calore generate dal loro metodo sono specifiche di un particolare momento della giornata. Sebbene non si dilunghino su questo, ciò indicherebbe che un approccio più ampio e multilivello sarebbe necessario per tenere conto del momento della giornata in una distribuzione più flessibile.

Essi osservano anche che le mappe di calore non saranno trasferite in diverse architetture di modelli e sono legate a un modello di rilevamento di oggetti specifico. Poiché il lavoro proposto è essenzialmente una prova di concetto, architetture più adatte potrebbero, presumibilmente, essere sviluppate per rimediare a questo debito tecnico.

Conclusione

Qualsiasi nuovo metodo di attacco per il quale la soluzione è ‘pagare per nuove telecamere di sorveglianza’ ha un vantaggio, poiché l’espansione delle reti di telecamere civiche in aree altamente sorvegliate può essere politicamente impegnativa, nonché rappresentare una notevole spesa civica che richiederà generalmente un mandato elettorale.

Forse la più grande domanda posta dal lavoro è ‘I sistemi di sorveglianza a codice chiuso utilizzano framework open source all’avanguardia come YOLO?’. Ciò è, naturalmente, impossibile da sapere, poiché i creatori dei sistemi proprietari che alimentano molte reti di telecamere statali e civili (almeno negli Stati Uniti) potrebbero sostenere che la divulgazione di tale utilizzo potrebbe aprirli agli attacchi.

Tuttavia, la migrazione dell’IT del governo e del codice proprietario interno al codice open source globale suggerirebbe che chiunque testi l’affermazione degli autori con (ad esempio) YOLO potrebbe colpire il jackpot immediatamente.

* Sarei solito includere risultati di tabelle correlate quando sono fornite nel documento, ma in questo caso la complessità delle tabelle del documento le rende poco illuminanti per il lettore casuale, e una sintesi è quindi più utile.

Pubblicato per la prima volta martedì, 28 gennaio 2025