De ‘hemmelige ruter’, der kan forstyrre fodgængernes genkendelsessystemer

Et nyt forskningssamarbejde mellem Israel og Japan hævder, at fodgængerdetektionssystemer har indbyggede svagheder, der tillader velinformerede personer at undgå ansigtsgenkendelsessystemer ved at navigere omhyggeligt planlagte ruter gennem områder, hvor overvågningsnetværk er mindst effektive.

Med hjælp fra offentligt tilgængelige optagelser fra Tokyo, New York og San Francisco, udviklede forskerne en automatiseret metode til at beregne sådanne stier, baseret på de mest populære objekterkendelsessystemer, der sandsynligvis er i brug i offentlige netværk.

De tre overgangssteder, der blev brugt i studiet: Shibuya Crossing i Tokyo, Japan; Broadway, New York; og Castro District, San Francisco. Kilde: https://arxiv.org/pdf/2501.15653

Med denne metode er det muligt at generere tillidskort, der afgrænser områder inden for kamerafeed, hvor fodgængere er mindst sandsynlige at give en positiv ansigtsgenkendelse:

Til højre ser vi tillidskortet, der er genereret af forskernes metode. De røde områder indikerer lav tillid, og en konfiguration af stilling, kameraposition og andre faktorer, der er sandsynligvis til at forhindre ansigtsgenkendelse.

I teorien kunne en sådan metode være instrumentaliseret i en lokalitetsbevidst app eller en anden type platform til at disseminere de mindst ‘genkendelsesvenlige’ ruter fra A til B i enhver beregnet lokalitet.

Den nye artikel foreslår en sådan metode, titlen Location-based Privacy Enhancing Technique (L-PET); den foreslår også en modforanstaltning, titlen Location-Based Adaptive Threshold (L-BAT), som i virkeligheden kører de samme rutiner, men så bruger informationen til at forstærke og forbedre overvågningsforanstaltninger, i stedet for at udvikle måder til at undgå at blive genkendt; og i mange tilfælde ville sådanne forbedringer ikke være mulige uden yderligere investering i overvågningsinfrastrukturen.

Artiklen sætter derfor op en potentiel teknologisk optrapning mellem dem, der søger at optimere deres ruter for at undgå opdagede, og evnen af overvågningsystemer til at udnytte ansigtsgenkendelsesteknologier fuldt ud.

Tidligere metoder til at forstyrre opdagede er mindre elegante end denne, og centerer om modsigende tilgange, såsom TnT-angreb, og brugen af trykte mønstre til at forvirre detektionsalgoritmen.

Arbejdet fra 2019 ‘Fooling automated surveillance cameras: adversarial patches to attack person detection’ demonstrerede et modsigende trykt mønster, der kunne overbevise et genkendelsessystem om, at der ikke var nogen person detekteret, og tillod en slags ‘usynlighed. Kilde: https://arxiv.org/pdf/1904.08653

Forskere bag den nye artikel observerer, at deres tilgang kræver mindre forberedelse, med ingen behov for at udvikle modsigende bærbare genstande (se billedet ovenfor).

Den artikel er titlen En teknik til at forbedre privatlivet for at undgå opdagede af gadevideokameraer uden at bruge modsigende tilbehør, og kommer fra fem forskere på Ben-Gurion Universitet i Negev og Fujitsu Limited.

Metode og tests

I overensstemmelse med tidligere arbejder, såsom Adversarial Mask, AdvHat, modsigende patches, og andre lignende udgaver, antager forskerne, at fodgængeren ‘angriber’ kender, hvilket objektdetektionssystem der bruges i overvågningsnetværket. Dette er faktisk ikke en urimelig antagelse, på grund af den bredt anvendte adoption af åbne kildekodesystemer som YOLO i overvågningsystemer fra selskaber som Cisco og Ultralytics (i øjeblikket den centrale drivkraft i YOLO-udviklingen).

Artiklen antager også, at fodgængeren har adgang til en live-stream på internettet, der er fastsat på de lokaliteter, der skal beregnes, hvilket igen er en rimelig antagelse i de fleste steder, der sandsynligvis har en intensitet af dækning.

Sider som 511ny.org tilbyder adgang til mange overvågningskameraer i NYC-området. Kilde: https://511ny.or

Foruden dette har fodgængeren brug for adgang til den foreslåede metode og til scenen selv (dvs. overgangsstederne og ruterne, hvor en ‘sikker’ rute skal etableres).

Til at udvikle L-PET, evaluerede forfatterne effekten af fodgængerenes vinkel i forhold til kameraet; effekten af kameraets højde; effekten af afstanden; og effekten af døgnets tid. For at få grundsandhed fotograferede de en person i vinklerne 0°, 45°, 90°, 135°, 180°, 225°, 270° og 315°.

Grundsandhedsobservationer udført af forskerne.

De gentog disse variationer ved tre forskellige kamerahøjder (0,6 m, 1,8 m, 2,4 m) og med varierende lysforhold (morgen, eftermiddag, nat og ‘lab’-forhold).

Ved at føre denne optagelse til Faster R-CNN og YOLOv3 objektdetektorer, fandt de, at tilliden til objektdetektionen afhænger af fodgængerenes vinkel, fodgængernes afstand, kameraets højde og lys-/vejrforhold*.

Forskerne testede herefter en bredere række af objektdetektorer i samme scenarie: Faster R-CNN; YOLOv3; SSD; DiffusionDet; og RTMDet.

Forfatterne skriver:

‘Vi fandt, at alle fem objektdetektorarkitekturer påvirkes af fodgængernes position og omgivelseslys. Desuden fandt vi, at for tre af de fem modeller (YOLOv3, SSD og RTMDet) effekten består gennem alle omgivelseslysniveauer.’

For at udvide omfanget brugte forskerne optagelser fra offentligt tilgængelige trafikkameraer i tre lokaliteter: Shibuya Crossing i Tokyo, Broadway i New York og Castro District i San Francisco.

Hver lokalitet leverede mellem fem og seks optagelser, med ca. fire timers optagelse per optagelse. For at analysere detektionspræstationen udtrådte de en ramme hver anden sekund og behandlede den med en Faster R-CNN-objektdetektor. For hver pixel i de erhvervede rammes estimerede metoden den gennemsnitlige tillid til ‘person’-detektionens begrænsningsbokse, der er til stede i den pixel.

‘Vi fandt, at i alle tre lokaliteter var tilliden til objektdetektionen afhængig af personernes placering i rammen. For eksempel i Shibuya Crossing-optagelserne er der store områder med lav tillid længere væk fra kameraet, såvel som tættere på kameraet, hvor en pæl delvist skjuler forbipasserende fodgængere.’

L-PET-metoden er i virkeligheden denne procedure, som kan siges at være ‘våbenløst’ for at opnå en rute gennem en byområde, der er mindst sandsynlig til at resultere i, at fodgængeren bliver succesfuldt genkendt.

I modsætning hertil følger L-BAT samme procedure, med den forskel, at den opdaterer scorene i detektionssystemet, og skaber en feedback-løkke designet til at modvirke L-PET-tilgangen og gøre ‘blinde områder’ i systemet mere effektive.

(I praksis, dog, ville forbedring af dækning baseret på erhvervede heatmaps kræve mere end bare en opgradering af kameraet, der sidder i den forventede position; baseret på testkriterierne, herunder lokalitet, ville det kræve installation af yderligere kameraer for at dække de forsumpede områder – derfor kan det siges, at L-PET-metoden eskalerer denne specifikke ‘kolde krig’ til en meget dyrekøbt scenario)

Den gennemsnitlige fodgængerdetektions-tillid for hver pixel, på tværs af diverse detektor-rammer, i det observerede område af Castro Street, analyseret på tværs af fem videoer. Hver video blev optaget under forskellige lysforhold: solopgang, dagtid, solnedgang og to forskellige natteindstillinger. Resultaterne præsenteres separat for hvert lys-scenario.

Ved at konvertere den pixel-baserede matrix-repræsentation til en graf-repræsentation egnet til opgaven, tilpassede forskerne Dijkstra-algoritmen til at beregne optimale ruter for fodgængere til at navigere gennem områder med reduceret overvågning.

I stedet for at finde den korteste rute, blev algoritmen modificeret til at minimere detektions-tillid, og behandlede høj-tillidsområder som områder med højere ‘omkostninger’. Denne tilpasning tillod algoritmen at identificere ruter, der passerer gennem blinde pletter eller lav-detektionszoner, og effektivt guide fodgængere langs ruter med reduceret synlighed for overvågnings-systemer.

En visualisering, der viser transformationen af scenens heatmap fra en pixel-baseret matrix til en graf-baseret repræsentation.

Forskerne evaluerede impacten af L-BAT-systemet på fodgængerdetektion med en dataset bygget fra de ovennævnte fire timers optagelser af offentlig fodgængertrafik. For at populere samlingen blev en ramme behandlet hver anden sekund med en SSD-objektdetektor.

Fra hver ramme blev en begrænsningsboks valgt, der indeholdt en detekteret person som en positiv prøve, og et tilfældigt område uden detekterede personer blev brugt som en negativ prøve. Disse tvillingeprøver dannede en dataset for at evaluere to Faster R-CNN-modeller – en med L-BAT anvendt, og en uden.

Modellernes præstation blev vurderet ved at kontrollere, hvor nøjagtigt de identificerede positive og negative prøver: en begrænsningsboks, der overlappede en positiv prøve, blev betragtet som en sand positiv, mens en begrænsningsboks, der overlappede en negativ prøve, blev betegnet som en falsk positiv.

Metrikker, der blev brugt til at bestemme detektions-pålideligheden af L-BAT, var Area Under the Curve (AUC); sand positiv rate (TPR); falsk positiv rate (FPR); og gennemsnitlig sand positiv tillid. Forskerne hævder, at brugen af L-BAT forbedrede detektions-tillid, mens den opretholdt en høj sand positiv rate (om end med en let stigning i falske positive).

I afslutning bemærker forfatterne, at tilgangen har nogle begrænsninger. En af dem er, at heatmaps, der er genereret af deres metode, er specifikke for en bestemt tid af dagen. Selv om de ikke udvikler dette yderligere, ville dette indikere, at en større, multi-lagd tilgang ville være nødvendig for at tage højde for tiden af dagen i en mere fleksibel udvikling.

De observerer også, at heatmaps ikke vil overføres til forskellige modelarkitekturer, og er knyttet til en specifik objektdetektor-model. Da det arbejde, der er foreslået, i virkeligheden er et bevis for begrebet, kunne mere avancerede arkitekturer også udvikles for at afhjælpe denne tekniske gæld.

Konklusion

Enhver ny angrebsmetode, for hvilken løsningen er ‘at betale for nye overvågningskameraer’, har en fordel, da udvidelse af civile kamera-netværk i højovervågede områder kan være politisk udfordrende, såvel som en betydelig civile udgift, der normalt vil kræve en vælgermandat.

Måske det største spørgsmål, der stilles af arbejdet, er ‘Bruger lukkede overvågnings-systemer åbne kilde SOTA-rammer som YOLO?’ . Dette er naturligvis umuligt at vide, da producenterne af de proprietære systemer, der driver mange stats- og civile kamera-netværk (i hvert fald i USA), ville argumentere for, at afsløring af sådan brug kunne åbne dem op for angreb.

Nonetheless, migrationen af regeringens IT og interne proprietær kode til global og åben kilde-kode ville antyde, at enhver, der tester forfatternes påstand med (for eksempel) YOLO, måske godt kunne ramme jackpot med det samme.

* Jeg ville normalt inkludere relaterede tabelresultater, når de er til rådighed i artiklen, men i dette tilfælde gør kompleksiteten af artiklens tabeller dem upålidelige for den almindelige læser, og en sammenfatning er derfor mere nyttig.

Offentliggjort tirsdag, 28. januar 2025