De ‘hemliga rutter’ som kan förhindra att fotgängare identifieras

En ny forskningssamarbete mellan Israel och Japan hävdar att system för upptäckt av fotgängare har inbyggda svagheter, vilket gör det möjligt för välunderrättade personer att undvika ansiktsigenkänningssystem genom att navigera genom områden där övervakningsnätverken är som minst effektiva.

Med hjälp av allmänt tillgängligt material från Tokyo, New York och San Francisco, utvecklade forskarna en automatiserad metod för att beräkna sådana vägar, baserat på de mest populära objektsystemen som sannolikt används i offentliga nätverk.

De tre korsningarna som användes i studien: Shibuya Crossing i Tokyo, Japan; Broadway, New York; och Castro District, San Francisco. Källa: https://arxiv.org/pdf/2501.15653

Med denna metod är det möjligt att generera förtroendekartor som markerar områden inom kamerabilden där fotgängare är minst benägna att ge en positiv ansiktsigenkänning:

Till höger ser vi förtroendekartan som genererats av forskarnas metod. De röda områdena indikerar låg förtroende, och en konfiguration av stance, kameraposition och andra faktorer som sannolikt hindrar ansiktsigenkänning.

I teorin kunde en sådan metod vara instrumentaliserad i en platsbaserad app eller någon annan typ av plattform för att sprida de minst ‘igenkänningsvänliga’ vägarna från A till B i någon beräknad plats.

Den nya artikeln föreslår en sådan metodologi, med titeln Platsbaserad teknik för förbättring av integritet (L-PET); den föreslår också en motåtgärd med titeln Platsbaserad adaptiv tröskel (L-BAT), som i princip kör exakt samma rutiner, men sedan använder informationen för att förstärka och förbättra övervakningsåtgärderna, istället för att utveckla sätt att undvika att bli identifierad; och i många fall skulle sådana förbättringar inte vara möjliga utan ytterligare investeringar i övervakningsinfrastrukturen.

Artikeln ställer därmed upp en potentiell teknisk eskalering mellan de som försöker optimera sina rutter för att undvika upptäckt och förmågan hos övervakningssystem att utnyttja ansiktsigenkänningsteknologier fullt ut.

Tidigare metoder för att förhindra upptäckt är mindre eleganta än denna, och fokuserar på motstridiga tillvägagångssätt, såsom TnT-attacker, och användningen av tryckta mönster för att förvirra upptäcktsalgoritmen.

Arbetet från 2019 ‘Fooling automated surveillance cameras: adversarial patches to attack person detection’ visade en motstridig tryckt modell som kunde övertyga ett igenkänningsystem om att ingen person upptäckts, vilket möjliggjorde en sorts ‘osynlighet. Källa: https://arxiv.org/pdf/1904.08653

Forskarna bakom den nya artikeln observerar att deras tillvägagångssätt kräver mindre förberedelser, med ingen behov av att utveckla motstridiga tillbehör (se bild ovan).

Den artikeln har titeln En teknik för förbättring av integritet för att undvika upptäckt av gatuvideo-kameror utan användning av motstridiga tillbehör, och kommer från fem forskare vid Ben-Gurion University of the Negev och Fujitsu Limited.

Metod och tester

I enlighet med tidigare arbeten som Adversarial Mask, AdvHat, motstridiga mönster, och olika andra liknande arbeten, antar forskarna att den fotgängande ‘angriparen’ känner till vilket objektsystem som används i övervakningsnätverket. Detta är faktiskt inte en orimlig antagande, på grund av den omfattande användningen av state-of-the-art öppen källkod-system som YOLO i övervakningssystem från företag som Cisco och Ultralytics (för närvarande den centrala drivkraften i YOLO-utvecklingen).

Artikeln antar också att fotgängaren har tillgång till en direktström på internet som är fokuserad på de platser som ska beräknas, vilket, återigen, är en rimlig antagande i de flesta platser som sannolikt har en intensitet av täckning.

Webbplatser som 511ny.org erbjuder tillgång till många övervakningskameror i NYC-området. Källa: https://511ny.or

Utöver detta behöver fotgängaren tillgång till den föreslagna metoden och till scenen själv (dvs. korsningarna och vägarna där en ‘säker’ väg ska etableras).

För att utveckla L-PET utvärderade författarna effekten av fotgängarens vinkel i förhållande till kameran; effekten av kamerans höjd; effekten av avstånd; och effekten av tid på dagen. För att få fram grundfakta fotograferade de en person vid vinklarna 0°, 45°, 90°, 135°, 180°, 225°, 270° och 315°.

Grundfaktaobservationer som utfördes av forskarna.

De upprepade dessa variationer vid tre olika kamerahöjder (0,6 m, 1,8 m, 2,4 m) och med varierande belysningsförhållanden (morgon, eftermiddag, natt och ‘laboratorieförhållanden’).

Genom att mata denna film till Faster R-CNN och YOLOv3 objektdetektorer, fann de att förtroendet för objektet beror på vinkeln på fotgängaren, fotgängarens avstånd, kamerans höjd och belysnings-/väderförhållanden*.

Författarna testade sedan en bredare serie objektdetektorer i samma scenario: Faster R-CNN; YOLOv3; SSD; DiffusionDet; och RTMDet.

Författarna hävdar:

‘Vi fann att alla fem objektdetektorarkitekturer påverkas av fotgängarens position och omgivande ljus. Dessutom fann vi att för tre av de fem modellerna (YOLOv3, SSD och RTMDet) effekten kvarstår genom alla omgivande ljusnivåer.’

För att utöka omfattningen använde forskarna film från offentligt tillgängliga trafikkameror i tre platser: Shibuya Crossing i Tokyo, Broadway i New York och Castro District i San Francisco.

Varje plats tillhandahöll mellan fem och sex inspelningar, med cirka fyra timmars film per inspelning. För att analysera upptäcktsprestanda extraherades en bild varannan sekund och bearbetades med en Faster R-CNN-objektdetektor. För varje pixel i de erhållna bilderna uppskattade metoden det genomsnittliga förtroendet för ‘person’-upptäcktsrutor som finns i den pixeln.

‘Vi fann att i alla tre platserna varierade förtroendet för objektdetektorn beroende på personernas position i bilden. Till exempel i Shibuya Crossing-filmen finns det stora områden med lågt förtroende längre bort från kameran, samt närmare kameran, där en stolpe delvis skymmer förbipasserande fotgängare.’

L-PET-metoden är i princip denna procedur, som kan sägas vara ‘väpnad’ för att erhålla en väg genom ett urbant område som är minst benägen att resultera i att fotgängaren identifieras.

I kontrast följer L-BAT samma procedur, med skillnaden att den uppdaterar poängen i detekteringssystemet, skapar en återkopplingsloop som är avsedd att motverka L-PET-tillvägagångssättet och göra ‘blinda områden’ i systemet mer effektiva.

(I praktiken skulle dock förbättring av täckning baserat på erhållna värmebilder kräva mer än bara en uppgradering av kameran som sitter i den förväntade positionen; baserat på testkriterierna, inklusive platsen, skulle det kräva installation av ytterligare kameror för att täcka de försummade områdena – därför kunde det hävdas att L-PET-metoden eskalerar detta specifika ‘kalla krig’ till en mycket dyr scenario)

Den genomsnittliga fotgängarupptäcktsförtroendet för varje pixel, över olika detektorramverk, i det observerade området Castro Street, analyserat över fem videor. Varje video spelades in under olika belysningsförhållanden: soluppgång, dagtid, solnedgång och två olika nattinställningar. Resultaten presenteras separat för varje belysningsscenario.

Efter att ha omvandlat den pixelbaserade matrisrepresentationen till en grafrepresentation som är lämplig för uppgiften, anpassade forskarna Dijkstra-algoritmen för att beräkna optimala vägar för fotgängare att navigera genom områden med minskad övervakningsdetektering.

Istället för att hitta den kortaste vägen, modifierades algoritmen för att minimera detekteringsförtroendet, och behandlade högförtroenderegioner som områden med högre ‘kostnad’. Denna anpassning möjliggjorde för algoritmen att identifiera vägar som passerar genom blinda fläckar eller lågdetektionszoner, och effektivt guidade fotgängare längs vägar med minskad synlighet för övervakningssystem.

En visualisering som visar omvandlingen av scenens värmebild från en pixelbaserad matris till en grafbaserad representation.

Forskarna utvärderade effekten av L-BAT-systemet på fotgängarupptäckt med en dataset som byggdes från de ovannämnda fyra timmars inspelningar av offentlig fotgängartrafik. För att fylla i samlingen bearbetades en bild varannan sekund med en SSD-objektdetektor.

Från varje bild valdes en ruta som innehöll en upptäckt person som en positiv exempel, och ett annat slumpmässigt område utan upptäckta personer som en negativ exempel. Dessa tvillingexempel bildade en dataset för att utvärdera två Faster R-CNN-modeller – en med L-BAT tillämpad, och en utan.

Modellernas prestanda utvärderades genom att kontrollera hur korrekt de identifierade positiva och negativa exempel: en ruta som överlappade ett positivt exempel ansågs vara ett sant positivt, medan en ruta som överlappade ett negativt exempel ansågs vara ett falskt positivt.

Mätvärden som användes för att bestämma detekterings tillförlitligheten för L-BAT var area under kurvan (AUC); sant positivt frekvens (TPR); falskt positivt frekvens (FPR); och genomsnittligt sant positivt förtroende. Forskarna hävdar att användningen av L-BAT förbättrade detekteringsförtroendet samtidigt som den upprätthöll en hög sant positivt frekvens (även om det medförde en liten ökning av falska positiva).

I slutet av artikeln noterar författarna att tillvägagångssättet har vissa begränsningar. En av dem är att värmebilderna som genereras av deras metod är specifika för en viss tid på dagen. Även om de inte utvecklar detta ytterligare, skulle detta tyda på att en större, flerledad metod skulle behövas för att ta hänsyn till tid på dagen i en mer flexibel distribution.

De observerar också att värmebilderna inte kommer att överföras till olika modellarkitekturer och är bundna till en specifik objektdetektor-modell. Eftersom det föreslagna arbetet i princip är ett bevis för konceptet, kunde mer avancerade arkitekturer också utvecklas för att åtgärda denna tekniska skuld.

Slutsats

Någon ny angreppsmetod för vilken lösningen är ‘att betala för nya övervakningskameror’ har vissa fördelar, eftersom utvidgning av civilt kameranätverk i högt övervakade områden kan vara politiskt utmanande, samt representera en betydande civilekonomisk utgift som vanligtvis kräver en väljarmandat.

Kanske den största frågan som ställs av arbetet är ‘Använder slutna övervakningssystem öppen källkod SOTA-ramverk som YOLO?’ . Detta är, naturligtvis, omöjligt att veta, eftersom tillverkarna av de proprietära systemen som driver så många statliga och civilt kameranätverk (åtminstone i USA) skulle hävda att avslöjande av sådan användning kan öppna dem upp för angrepp.

Ändå tyder migrationen av statlig IT och intern proprietär kod till global och öppen källkod på att vem som helst som testar författarnas påstående med (till exempel) YOLO kanske träffar jackpot direkt.

* Jag skulle normalt inkludera relaterade tabellresultat när de tillhandahålls i artikeln, men i detta fall gör komplexiteten i artiklens tabeller dem otydliga för den oinvigde läsaren, och en sammanfattning är därför mer användbar.

Publicerad första gången tisdag, 28 januari 2025