’Salaiset Reitit’, Joilla Voidaan Häikäistä Jalankulkijan Tunnistusjärjestelmiä

Uusi tutkimusyhteistyö Israelin ja Japanin välillä väittää, että jalankulkijan tunnistusjärjestelmillä on sisäänrakennettuja heikkouksia, jotka mahdollistavat tietävien yksilöiden välttämisen kasvojentunnistusjärjestelmien avulla navigoimalla huolellisesti suunniteltuja reittejä alueille, joilla valvontaverkostot ovat vähiten tehokkaita.

Avuksi tuli julkisesti saatavilla oleva kuvamateriaali Tokiosta, New Yorkista ja San Franciscosta, joiden avulla tutkijat kehittivät automaattisen menetelmän tällaisten polkujen laskemiseksi, perustuen suosituimpiin objektien tunnistusjärjestelmiin, joita todennäköisesti käytetään julkisissa verkostoissa.

Kolme risteystä, joita tutkimuksessa käytettiin: Shibuyan risteys Tokiossa, Japanissa; Broadway New Yorkissa; ja Castro District San Franciscossa. Lähde: https://arxiv.org/pdf/2501.15653

Tällä menetelmällä on mahdollista luoda luottamuskartat, jotka erottavat alueet kameran syötteenä, joissa jalankulkijat ovat vähiten todennäköisiä antamaan positiivisen kasvojentunnistustuloksen:

Oikealla nähdään tutkijoiden menetelmällä luotu luottamuskartta. Punaiset alueet osoittavat matalaa luottamusta, ja asennon, kameran asennon ja muiden tekijöiden yhdistelmä, jotka todennäköisesti estävät kasvojentunnistuksen.

Teoreettisesti tällainen menetelmä voisi olla instrumentalisoitavissa sijaintitietoisen sovelluksen tai jonkin muun alustan kautta, joka välittää vähiten ’tunnistusystävälliset’ reitit A:sta B:hen laskettavassa sijainnissa.

Tutkimus esittää tällaisen metodologian, joka on nimeltään Sijaintiperusteinen Tietosuoja-tekniikka (L-PET); se esittää myös vastatoimen, joka on nimeltään Sijaintiperusteinen Soveltuva Kynnys (L-BAT), joka suorittaa samat toimenpiteet, mutta käyttää tietoja vahvistamaan ja parantamaan valvontatoimia sen sijaan, että keksisi keinoja välttää tunnistamista; ja monissa tapauksissa tällaiset parannukset eivät olisi mahdollisia ilman lisäinvestointeja valvontainfrastruktuuriin.

Tutkimus asettaa näin ollen potentiaalisen teknologisen eskalaatiotaistelun niiden välille, jotka pyrkivät optimoimaan reittejään välttääkseen havaitsemisen ja valvontajärjestelmien kykyä hyödyntää kasvojentunnistusteknologioita.

Aikaisemmat menetelmät tunnistamisen välttämiseksi ovat vähemmän elegantteja ja perustuvat vastustuslähestymistapoihin, kuten TnT-hyökkäykset ja tulostettujen kuvioiden käyttöön hämmentääkseen tunnistusalgoritmin.

Vuoden 2019 tutkimus ’Fooling automated surveillance cameras: adversarial patches to attack person detection’ osoitti, että vastustuskuviolla voidaan vakuuttaa tunnistusjärjestelmä siitä, ettei henkilöä havaita, mikä mahdollistaa ’näkymättömyyden’. Lähde: https://arxiv.org/pdf/1904.08653

Tutkijat, jotka ovat tehneet uuden tutkimuksen, huomauttavat, että heidän lähestymistapansa vaatii vähemmän valmistelua, eikä vastustusvälineiden kehittämistä ole tarpeen (ks. yllä oleva kuva).

Tutkimus tutkimus on nimeltään Menetelmä, jolla voidaan välttää havaitseminen kadun valvontakameroilla ilman vastustusvälineitä, ja se on tehty viidelle tutkijalle Ben-Gurionin yliopistosta ja Fujitsun rajoitettu yhtiö.

Menetelmä ja Testit

Sopimalla aiempien tutkimusten kanssa, kuten Adversarial Mask, AdvHat, vastustuskuviot ja useat muut samankaltaiset tutkimukset, tutkijat olettavat, että jalankulkija ’hyökkääjä’ tietää, mikä objektin tunnistusjärjestelmä on käytössä valvontaverkostossa. Tämä oletus ei ole järjetön, koska avoimen lähdekoodin järjestelmiä, kuten YOLO, käytetään laajasti valvontajärjestelmissä, kuten Ciscossa ja Ultralyticssä (joka on tällä hetkellä YOLO-kehityksen keskeinen voima).

Tutkimus olettaa myös, että jalankulkija pääsee käsiksi internetissä olevaan suoratoistoon, joka on kiinnitetty laskettaviin sijainteihin, mikä on kohtuullinen oletus useimmissa paikoissa, joilla on voimakas kattavuus.

Sivustot kuten 511ny.org tarjoavat pääsyn moniin valvontakameroihin New Yorkin alueella. Lähde: https://511ny.or

Lisäksi jalankulkijan on päästävä käsiksi ehdotettuun menetelmään ja itse kohtaukseen (ts. risteyksiin ja reitteihin, joissa ’turvallinen’ reitti on määritettävä).

L-PET:n kehittämiseksi tutkijat arvioivat jalankulkijan kulman vaikutusta kameraan nähden; kameran korkeuden vaikutusta; etäisyyden vaikutusta; ja päivänajan vaikutusta. Saadakseen perustotaisuuden he valokuvauivat henkilön kulmista 0°, 45°, 90°, 135°, 180°, 225°, 270° ja 315°.

Tutkijoiden suorittamat perustotaisuuden havainnot.

He toistivat nämä vaihtelut kolmessa eri kamerakorkeudessa (0,6 m, 1,8 m, 2,4 m) ja vaihtelevissa valaistusolosuhteissa (aamu, iltapäivä, yö ja ’lab’-olosuhteet).

Syöttämällä tämän kuvamateriaalin Faster R-CNN ja YOLOv3 -objektin tunnistimiin, he löysivät, että objektin luottamus riippuu jalankulkijan kulman terävyydestä, jalankulkijan etäisyydestä, kameran korkeudesta ja sää-/valaistusolosuhteista*.

Tutkijat testasivat myös laajemman joukon objektin tunnistimia samassa skenaariossa: Faster R-CNN; YOLOv3; SSD; DiffusionDet; ja RTMDet.

Tutkijat toteavat:

’Havaitsemme, että kaikki viisi objektin tunnistinarkkitehtuuria vaikuttavat jalankulkijan asentoon ja ympäristön valaistukseen. Lisäksi havaitsemme, että kolmelle viidestä mallista (YOLOv3, SSD ja RTMDet) vaikutus säilyy kaikissa ympäristön valaistusluokissa.’

Laajentaakseen tutkimuksen tutkijat käyttivät kuvamateriaalia, jota oli otettu julkisesti saatavilla olevista liikennekameroista kolmessa sijainnissa: Shibuyan risteys Tokiossa, Broadway New Yorkissa ja Castro District San Franciscossa.

Kukin sijainti tarjosi viisi tai kuusi tallennetta, joissa oli noin neljä tuntia kuvamateriaalia kussakin tallenteessa. Analysoiakseen tunnistuksen suorituskykyä, yksi kehys otettiin joka toinen sekunti, ja se käsiteltiin Faster R-CNN -objektin tunnistimella. Jokaiselle pikselille saaduissa kehyksissä menetelmä arvioi keskimääräisen luottamuksen ’henkilön’ havaitsemisesta määrittelevistä kehyksistä kyseisessä pikselissä.

’Havaitsemme, että kaikissa kolmessa sijainnissa objektin tunnistimen luottamus vaihtelee jalankulkijoiden sijainnista kehyksessä. Esimerkiksi Shibuyan risteyskuvamateriaalissa on laajoja alueita, joilla on matala luottamus, sekä kauempana kamerasta, että lähempänä kameran paikkaa, jossa tolppa osittain peittää ohittavia jalankulkijoita.’

L-PET-menetelmä on perustavasti tämä prosessi, joka voidaan ’aseistaa’ saadakseen reitin, joka vähentää jalankulkijan todennäköisyyttä päätyä tunnistettavaksi.

Sen sijaan L-BAT seuraa samaa prosessia, mutta eroaa siinä, että se päivittää pisteet tunnistusjärjestelmässä, luoden palautusilmukan, joka on suunniteltu torjumaan L-PET-lähestymistapa ja tehdä järjestelmän ’sokeat alueet’ tehokkaammaksi.

(Käytännössä kuitenkin kattavuuden parantaminen saatuja lämpökarttoja käyttäen edellyttäisi enemmän kuin pelkästään kameran paikalle asennuksen päivittämistä; testauskriteereiden perusteella, mukaan lukien sijainti, se edellyttäisi lisäkameroiden asennusta hoitamaan laiminlyötyjä alueita – siksi voidaan väittää, että L-PET-menetelmä eskaloituu tähän ’kylmään sotaan’ hyvin kalliiksi.

Jalankulkijan keskimääräinen havaitsemisluottamus jokaiselle pikselille eri havaintokehyksissä Castro-kadun alueella, joka analysoitiin viidessä videossa. Jokainen video oli tallennettu eri valaistusolosuhteissa: auringon nousu, päivä, auringon lasku ja kaksi eri yöolosuutta. Tulokset esitetään erikseen kussakin valaistustilanteessa.

Muuttaakseen pikselipohjaisen matriisiesitysmuodon graafiseen esitysmuotoon, joka on sovelias tehtävään, tutkijat sovelsivat Dijkstran algoritmin optimaalisten polkujen laskemiseksi jalankulkijoiden navigoimiseksi alueilla, joilla on vähennetty valvontaa.

Sen sijaan, että etsittäisiin lyhin reitti, algoritmi muunnettiin siten, että se minimoi havaitsemisluottamusta, ja käsitteli korkean luottamuksen alueita ’kustannuksena’. Tämä sopeutus mahdollisti algoritmin tunnistaa reitit, jotka kulkevat sokeiden paikkojen tai matalan havaitsemisen alueiden kautta, ja ohjaa jalankulkijoita poluille, joilla on vähennetty näkyvyyttä valvontajärjestelmille.

Näkymä, joka esittää kohtauksen lämpökartan muuttamista pikselipohjaisesta matriisista graafiseen esitysmuotoon.

Tutkijat arvioivat L-BAT-järjestelmän vaikutusta jalankulkijan tunnistamiseen aineistolla, joka koostui edellä mainituista neljän tunnin tallenteista julkisesta jalankulusta. Jokaisen kehyksen käsittely tapahtui joka toinen sekunti SSD-objektin tunnistimella.

Jokaisesta kehyksestä valittiin yksi havaintokehys, joka sisälsi havaitun henkilön positiivisena näytteenä, ja toinen satunnainen alue, jossa ei ollut havaittuja henkilöitä, käytettiin negatiivisena näytteenä. Nämä kaksi näytettä muodostivat aineiston, jolla arvioitiin kahta Faster R-CNN -mallia – yhtä, jossa käytettiin L-BAT:ia, ja toista, jossa sitä ei käytetty.

Mallien suorituskykyä arvioitiin tarkastamalla, kuinka tarkasti ne tunnistivat positiiviset ja negatiiviset näytteet: havaintokehys, joka osui positiiviseen näytteeseen, käsiteltiin tosiksi positiiviseksi, kun taas havaintokehys, joka osui negatiiviseen näytteeseen, merkittiin virheelliseksi positiiviseksi.

Mittareina L-BAT:n tunnistusluotettavuuden määrittämiseksi käytettiin Käyrän ala (AUC); tosipositiivinen luokittelumäärä (TPR); virheellisen positiivisen luokittelumäärä (FPR); ja keskimääräinen tosipositiivinen luottamus. Tutkijat väittävät, että L-BAT:n käyttö paransi tunnistusluottamusta ylläpitäen samalla korkeaa tosipositiivista luokittelumäärää (vaikka siinä oli lievä nousu virheellisissä positiivisissa).

Tutkijat huomauttavat, että lähestymistavalla on joitakin rajoituksia. Yksi niistä on, että heidän menetelmällään luodut lämpökartat ovat spesifisiä tiettyyn päiväaikaan. Vaikka he eivät selitä tätä tarkemmin, se viittaisi siihen, että laajempi, monitason lähestymistapa olisi tarpeen ottaakseen huomioon päiväajan joustavammin.

He myös huomauttavat, että lämpökartat eivät siirry muihin mallirakenteisiin, ja ne ovat sidottuja tiettyyn objektin tunnistusmalliin. Koska ehdotettu työ on perustavasti konseptin osoittaminen, kehittyneemmät arkkitehtuurit voivat myös olla kehitettävissä korjaamaan tämän teknisen velan.

Johtopäätös

Mikä tahansa uusi hyökkäysmenetelmä, jonka ratkaisu on ’uusien valvontakameroiden maksaminen’, on joitakin etuja, koska siviilivalvontaverkkojen laajentaminen tiheästi valvottavilla alueilla voi olla poliittisesti haasteellista, sekä edellyttää merkittävää kunnallista kustannusta, joka yleensä vaatii äänestäjien mandaatin.

Luultavasti suurin kysymys, jonka tutkimus asettaa, on ’Käyttävätkö suljetut valvontajärjestelmät avoimen lähdekoodin SOTA-kehyksiä, kuten YOLOa?’. Tämä on tietysti mahdotonta tietää, koska suljetun lähdekoodin järjestelmien valmistajat (ainakin Yhdysvalloissa) väittäisivät, että tällaisen käytön paljastaminen saattaisi altistaa heidät hyökkäyksille.

Kuitenkin hallituksen IT:n ja omistajan sisäisen koodin siirtäminen globaaliin ja avoimen lähdekoodiin viittaa siihen, että kuka tahansa, joka testaa tutkijoiden väitettävän esimerkiksi YOLOlla, saattaa voittaa potti heti.

* Yleensä lisäisin liittyvät taulokkojen tulokset, kun ne ovat saatavilla tutkimuksessa, mutta tässä tapauksessa tutkimuksen taulukoiden monimutkaisuus tekee ne epäselviksi tavalliselle lukijalle, ja yhteenveto on siten hyödyllisempi.

Julkaistu ensimmäisen kerran tiistaina 28. tammikuuta 2025