‘Salaiset Reitit’, Joilla Voidaan Häikäistä Jalankulkijoiden Tunnistusjärjestelmiä

Uusi tutkimusyhteistyö Israelin ja Japanin välillä väittää, että jalankulkijoiden havaitsemisjärjestelmillä on luonnollisia heikkouksia, jotka mahdollistavat tietävien yksilöiden välttämisen kasvojentunnistusjärjestelmien avulla navigoimalla huolellisesti suunniteltuja reittejä alueille, joilla valvontaverkot ovat vähiten tehokkaita.

Julkisesti saatavilla olevien kuvamateriaalien avulla Tokiosta, New Yorkista ja San Franciscosta tutkijat kehittivät automaattisen menetelmän tällaisten polkujen laskemiseksi, perustuen suosituimpiin objektien tunnistusjärjestelmiin, joita todennäköisesti käytetään julkisissa verkostoissa.

Kolme tutkimuksessa käytettyä risteystä: Shibuya Crossing Tokiossa, Japanissa; Broadway, New York; ja Castro District, San Francisco. Lähde: https://arxiv.org/pdf/2501.15653

Tällä menetelmällä on mahdollista luoda luottamuskartat, jotka erottavat alueet kameran syötteessä, joissa jalankulkijat eivät todennäköisesti anna positiivista kasvojentunnistustulosta:

Oikealla nähdään tutkijoiden menetelmällä luotu luottamuskartta. Punaiset alueet osoittavat matalaa luottamusta, ja asennon, kameran asennon ja muiden tekijöiden konfiguraation, jotka todennäköisesti estävät kasvojentunnistuksen.

Teoreettisesti tällainen menetelmä voisi olla instrumentalisoitavissa sijaintitietoisen sovelluksen tai jonkin muun alustan kautta, jotta voidaan jakaa vähiten ‘tunnistusystävälliset’ reitit mistä tahansa laskettavasta sijainnista.

Uusi tutkimusartikkeli esittää tällaisen metodologian, jonka nimi on Sijaintiperusteinen Tietosuoja Parantava Tekniikka (L-PET); se esittää myös vastatoimen, jonka nimi on Sijaintiperusteinen Soveltuva Kynnys (L-BAT), joka suorittaa samat toimenpiteet, mutta käyttää tietoja vahvistamaan ja parantamaan valvontatoimia, sen sijaan että keksisi keinoja välttää tunnistamista; ja monissa tapauksissa tällaiset parannukset eivät olisi mahdollisia ilman lisäinvestointeja valvontainfrastruktuuriin.

Tutkimusartikkeli asettaa näin ollen potentiaalisen teknologisen eskalaatiotaistelun niiden välille, jotka pyrkivät optimoimaan reitit välttääksesi havaitsemisen ja valvontajärjestelmien kykyä hyödyntää kasvojentunnistusteknologioita täysimääräisesti.

Aiemmat menetelmät havaitsemisen estämiseksi ovat vähemmän elegantteja kuin tämä, ja ne perustuvat vastustuslähestymistapoihin, kuten TnT-hyökkäyksiin ja tulostettuihin kuviin hämätäkseen havaitsemisalgoritmiä.

Vuoden 2019 työ ‘Fooling automated surveillance cameras: adversarial patches to attack person detection’ osoitti vastustuslähestymistavan, joka kykenee vakuuttamaan tunnistusjärjestelmän siitä, ettei henkilöä havaita, mahdollistaen jonkinlaista ‘näkymättömyyttä. Lähde: https://arxiv.org/pdf/1904.08653

Tutkijat, jotka ovat tehneet uuden tutkimuksen, huomauttavat, että heidän lähestymistapansa vaatii vähemmän valmistelua, eikä tarvitse keksiä vastustuslähestymistapaa (ks. yllä oleva kuva).

Tutkimusartikkeli on nimeltään Tietosuoja Parantava Tekniikka Välttääksesi Havaitsemisen Kadun Videokameroilla Ilman Vastustuslaitteiden Käyttöä, ja se on peräisin viideltä tutkijalta Ben-Gurionin yliopistosta ja Fujitsu Limitedista.

Menetelmä ja Testit

Edellisten tutkimusten mukaisesti, kuten Vastustusmaski, AdvHat, vastustuskuviot ja muut samankaltaiset, tutkijat olettavat, että jalankulkija ‘hyökkääjä’ tietää, mikä objektihavainnontekniikkaa käytetään valvontaverkossa. Tämä ei ole järkevä oletus, koska avoimia lähdekoodin järjestelmiä, kuten YOLOa, käytetään laajasti valvontakameroissa, kuten Ciscon ja Ultralyticin (joka on tällä hetkellä YOLOn kehityksen keskeinen voima).

Tutkimusartikkeli olettaa myös, että jalankulkija on päässyt käsiksi internetissä olevaan suoratoistoon, joka on kiinnitetty sijainteihin, joita on laskettava, mikä on kohtuullinen oletus useimmissa paikoissa, joissa valvonta on voimakasta.

Sivustot, kuten 511ny.org, tarjoavat pääsyn moniin valvontakameroihin New Yorkin alueella. Lähde: https://511ny.or

Lisäksi jalankulkijan on oltava päässyt käsiksi ehdotettuun menetelmään ja itse kohtaukseen (ts. risteyksiin ja reitteihin, joissa ‘turvallinen’ reitti on määritettävä).

L-PET-menetelmän kehittämiseksi tutkijat arvioivat jalankulkijan kulman vaikutusta kameraan nähden; kameran korkeuden vaikutusta; etäisyyden vaikutusta; ja päivänajan vaikutusta. Saadakseen perustiedot he valokuvasivat henkilön kulmista 0°, 45°, 90°, 135°, 180°, 225°, 270° ja 315°.

Tutkijoiden suorittamat perustietohavainnot.

He toistivat nämä vaihtelut kolmessa eri kamerakorkeudessa (0,6 m, 1,8 m, 2,4 m) ja vaihtelevissa valaistusolosuhteissa (aamu, iltapäivä, yö ja ‘lab’-olosuhteet).

Tämän kuvamateriaalin syöttäminen Faster R-CNN ja YOLOv3 -objektietsintäjärjestelmiin osoitti, että objektietsinnän luottamus riippuu jalankulkijan kulmasta, etäisyydestä, kamerakorkeudesta ja sää-/valaistusolosuhteista*.

Tutkijat testasivat laajemman valikoiman objektietsintäjärjestelmiä samassa tilanteessa: Faster R-CNN; YOLOv3; SSD; DiffusionDet; ja RTMDet.

Tutkijat toteavat:

‘Havaitsemme, että kaikki viisi objektietsintäarkkitehtuuria ovat alttiita jalankulkijan sijainnille ja ympäristön valolle. Lisäksi havaitsemme, että kolmelle viidestä mallista (YOLOv3, SSD ja RTMDet) vaikutus säilyy kaikissa ympäristön valotiloissa.’

Laajentaakseen tutkimuksen tutkijat käyttivät kuvamateriaalia, joka on otettu julkisesti saatavilla olevista liikennekameroista kolmessa sijainnissa: Shibuya Crossing Tokiossa, Broadway New Yorkissa ja Castro District San Franciscossa.

Kukin sijainti tarjosi viidestä kuuteen tallennetta, joissa oli noin neljä tuntia kuvamateriaalia per tallenne. Analysoimaan havaitsemisen suorituskykyä yksi kehys otettiin joka toinen sekunti ja käsiteltiin Faster R-CNN -objektietsintäjärjestelmällä. Jokaiselle pikselille saaduissa kehysissä menetelmä arvioi keskimääräisen ‘henkilön’ havaitsemisen luottamuksen.

‘Havaitsemme, että kaikissa kolmessa sijainnissa objektietsintäjärjestelmän luottamus vaihtelee jalankulkijoiden sijainnista kehyksessä. Esimerkiksi Shibuya Crossing -kuvamateriaalissa on laajoja alueita, joilla on matala luottamus, sekä kauempana kamerasta että lähempänä kameraa, missä tolppa osittain peittää ohittavia jalankulkijoita.’

L-PET-menetelmä on perustavasti tämä prosessi, joka voidaan ‘aseistaa’ saadakseen reitin kaupunkialueella, joka on vähiten todennäköisesti johtava jalankulkijan onnistuneeseen tunnistamiseen.

Toisaalta L-BAT seuraa samaa prosessia, mutta eroaa siinä, että se päivittää tunnistusjärjestelmän arvot, luoden palautekehän, joka on suunniteltu torjumaan L-PET-lähestymistapa ja tehdä järjestelmän ‘sokeat alueet’ tehokkaammiksi.

(Käytännössä kuitenkin valvontakameroita parantava sijaintiperusteinen lähestymistapa edellyttäisi enemmän kuin pelkän kameran päivittämistä; testauskriteereiden perusteella, mukaan lukien sijainti, se edellyttäisi lisäkameroita asennettaviksi laiminlyötyjen alueiden kattamiseksi – näin ollen voidaan väittää, että L-PET-menetelmä eskaloitaa tämän ‘kylmän sodan’ erittäin kalliiksi skenaarioksi)

Jalankulkijoiden keskimääräinen havaitsemisluottamus jokaiselle pikselille eri havaitsemisjärjestelmien yli, Castro-kadun havaintoaluetta analysoitiin viidessä videossa. Jokainen video oli tallennettu eri valaistusolosuhteissa: auringon nousu, päivä, auringon lasku ja kaksi eri yöaikaisia asetelmaa. Tulokset esitetään erikseen kussakin valaistustilanteessa.

Muuttaakseen pikselipohjaisen matriisiesitysmuodon soveltuvaksi tehtävään, tutkijat sovittivat verkkopohjaisen esitysmuodon ja muokkasivat Dijkstra-algoritmin laskeakseen optimaaliset reitit jalankulkijoiden navigoimiseksi alueilla, joilla valvontahavaitseminen on vähäistä.

Sen sijaan, että etsittäisiin lyhin reitti, algoritmi muokattiin minimoidaakseen havaitsemisluottamusta, käsittelyssä korkean luottamuksen alueet korkeamman ‘kustannuksen’ alueina. Tämä sovittaminen mahdollisti algoritmin tunnistaa reitit, jotka kulkevat sokeiden pilkkujen tai matalan havaitsemisen alueiden kautta, ohjaten jalankulkijoita reiteille, joilla on vähemmän näkyvyyttä valvontajärjestelmille.

Visualisointi, joka esittää kohtauksen luottamuskartan muuttamista pikselipohjaisesta matriisista verkkopohjaiseksi esitysmuodoksi.

Tutkijat arvioivat L-BAT-järjestelmän vaikutusta jalankulkijoiden havaitsemiseen datasetin avulla, joka koostui edellä mainituista neljän tunnin mittaisista julkisten jalankulkijaliikenteen tallenteista. Jokaisesta kehyksestä yksi kehys käsiteltiin joka toinen sekunti SSD-objektietsintäjärjestelmällä.

Jokaisesta kehyksestä yksi havaittu henkilö valittiin positiivisena näytteenä, ja toinen satunnainen alue, jolla ei ollut havaittuja henkilöitä, käytettiin negatiivisena näytteenä. Nämä kaksi näytettä muodostivat datasetin, jolla arvioitiin kahta Faster R-CNN -mallia – yhtä, jossa käytettiin L-BAT:ia, ja toista, jossa ei käytetty.

Mallien suorituskykyä arvioitiin tarkastamalla, miten tarkasti ne tunnistivat positiiviset ja negatiiviset näytteet: havaittu kehys, joka osui positiiviseen näytteeseen, käsiteltiin tosiksi positiivisena, kun taas kehys, joka osui negatiiviseen näytteeseen, merkittiin virheelliseksi positiiviseksi.

L-BAT:n havaitsemisen luotettavuutta mittaavat mittarit olivat Käyrän alue (AUC); tosi positiivinen osuus (TPR); virheellinen positiivinen osuus (FPR); ja keskimääräinen tosi positiivinen luottamus. Tutkijat väittävät, että L-BAT:n käyttäminen paransi havaitsemisluottamusta ylläpitäen korkeaa tosi positiivista osuutta (vaikka siinä oli hieman enemmän virheellisiä positiivisia).

Lopuksi tutkijat toteavat, että lähestymistavalla on joitakin rajoituksia. Yksi niistä on, että menetelmällä generoitetut luottamuskartat ovat spesifisiä tiettyyn päiväaikaan. Vaikka he eivät selitä tätä tarkemmin, se viittaa siihen, että laajempi, monitasoinen lähestymistapa olisi tarpeen ottaakseen huomioon päiväajan joustavammin.

He myös huomauttavat, että luottamuskartat eivät siirry muihin mallirakenteisiin, ja ne ovat sidottuja tiettyyn objektietsintämalliin. Koska ehdotettu työ on perustavasti konseptin osoittaminen, kehittyneemmät arkkitehtuurit voivat kehittää teknistä velkaa.

Johtopäätös

Mikä tahansa uusi hyökkäysmenetelmä, jossa ratkaisu on ‘uusien valvontakameroiden maksaminen’, on jollain tavoin etuoikeutettu, koska siviilivalvontaverkkojen laajentaminen tiukasti valvottuilla alueilla voi olla poliittisesti haasteellista, sekä edustaa merkittävää kunnallista kulua, joka yleensä vaatii äänestäjien mandaatin.

Ehkä suurin kysymys, jonka työ asettaa, on ‘Käyttävätkö suljetut valvontajärjestelmät avoimia lähdekoodin SOTA-kehyksiä, kuten YOLOa?’. Tämä on tietenkin mahdotonta tietää, koska omistajat valvontajärjestelmiin perustuvista suljetuista järjestelmistä (ainakin Yhdysvalloissa) väittäisivät, että tällaisen käytön paljastaminen saattaisi altistaa heidät hyökkäyksille.

Kuitenkin siirtyminen hallituksen IT:stä ja sisäisistä omistetuista koodeista globaaleihin ja avoimiin koodauksiin viittaa siihen, että kuka tahansa, joka testaa tutkijoiden väitettä (esim. YOLOlla), saattaa heti löytää onnistuneen hyökkäyksen.

* Yleensä lisäisin liittyvät taulukkorivit, kun ne ovat mukana tutkimusartikkelissa, mutta tässä tapauksessa tutkimuksen taulukoiden monimutkaisuus tekee niistä vähemmän valaistavia tavalliselle lukijalle, ja yhteenveto on siksi hyödyllisempi.

Julkaistu ensimmäisen kerran tiistaina, 28. tammikuuta 2025