Valoa hyödyntävä hyökkäys voi muuttaa tienviittojen merkitystä

Tutkijat Yhdysvalloissa ovat kehittäneet hyökkäyksen konenäköjärjestelmiä vastaan, joka voi muuttaa tienviittojen merkitystä heijastamalla kuvioitua valoa oikeaan maailmaan. Yhdessä kokeessa menetelmä onnistui muuttamaan “pysähdy” -tienviitan “30 mailin tuntinopeus” -merkiksi.

Perturbaatiot tienviitassa, jotka luodaan heijastamalla kuvioitua valoa, vääristävät konenäköjärjestelmän tulkintaa. Source: https://arxiv.org/pdf/2108.06247.pdf

Tutkimus, joka on nimeltään Valoa hyödyntävä hyökkäys, on tehty Purdue-yliopistossa Indianassa.

Valoa hyödyntävä hyökkäys (OPAD), kuten tutkimuksessa on ehdotettu, käyttää strukturoidua valaistusta muuttaakseen kohde-esineiden ulkonäköä, ja se vaatii vain tavallisen projektorin, kameran ja tietokoneen. Tutkijat pystyivät onnistuneesti suorittamaan sekä valkoisen laatikon että mustan laatikon hyökkäyksiä tämän menetelmän avulla.

OPAD-järjestelmä ja vähäiset, ihmisten havaitsemat vääristymät, jotka ovat riittäviä virheellisen luokittelun aiheuttamiseen.

OPAD-järjestelmä koostuu ViewSonic 3600 Lumens SVGA -projektorista, Canon T6i -kamerasta ja kannettavasta tietokoneesta.

Musta laatikko ja kohdennetut hyökkäykset

Valkoinen laatikko -hyökkäykset ovat epätodennäköisiä skenaarioita, joissa hyökkääjällä on suora pääsy koulutusmalliin tai syötteen hallintaan. Musta laatikko -hyökkäykset, sen sijaan, ovat tyypillisesti muodostettu konenäköjärjestelmän koostumisen tai käyttäytymisen arvioimiseen, “varjokopio”-mallien kehittämiseen ja hyökkäyksen kehittämiseen, joka on suunniteltu toimimaan alkuperäisellä mallilla.

Tässä näemme visuaalisen perturbaation määrän, joka on tarpeen luokittelijan hämäämiseen.

Viimeksi mainitussa tapauksessa ei tarvita erityistä pääsyä, vaikka tällaiset hyökkäykset hyötyvät avoimen lähdekoodin konenäkökirjastojen ja tietokantojen yleisyydestä nykyisessä akateemisessa ja kaupallisessa tutkimuksessa.

Kaikki OPAD-hyökkäykset uudessa tutkimuksessa ovat “kohdennettuja” hyökkäyksiä, jotka pyrkivät muuttamaan tiettyjen esineiden tulkintaa. Vaikka järjestelmä on myös osoittanut pystyvänsä saavuttamaan yleistettyjä, abstrakteja hyökkäyksiä, tutkijat väittävät, että todellinen hyökkääjä olisi enemmän disruptiivinen tavoite.

OPAD-hyökkäys on vain valtameren versio usein tutkitusta periaatteesta, jossa lisätään kohinaa kuvauksiin, jotka käytetään konenäköjärjestelmissä. Menetelmän arvo on, että voidaan yksinkertaisesti “heijastaa” perturbaatiot kohde-esineeseen, jotta voidaan laukaista virheellinen luokittelu, kun taas “Trojan hevonen” -kuvien saaminen koulutusprosessiin on paljon vaikeampaa.

Kun OPAD pystyi asettamaan “nopeus 30” -kuvan merkityksen “pysähdy” -merkkiin, peruskuva saatiin valaistamalla esinettä yhdenmukaisesti 140/255 intensiteetillä. Sitten projektorikorjattua valaistusta sovellettiin heijastetun gradient descent -hyökkäyksen avulla.

Esimerkkejä OPAD-virheellisistä luokitteluhyökkäyksistä.

Tutkijat huomauttavat, että projektin päähaaste on ollut kalibroida ja asettaa projektorimekanismi siten, että se saavuttaa “puhtaan” petoksen, koska kulmat, optiikka ja useat muut tekijät ovat haasteellisia hyökkäykselle.

Lisäksi lähestymistapa on todennäköisesti toimiva vain yöaikaan. On myös kysymys siitä, paljastaisiko ilmiselvä valaistus “häkkäämisen”. Jos esine, kuten tienviitta, on jo valaistu, projektorin on korjattava valaistus, ja heijastetun perturbaation määrä on oltava vastustuskykyinen ajovaloja vastaan. Näyttää siltä, että järjestelmä toimisi parhaiten urbaaneissa ympäristöissä, joissa ympäristön valaistus on todennäköisesti vakaampaa.

Tutkimus rakentaa ML-orientoidun iteroinnin Columbian yliopiston vuoden 2004 tutkimuksesta esineiden ulkonäön muuttamisesta heijastamalla muita kuvia niihin – optiikkaan perustuva kokeilu, jolta puuttuu OPAD:n pahentava potentiaali.

Kokeissa OPAD pystyi hämäämään luokittelijaa 31:stä 64 hyökkäyksestä – 48 prosentin onnistumisprosentti. Tutkijat huomauttavat, että onnistumisprosentti riippuu suuresti hyökkäyksen kohteena olevan esineen tyypistä. Kuviolliset tai kaarevat pinnat (kuten karhun ja mukin) eivät voi tarjota riittävää suoraa heijastavuutta hyökkäyksen suorittamiseen. Toisaalta tarkoituksella heijastavat tasaiset pinnat, kuten tienviitat, ovat ihanteellisia ympäristöjä OPAD-vääristymälle.

Avoimen lähdekoodin hyökkäyspinnat

Kaikki hyökkäykset tehtiin tiettyjä tietokantoja vastaan: Saksan liikennemerkintöjen tunnistamistietokanta (GTSRB, jota kutsutaan GTSRB-CNN:ksi uudessa tutkimuksessa), jota käytettiin mallin kouluttamiseen vastavaan hyökkäyskuvioon vuonna 2018; ImageNet VGG16 -tietokanta; ja ImageNet Resnet-50 -tietokanta.

Onko nämä hyökkäykset “vain teoreettisia”, koska ne kohdistuvat avoimen lähdekoodin tietokantoihin eikä suljettuihin järjestelmiin, joita käytetään itseohjautuvissa ajoneuvoissa? Ne olisivat, jos suuret tutkimuslaitokset eivät riippuisi avoimen lähdekoodin ekosysteemistä, mukaan lukien algoritmit ja tietokannat, ja sen sijaan työskentelisivät salassa kehittääkseen suljettuja tietokantoja ja epäselviä tunnistusalgoritmeja.

Mutta yleensä se ei toimi näin. Merkittävät tietokannat muodostavat vertailukohtia, joihin kaikki edistys ja maine mitataan, kun taas avoimen lähdekoodin konenäköjärjestelmät, kuten YOLO-sarja, etenevät yhteistyön kautta nopeammin kuin suljetusti kehitetyt järjestelmät, jotka toimivat saman periaatteen mukaan.

FOSS-altis

Jopa siinä tapauksessa, että tietokoneen näköjärjestelmän data korvataan lopulta kokonaan suljetuilla tiedoilla, “tyhjennettyjen” mallien painot määräytyvät usein kehityksen alkuvaiheessa FOSS-datasta, jota ei koskaan voida kokonaan hylätä – mikä tarkoittaa, että tulokset voidaan potentiaalisesti kohdistaa FOSS-menetelmillä.

Lisäksi avoimen lähdekoodin lähestymistapa konenäköjärjestelmiin tekee mahdolliseksi yksityisten yritysten hyödyntää ilman kustannuksia haaroituneita innovaatioita muista maailmanlaajuisista tutkimushankkeista, mikä lisää taloudellista kannustetta pitää arkkitehtuuri avoimena. Sen jälkeen he voivat yrittää sulkea järjestelmän vasta kaupallistamisvaiheessa, jolloin koko joukko dedusoitavissa FOSS-mittareissa on syvällä upotettu siihen.