Valokuvia hyökkäys voi muuttaa tien merkkien merkitystä

Yhdysvaltalaiset tutkijat ovat kehittäneet hyökkäyksen, joka kohdistuu koneoppimisjärjestelmien kykyyn tulkita oikein näkemäänsä – mukaan lukien tien merkit – heijastamalla kuviollista valoa maailman esineisiin. Yhdessä kokeessa menetelmä onnistui muuttamaan “SEIS” -tien merkin “30 mailin tuntinopeus” -merkiksi.

Perturbations on a sign, created by shining crafted light on it, distorts how it is interpreted in a machine learning system. Source: https://arxiv.org/pdf/2108.06247.pdf

Tutkimus tutkimus on nimeltään Valokuvia hyökkäys, ja se on peräisin Purdue-yliopistosta Indianasta.

Valokuvia hyökkäys (OPAD), kuten tutkimuksessa on ehdotettu, käyttää rakennettua valaistusta muuttaakseen kohde-esineiden ulkonäköä, ja se vaatii vain yleisen projektorin, kameran ja tietokoneen. Tutkijat pystyivät onnistuneesti suorittamaan sekä valkoisen laatikon että mustan laatikon hyökkäyksiä tämän tekniikan avulla.

The OPAD set-up, and the minimally-perceived (by people) distortions that are adequate to cause a misclassification.

OPAD-järjestelmä koostuu ViewSonic 3600 Lumens SVGA -projektorista, Canon T6i -kamerasta ja kannettavasta tietokoneesta.

Musta laatikko ja kohdennetut hyökkäykset

Valkoinen laatikko -hyökkäykset ovat epätodennäköisiä skenaarioita, joissa hyökkääjällä on suora pääsy koulutusmalliin tai syöteaineistoon. Musta laatikko -hyökkäykset, toisaalta, ovat yleensä muodostettu mallin komponenttien tai käyttäytymisen arvioimiseksi, “varjokopio”-mallien kehittämiseksi ja hyökkäyksen kehittämiseksi, joka on suunniteltu toimimaan alkuperäisellä mallilla.

Here we see the amount of visual perturbation necessary to fool the classifier.

Jälkimmäisessä tapauksessa ei tarvita erityistä pääsyä, vaikka tällaiset hyökkäykset hyötyvät avoimen lähdekoodin tietokoneen näön kirjastojen ja tietokantojen yleisyydestä nykyisessä akateemisessa ja kaupallisessa tutkimuksessa.

Kaikki OPAD-hyökkäykset uudessa tutkimuksessa ovat “kohdennettuja” hyökkäyksiä, jotka pyrkivät muuttamaan tietyn esineen tulkintaa. Vaikka järjestelmä on osoittanut olevan kykeneväinen saavuttamaan yleistetyt, abstraktit hyökkäykset, tutkijat väittävät, että todellinen hyökkääjä olisi enemmän spesifinen häiritsevä tavoite.

OPAD-hyökkäys on yksinkertaisesti valokuvia hyökkäyksen todellinen versio, joka perustuu siihen periaatteeseen, että melua voidaan lisätä kuvissa, jotka käytetään tietokoneen näön järjestelmissä. Tämän lähestymistavan arvo on, että voidaan yksinkertaisesti “heijastaa” perturbaatioita kohde-esineeseen laukaistaaksesi väärän luokittelun, kun taas varmistaa, että “Troijan hevonen” -kuvat päätyvät koulutusprosessiin, on paljon vaikeampaa.

Kun OPAD pystyi asettamaan “nopeus 30” -kuvan merkityksen “SEIS” -merkkiin, peruskuva saatiin valaistamalla esinettä yhdenmukaisesti 140/255 intensiteetillä. Sitten projektorikorjattua valaistusta sovellettiin heijastettuna gradient descent attack.

Examples of OPAD misclassification attacks.

Tutkijat huomauttavat, että hankeen päähaaste on ollut kalibroida ja asettaa projektorimekanismi niin, että se saavuttaa puhdas “petos”, koska kulmat, optiikka ja useat muut tekijät ovat haaste huijaukselle.

Lisäksi lähestymistapa on todennäköisesti toimiva vain yöllä. On myös kysymys siitä, paljastaisiko ilmiselvä valaistus “hakkeroinnin”; jos esine, kuten merkki, on jo valaistu, projektorin on korjattava valaistus, ja heijastetun perturbaation määrä on myös oltava vastustuskykyinen ajovaloja vastaan. Näyttää siltä, että se olisi järjestelmä, joka toimisi parhaiten urbaaneissa ympäristöissä, joissa ympäristön valaistus on todennäköisesti vakaampaa.

Tutkimus rakentaa ML-suunnatun iteroinnin Columbia-yliopiston 2004 tutkimuksesta esineiden ulkonäön muuttamiseksi heijastamalla muita kuvia niihin – optiikkaan perustuva koe, jolla ei ole OPAD:n kaltaista pahantahtoista potentiaalia.

Kokeissa OPAD pystyi petkuttamaan luokittelijan 31:stä 64 hyökkäyksestä – 48 prosentin onnistumisprosentti. Tutkijat huomauttavat, että onnistumisprosentti riippuu suuresti hyökkäyksen kohteena olevasta esineestä. Marmoroitu tai kaareva pinta (kuten karhun ja mukin tapauksessa) eivät voi tarjota tarpeeksi suoraa heijastavuutta hyökkäyksen suorittamiseksi. Toisaalta tarkoituksella heijastavat tasaiset pinnat, kuten tien merkit, ovat ihanteellisia ympäristöjä OPAD-perturbaatiolle.

Avoimen lähdekoodin hyökkäyspinnat

Kaikki hyökkäykset tehtiin tiettyyn tietokantoihin: Saksan liikennemerkintöjen tunnistamistietokanta (GTSRB, jota kutsutaan GTSRB-CNN:ksi uudessa tutkimuksessa), jota käytettiin mallin kouluttamiseen samankaltaisessa hyökkäyskohtauksessa vuonna 2018; ImageNet VGG16 -tietokanta; ja ImageNet Resnet-50 -joukko.

Onko nämä hyökkäykset “vain teoreettisia”, koska ne kohdistuvat avoimen lähdekoodin tietokantoihin eivätkä suljettuihin järjestelmiin itseohjautuvissa ajoneuvoissa? Ne olisivat, jos suuret tutkimuslaitokset eivät riippuisi avoimen lähdekoodin ekosysteemistä, mukaan lukien algoritmit ja tietokannat, ja sen sijaan työskentelisivät salassa suljettujen tietokantojen ja epäselvien tunnistusalgoritmien tuottamiseksi.

Mutta yleensä se ei toimi näin. Merkittävät tietokannat muodostavat vertailukohtia, joiden mukaan kaikki edistys (ja arvostus/maine) mitataan, kun taas avoimen lähdekoodin kuvatunnistusjärjestelmät, kuten YOLO-sarja, etenevät yhteistyön kautta nopeammin kuin suljetut järjestelmät, jotka toimivat samankaltaisilla periaatteilla.

FOSS-altis

Vaikka tietokoneen näön järjestelmän data korvataan lopulta kokonaan suljetuilla tiedoilla, “tyhjennettyjen” mallien painot säilytetään usein varhaisessa kehitysvaiheessa FOSS-dataa, jota ei koskaan hävitetä – mikä tarkoittaa, että tulokset voidaan potentiaalisesti kohdistaa FOSS-menetelmillä.

Lisäksi avoimen lähdekoodin lähestymistapa tietokoneen näön järjestelmiin mahdollistaa yksityisten yritysten hyödyntäämän ilman kustannuksia haaroituneita innovaatioita muista maailmanlaajuisista tutkimushankkeista, mikä lisää taloudellista kannustetta pitää arkkitehtuuri avoimena. Sen jälkeen he voivat yrittää sulkea järjestelmän vasta kaupallistamisvaiheessa, jolloin koko joukko johtuvia FOSS-mittauksia on syvästi upotettu siihen.