Optični kontradiktorni napad lahko spremeni pomen prometnih znakov

Raziskovalci v ZDA so razvili kontradiktorni napad na zmožnost sistemov strojnega učenja, da pravilno razlagajo, kar vidijo – vključno s kritičnimi predmeti, kot so prometni znaki – tako, da svetijo z vzorčasto svetlobo na predmete iz resničnega sveta. V enem poskusu je pristopu uspelo povzročiti, da se je pomen obcestnega znaka 'STOP' spremenil v znak za omejitev hitrosti '30mph'.

O Raziskave je upravičen Optični kontradiktorni napad, in prihaja z univerze Purdue v Indiani.

Optični adversarial napad (OPAD), kot predlaga članek, uporablja strukturirano osvetlitev za spreminjanje videza ciljnih predmetov in zahteva samo blagovni projektor, kamero in računalnik. Raziskovalci so s to tehniko lahko uspešno izvedli tako napade bele kot črne skrinjice.

Nastavitev za OPAD je sestavljena iz projektorja ViewSonic 3600 Lumnov SVGA, kamere Canon T6i in prenosnega računalnika.

Črna skrinjica in ciljni napadi

Napadi belih skrinjic so malo verjetni scenariji, kjer ima napadalec lahko neposreden dostop do postopka modela usposabljanja ali do upravljanja vhodnih podatkov. Napadi s črno skrinjico pa so običajno oblikovani tako, da sklepajo, kako je strojno učenje sestavljeno ali vsaj kako se obnaša, izdelujejo modele 'senc' in razvijajo kontradiktorne napade, zasnovane tako, da delujejo na izvirnem modelu.

V slednjem primeru poseben dostop ni potreben, čeprav takšnim napadom močno pripomore vseprisotnost odprtokodnih knjižnic in podatkovnih baz računalniškega vida v trenutnih akademskih in komercialnih raziskavah.

Vsi napadi OPAD, opisani v novem dokumentu, so "ciljani" napadi, ki posebej poskušajo spremeniti način interpretacije določenih predmetov. Čeprav je bilo tudi dokazano, da je sistem sposoben doseči splošne, abstraktne napade, raziskovalci trdijo, da bi imel napadalec iz resničnega sveta bolj specifičen moteč cilj.

Napad OPAD je preprosto različica resničnega sveta pogosto raziskanega principa vnašanja šuma v slike, ki se bodo uporabljale v sistemih računalniškega vida. Vrednost pristopa je v tem, da lahko preprosto 'projiciramo' motnje na ciljni objekt, da sprožimo napačno klasifikacijo, medtem ko je zagotoviti, da slike 'trojanskega konja' končajo v procesu usposabljanja, precej težje doseči.

V primeru, ko je OPAD uspel zgoščeni pomen slike 'hitrost 30' v naboru podatkov vsiliti znaku 'STOP', je bila osnovna slika pridobljena z enakomerno osvetlitvijo predmeta z intenzivnostjo 140/255. Nato je bila kot projicirana osvetlitev, kompenzirana s projektorjem napad po gradientnem spustu.

Raziskovalci ugotavljajo, da je bil glavni izziv projekta umerjanje in nastavitev mehanizma projektorja, tako da doseže čisto "prevaro", saj so koti, optika in številni drugi dejavniki izziv za izkoriščanje.

Poleg tega bo pristop verjetno deloval le ponoči. Dejavnik je tudi, ali bi očitna osvetlitev razkrila "kramp"; če je predmet, kot je znak, že osvetljen, mora projektor to osvetlitev kompenzirati, količina odbitih motenj pa mora biti odporna tudi na žaromete. Zdi se, da je to sistem, ki bi najbolje deloval v mestnih okoljih, kjer je okoljska razsvetljava verjetno bolj stabilna.

Raziskava učinkovito gradi ML-usmerjeno ponovitev univerze Columbia Raziskave 2004 v spreminjanje videza predmetov s projiciranjem drugih slik nanje – eksperiment, ki temelji na optiki in nima škodljivega potenciala OPAD.

Pri testiranju je OPAD uspel preslepiti klasifikator za 31 od 64 napadov – 48-odstotna stopnja uspešnosti. Raziskovalci ugotavljajo, da je stopnja uspešnosti močno odvisna od vrste napadanega predmeta. Lisaste ali ukrivljene površine (kot sta plišasti medvedek in skodelica) ne morejo zagotoviti dovolj neposrednega odboja za izvedbo napada. Po drugi strani pa so namerno odsevne ravne površine, kot so prometni znaki, idealno okolje za popačenje OPAD.

Odprtokodne napadalne površine

Vsi napadi so bili izvedeni proti določenemu naboru podatkovnih zbirk: nemški podatkovni zbirki za prepoznavanje prometnih znakov (GTSRB, imenovan GTSRB-CNN v novem dokumentu), ki je bil uporabljen za usposabljanje modela za a podoben scenarij napada leta 2018; ImageNet VGG16 nabor podatkov; in ImageNet Resnet-50 nastavite.

Torej, ali so ti napadi "zgolj teoretični", saj so usmerjeni na odprtokodne zbirke podatkov in ne na lastniške, zaprte sisteme v avtonomnih vozilih? Bili bi, če se glavne raziskovalne veje ne bi zanašale na odprtokodno ekostrukturo, vključno z algoritmi in nabori podatkov, in bi se namesto tega na skrivaj trudile izdelati nabore podatkov z zaprto kodo in neprozorne algoritme za prepoznavanje.

Toda na splošno to ne deluje tako. Podatkovni nizi mejnikov postanejo merila, na podlagi katerih se meri ves napredek (in spoštovanje/priznanje), medtem ko odprtokodni sistemi za prepoznavanje slik, kot je serija YOLO, s skupnim globalnim sodelovanjem prehitevajo kateri koli interno razvit zaprt sistem, ki deluje po podobnih načelih. .

Izpostavljenost FOSS

Tudi če bodo podatki v okviru računalniškega vida sčasoma nadomeščeni s popolnoma zaprtimi podatki, se uteži 'izpraznjenih' modelov še vedno pogosto kalibrirajo v zgodnjih fazah razvoja s podatki FOSS, ki ne bodo nikoli v celoti zavrženi – kar pomeni, sistemi, ki iz tega izhajajo, so potencialno lahko tarča metod FOSS.

Poleg tega zanašanje na odprtokodni pristop k sistemom življenjepisov te vrste zasebnim podjetjem omogoča, da se brezplačno okoristijo z razvejanimi inovacijami iz drugih svetovnih raziskovalnih projektov, kar dodaja finančno spodbudo za ohranjanje dostopnosti arhitekture. Nato lahko poskušajo sistem zapreti šele na točki komercializacije, do takrat pa je vanj globoko vgrajen celoten niz sklepljivih meritev FOSS.