Optički kontradiktorni napad može promijeniti značenje prometnih znakova

Istraživači u SAD-u razvili su suprotstavljeni napad na sposobnost sustava strojnog učenja da ispravno interpretiraju ono što vide - uključujući kritične predmete poput prometnih znakova - usmjeravanjem svjetla s uzorkom na objekte u stvarnom svijetu. U jednom eksperimentu, pristup je uspio pretvoriti značenje znaka 'STOP' uz cestu u znak ograničenja brzine '30 mph'.

Perturbacije na znaku, stvorene osvjetljavanjem izrađenog svjetla na njemu, iskrivljuju način na koji se on tumači u sustavu strojnog učenja. Izvor: https://arxiv.org/pdf/2108.06247.pdf

The istraživanja ima pravo Optički protivnički napad, a dolazi sa Sveučilišta Purdue u Indiani.

Optički adversarial napad (OPAD), kako je predloženo u radu, koristi strukturirano osvjetljenje za promjenu izgleda ciljnih objekata i zahtijeva samo robni projektor, kameru i računalo. Istraživači su uspjeli uspješno izvesti napade bijele kutije i crne kutije koristeći ovu tehniku.

Postavljanje OPAD-a i minimalno percipirana (od strane ljudi) izobličenja koja su primjerena da uzrokuju pogrešnu klasifikaciju.

Postavka za OPAD sastoji se od ViewSonic SVGA projektora od 3600 lumena, Canon T6i kamere i prijenosnog računala.

Crna kutija i ciljani napadi

Napadi bijele kutije su malo vjerojatni scenariji u kojima napadač može imati izravan pristup postupku modela učenja ili upravljanju ulaznim podacima. Napadi crne kutije, s druge strane, obično se formuliraju zaključivanjem o tome kako je strojno učenje sastavljeno ili barem kako se ponaša, izradom 'shadow' modela i razvojem suparničkih napada osmišljenih za rad na izvornom modelu.

Ovdje vidimo količinu vizualne perturbacije koja je potrebna da se zavara klasifikacijaer.

U potonjem slučaju nije potreban poseban pristup, iako su takvi napadi uvelike potpomognuti sveprisutnošću knjižnica i baza podataka otvorenog koda računalnog vida u aktualnim akademskim i komercijalnim istraživanjima.

Svi OPAD napadi opisani u novom radu su 'ciljani' napadi, koji posebno nastoje promijeniti način na koji se određeni objekti interpretiraju. Iako je sustav također pokazao da je sposoban za postizanje generaliziranih, apstraktnih napada, istraživači tvrde da bi napadač iz stvarnog svijeta imao specifičniji cilj ometanja.

OPAD napad je jednostavno stvarna verzija često istraživanog principa ubrizgavanja šuma u slike koje će se koristiti u sustavima računalnog vida. Vrijednost pristupa je u tome što se perturbacije mogu jednostavno 'projicirati' na ciljni objekt kako bi se pokrenula pogrešna klasifikacija, dok je osiguranje da slike 'trojanskog konja' završe u procesu učenja prilično teže postići.

U slučaju gdje je OPAD uspio nametnuti hashirano značenje slike 'brzina 30' u skupu podataka na znak 'STOP', osnovna slika je dobivena jednoličnim osvjetljavanjem objekta intenzitetom 140/255. Zatim je primijenjeno osvjetljenje kompenzirano projektorom kao projicirano gradijentni silazni napad.

Primjeri OPAD napada pogrešne klasifikacije.

Istraživači primjećuju da je glavni izazov projekta bio kalibrirati i postaviti mehanizam projektora tako da postigne čistu 'obmanu', budući da kutovi, optika i nekoliko drugih čimbenika predstavljaju izazov za iskorištavanje.

Osim toga, pristup će vjerojatno funkcionirati samo noću. Faktor je i hoće li očita rasvjeta otkriti 'hack'; ako je objekt poput znaka već osvijetljen, projektor mora kompenzirati tu rasvjetu, a količina reflektiranih smetnji također mora biti otporna na prednja svjetla. Čini se da bi to bio sustav koji bi najbolje funkcionirao u urbanim okruženjima, gdje je osvjetljenje okoline vjerojatno stabilnije.

Istraživanje učinkovito gradi iteraciju Sveučilišta Columbia orijentiranu na strojno učenje. 2004 istraživanje u mijenjanje izgleda objekata projiciranjem drugih slika na njih – eksperiment temeljen na optici kojem nedostaje zloćudni potencijal OPAD-a.

Tijekom testiranja, OPAD je uspio prevariti klasifikator za 31 od 64 napada – stopa uspješnosti od 48%. Istraživači napominju da stopa uspjeha uvelike ovisi o vrsti objekta koji se napada. Pjegave ili zakrivljene površine (kao što su medo i šalica) ne mogu pružiti dovoljno izravne refleksije za izvođenje napada. S druge strane, namjerno reflektirajuće ravne površine poput prometnih znakova idealno su okruženje za OPAD distorziju.

Površine napada otvorenog koda

Svi napadi su poduzeti protiv određenog skupa baza podataka: Njemačke baze podataka o prepoznavanju prometnih znakova (GTSRB, nazvan GTSRB-CNN u novom radu), koji je korišten za obuku modela za a sličan scenarij napada u 2018; ImageNet VGG16 skup podataka; i ImageNet Resnet-50 postaviti.

Dakle, jesu li ovi napadi 'samo teorijski', budući da su usmjereni na skupove podataka otvorenog koda, a ne na vlasničke, zatvorene sustave u autonomnim vozilima? Bili bi, kada se glavne istraživačke grane ne bi oslanjale na ekostrukturu otvorenog koda, uključujući algoritme i skupove podataka, već bi se umjesto toga u tajnosti trudile proizvoditi skupove podataka zatvorenog koda i neprozirne algoritme prepoznavanja.

Ali općenito, to ne funkcionira tako. Značajni skupovi podataka postaju mjerila prema kojima se mjeri sav napredak (i ​​poštovanje/priznanje), dok sustavi za prepoznavanje slika otvorenog koda poput serije YOLO, kroz zajedničku globalnu suradnju, prednjače u odnosu na bilo koji interno razvijen, zatvoren sustav namijenjen radu na sličnim principima.

Izloženost FOSS-u

Čak i tamo gdje će se podaci u okviru računalnog vida na kraju zamijeniti potpuno zatvorenim podacima, težine 'ispražnjenih' modela i dalje se često kalibriraju u ranim fazama razvoja pomoću FOSS podataka koji nikada neće biti u potpunosti odbačeni - što znači da rezultirajući sustavi potencijalno mogu biti ciljani FOSS metodama.

Osim toga, oslanjanje na pristup otvorenog koda sustavima životopisa ove prirode omogućuje privatnim tvrtkama da se koriste, besplatno, razgranatim inovacijama iz drugih globalnih istraživačkih projekata, dodajući financijski poticaj da arhitektura ostane dostupna. Nakon toga mogu pokušati zatvoriti sustav samo u trenutku komercijalizacije, do kada je cijeli niz FOSS metrika koje se može zaključiti duboko ugrađen u njega.