Optický nepriateľský útok môže zmeniť význam dopravných značiek

Výskumníci v USA vyvinuli nepriateľský útok proti schopnosti systémov strojového učenia správne interpretovať to, čo vidia – vrátane kritických predmetov, ako sú dopravné značky – žiarením vzorovaného svetla na objekty skutočného sveta. V jednom experimente tento prístup uspel v tom, že význam značky „STOP“ pri ceste sa zmenil na značku s obmedzením rýchlosti „30 mph“.

výskum je oprávnený Optický nepriateľský útok, a pochádza z Purdue University v Indiane.

Optický ADversarial útok (OPAD), ako je navrhnutý v článku, využíva štruktúrované osvetlenie na zmenu vzhľadu cieľových objektov a vyžaduje len projektor, kameru a počítač. Výskumníci boli schopní úspešne podniknúť útoky na biele aj čierne skrinky pomocou tejto techniky.

Zostava pre OPAD pozostáva z projektora ViewSonic 3600 Lumens SVGA, fotoaparátu Canon T6i a prenosného počítača.

Čierna skrinka a cielené útoky

Útoky v bielej skrinke sú nepravdepodobné scenáre, v ktorých môže mať útočník priamy prístup k postupu tréningového modelu alebo k riadeniu vstupných údajov. Naopak, útoky čiernej skrinky sú zvyčajne formulované odvodením, ako je strojové učenie zložené, alebo aspoň ako sa správa, vytváraním „tieňových“ modelov a vývojom protivníkových útokov navrhnutých tak, aby fungovali na pôvodnom modeli.

V druhom prípade nie je potrebný žiadny špeciálny prístup, hoci takýmto útokom výrazne napomáha všadeprítomnosť knižníc a databáz počítačového videnia s otvoreným zdrojom v súčasnom akademickom a komerčnom výskume.

Všetky útoky OPAD načrtnuté v novom dokumente sú „cielené“ útoky, ktoré sa špecificky snažia zmeniť spôsob interpretácie určitých objektov. Aj keď sa preukázalo, že systém je schopný dosiahnuť zovšeobecnené, abstraktné útoky, výskumníci tvrdia, že útočník v reálnom svete by mal špecifickejší rušivý cieľ.

Útok OPAD je jednoducho reálnou verziou často skúmaného princípu vstrekovania šumu do obrázkov, ktoré sa budú používať v systémoch počítačového videnia. Hodnota tohto prístupu spočíva v tom, že možno jednoducho „projektovať“ poruchy na cieľový objekt, aby sa spustila nesprávna klasifikácia, zatiaľ čo zabezpečiť, aby obrázky „trójskeho koňa“ skončili v tréningovom procese, je o niečo ťažšie.

V prípade, že OPAD dokázal vložiť hašovaný význam obrazu „rýchlosť 30“ v súbore údajov na značku „STOP“, základný obrázok sa získal rovnomerným osvetlením objektu pri intenzite 140/255. Potom sa ako projektované použilo osvetlenie kompenzované projektorom gradientný zostupový útok.

Výskumníci poznamenávajú, že hlavnou výzvou projektu bolo kalibrovať a nastaviť mechanizmus projektora tak, aby sa dosiahol čistý „klam“, pretože uhly, optika a niekoľko ďalších faktorov je výzvou pre využitie.

Okrem toho je pravdepodobné, že tento prístup bude fungovať iba v noci. Faktorom je aj to, či by zjavné osvetlenie odhalilo „hack“; ak je už osvetlený predmet, ako napríklad značka, projektor musí toto osvetlenie kompenzovať a množstvo odrazeného rušenia musí byť tiež odolné voči svetlometom. Zdá sa, že ide o systém, ktorý by najlepšie fungoval v mestskom prostredí, kde je environmentálne osvetlenie pravdepodobne stabilnejšie.

Výskum efektívne vytvára iteráciu Kolumbijskej univerzity orientovanú na ML Výskum 2004 do zmeny vzhľadu objektov premietaním iných obrazov na ne – experiment založený na optike, ktorému chýba škodlivý potenciál OPADu.

Pri testovaní bol OPAD schopný oklamať klasifikátor pre 31 zo 64 útokov – 48% úspešnosť. Výskumníci poznamenávajú, že miera úspešnosti do značnej miery závisí od typu napadnutého objektu. Strakaté alebo zakrivené povrchy (ako napríklad medvedík a hrnček) nemôžu poskytnúť dostatočnú priamu odrazivosť na vykonanie útoku. Na druhej strane, zámerne reflexné ploché povrchy, ako sú dopravné značky, sú ideálnym prostredím pre skreslenie OPAD.

Útočné povrchy s otvoreným zdrojom

Všetky útoky boli podniknuté proti špecifickému súboru databáz: nemecká databáza rozpoznávania dopravných značiek (GTSRB, v novom dokumente nazývaný GTSRB-CNN), ktorý bol použitý na trénovanie modelu pre a podobný scenár útoku v roku 2018; sieť ImageNet VGG16 súbor údajov; a ImageNet Resnet-50 nastaviť.

Sú teda tieto útoky „len teoretické“, keďže sú zamerané na súbory údajov s otvoreným zdrojom, a nie na proprietárne uzavreté systémy v autonómnych vozidlách? Boli by, keby sa hlavné výskumné ramená nespoliehali na ekoštruktúru otvoreného zdroja vrátane algoritmov a súborov údajov a namiesto toho by sa v tajnosti snažili vytvárať súbory údajov s uzavretým zdrojom a nepriehľadné algoritmy na rozpoznávanie.

Ale vo všeobecnosti to takto nefunguje. Orientačné súbory údajov sa stávajú meradlami, podľa ktorých sa meria všetok pokrok (a úcta/ohlas), zatiaľ čo systémy na rozpoznávanie obrázkov s otvoreným zdrojovým kódom, ako napríklad séria YOLO, napredujú prostredníctvom spoločnej globálnej spolupráce akéhokoľvek interne vyvinutého uzavretého systému určeného na fungovanie na podobných princípoch. .

Expozícia FOSS

Aj keď budú údaje v rámci počítačového videnia nakoniec nahradené úplne uzavretými údajmi, váhy „vyprázdnených“ modelov sú stále často kalibrované v počiatočných štádiách vývoja údajmi FOSS, ktoré nikdy nebudú úplne vyradené – čo znamená, že výsledné systémy môžu byť potenciálne zamerané metódami FOSS.

Okrem toho, spoliehanie sa na otvorený zdrojový prístup k systémom CV tohto charakteru umožňuje súkromným spoločnostiam bezplatne využívať rozvetvené inovácie z iných globálnych výskumných projektov, čím sa pridáva finančný stimul, aby bola architektúra prístupná. Potom sa môžu pokúsiť uzavrieť systém iba v bode komercializácie, kedy je v ňom hlboko zakomponovaná celá škála odvoditeľných metrík FOSS.