Küberturvalisus
Optiline võistlev rünnak võib muuta liiklusmärkide tähendust
USA teadlased on välja töötanud võistleva rünnaku masinõppesüsteemide võime vastu õigesti tõlgendada seda, mida nad näevad, sealhulgas missioonikriitilisi objekte, näiteks liiklusmärke, valgustades reaalse maailma objekte mustriga valgust. Ühes katses õnnestus lähenemisel muuta teeäärse märgi STOP tähendus 30 miili tunnis kiiruspiirangu märgiks.
Märgi häired, mis tekivad sellele meisterdatud valguse säramisel, moonutavad seda, kuidas seda masinõppesüsteemis tõlgendatakse. Allikas: https://arxiv.org/pdf/2108.06247.pdf
. teadustöö on õigus Optiline võistlev rünnakja pärineb Purdue ülikoolist Indianas.
Dokumendis välja pakutud OPAD (OPtical Adversarial attack) kasutab sihtobjektide välimuse muutmiseks struktureeritud valgustust ja selleks on vaja ainult tarbeprojektorit, kaamerat ja arvutit. Teadlased suutsid seda tehnikat kasutades edukalt läbi viia nii valge kasti kui ka musta kasti rünnakuid.
OPAD-i seadistus ja minimaalselt tajutavad (inimeste poolt) moonutused, mis on piisavad vale liigituse tekitamiseks.
OPAD-i seadistus koosneb ViewSonic 3600 Lumens SVGA projektorist, Canon T6i kaamerast ja sülearvutist.
Must kast ja suunatud rünnakud
Valge kasti rünnakud on ebatõenäolised stsenaariumid, kus ründajal võib olla otsene juurdepääs koolitusmudeli protseduurile või sisendandmete juhtimisele. Seevastu musta kasti rünnakud formuleeritakse tavaliselt masinõppe koostamise või vähemalt käitumise põhjal, luues "vari" mudeleid ja arendades võistlevaid rünnakuid, mis on kavandatud töötama algse mudeliga.
Siin näeme klassifikaatori lollimiseks vajalikku visuaalset häirimister.
Viimasel juhul pole erilist juurdepääsu vaja, kuigi sellistele rünnakutele aitavad suuresti kaasa avatud lähtekoodiga arvutinägemise teegid ja andmebaasid praegustes akadeemilistes ja ärilistes uuringutes.
Kõik uues dokumendis kirjeldatud OPAD-i rünnakud on „sihitud” rünnakud, mille eesmärk on konkreetselt muuta teatud objektide tõlgendamist. Kuigi on tõestatud, et süsteem suudab saavutada üldistatud abstraktseid rünnakuid, väidavad teadlased, et reaalse maailma ründajal oleks konkreetsem häiriv eesmärk.
OPAD-rünnak on lihtsalt reaalne versioon sageli uuritud põhimõttest süstida müra piltidele, mida hakatakse kasutama arvutinägemissüsteemides. Selle lähenemisviisi väärtus seisneb selles, et häireid saab lihtsalt sihtobjektile "projitseerida", et käivitada vale klassifitseerimine, samas kui "Trooja hobuse" kujutiste koolitusprotsessis lõppu on raskem saavutada.
Juhul, kui OPAD suutis andmekogus oleva „kiirus 30” kujutise räsitud tähenduse panna „STOP” märgile, saadi lähtekujutis objekti ühtlase valgustamisega intensiivsusega 140/255. Seejärel rakendati projektoriga kompenseeritud valgustust gradiendi laskumise rünnak.
Näited OPAD-i valesti klassifitseerimise rünnakutest.
Teadlased märgivad, et projekti peamiseks väljakutseks on olnud projektori mehhanismi kalibreerimine ja seadistamine nii, et see saavutaks puhta "pettuse", kuna nurgad, optika ja mitmed muud tegurid on selle ärakasutamise väljakutseks.
Lisaks töötab see lähenemisviis tõenäoliselt ainult öösel. See, kas ilmne valgustus paljastab häkkimise, on samuti tegur; kui mõni objekt, näiteks märk, on juba valgustatud, peab projektor seda valgustust kompenseerima ja peegeldunud häiringu hulk peab olema vastupidav ka esituledele. See näib olevat süsteem, mis toimiks kõige paremini linnakeskkonnas, kus keskkonnavalgustus on tõenäoliselt stabiilsem.
Uuring loob tõhusalt Columbia ülikooli ML-orienteeritud iteratsiooni 2004. aasta uuringud objektide välimuse muutmiseks, projitseerides neile teisi pilte – see on optikapõhine eksperiment, millel puudub OPADi pahaloomuline potentsiaal.
Testimisel suutis OPAD petta klassifikaatorit 31 rünnaku puhul 64-st – õnnestumismäär oli 48%. Teadlased märgivad, et edukuse määr sõltub suuresti rünnatava objekti tüübist. Laigulised või kumerad pinnad (nagu vastavalt kaisukaru ja kruus) ei suuda pakkuda rünnaku sooritamiseks piisavalt otsest peegeldust. Teisest küljest on tahtlikult peegeldavad tasased pinnad, nagu liiklusmärgid, ideaalne keskkond OPAD-i moonutuste jaoks.
Avatud lähtekoodiga ründepinnad
Kõik rünnakud pandi toime kindla andmebaaside kogumi vastu: Saksamaa liiklusmärkide tuvastamise andmebaas (GTSRB, mida uues dokumendis nimetatakse GTSRB-CNN), mida kasutati mudeli koolitamiseks a sarnane rünnakustsenaarium 2018. aastal; ImageNet VGG16 andmestik; ja ImageNet Resnet-50 seada.
Niisiis, kas need rünnakud on "ainult teoreetilised", kuna need on suunatud avatud lähtekoodiga andmekogumitele, mitte autonoomsete sõidukite patenteeritud suletud süsteemidele? Need oleksid nii, kui peamised uurimisrühmad ei tugineks avatud lähtekoodiga ökostruktuurile, sealhulgas algoritmidele ja andmekogumitele, vaid töötaksid selle asemel salaja, et toota suletud lähtekoodiga andmekogumiid ja läbipaistmatuid tuvastusalgoritme.
Kuid üldiselt see nii ei tööta. Märkimisväärsetest andmekogumitest saavad etalonid, mille alusel mõõdetakse kõiki edusamme (ja lugupidamist/tunnustust), samal ajal kui avatud lähtekoodiga pildituvastussüsteemid, nagu YOLO seeria, saavutavad ühise ülemaailmse koostöö kaudu mis tahes sisemiselt väljatöötatud suletud süsteemid, mis on mõeldud toimima sarnastel põhimõtetel. .
FOSS-i kokkupuude
Isegi kui arvutivisiooni raamistikus olevad andmed asendatakse lõpuks täielikult suletud andmetega, kalibreeritakse tühjendatud mudelite kaalud arendamise varases staadiumis sageli FOSS-i andmetega, mida kunagi täielikult ei visata – mis tähendab, et saadud süsteeme saab potentsiaalselt sihtida FOSS-meetoditega.
Lisaks võimaldab seda laadi CV-süsteemide avatud lähtekoodiga lähenemisviisi kasutamine eraettevõtetel kasutada teiste ülemaailmsete uurimisprojektide hargnenud uuendusi tasuta, lisades rahalise stiimuli arhitektuuri kättesaadavana hoidmiseks. Seejärel saavad nad proovida süsteemi sulgeda ainult kommertsialiseerimise hetkel, milleks ajaks on sellesse sügavalt põimitud terve hulk järeldatavaid FOSS-i mõõdikuid.
