Az optikai ellenséges támadás megváltoztathatja az útjelző táblák jelentését

Az Egyesült Államok kutatói ellenséges támadást fejlesztettek ki a gépi tanulási rendszerek azon képessége ellen, hogy helyesen értelmezzék a látottakat – beleértve a kritikus fontosságú elemeket, például az útjelző táblákat – úgy, hogy mintás fényt sugároznak a való világ tárgyaira. Az egyik kísérletben a megközelítés eredményeként a „STOP” út menti tábla jelentése „30 mph” sebességkorlátozó táblává változott.

A jelek megzavarásai, amelyeket úgy hoznak létre, hogy rávilágítanak rá, eltorzítják annak értelmezését a gépi tanulási rendszerben. Forrás: https://arxiv.org/pdf/2108.06247.pdf

A kutatás jogosult Optikai ellenséges támadás, és az Indiana állambeli Purdue Egyetemről származik.

Az Optical Adversarial attack (OPAD), amint azt a cikk javasolja, strukturált megvilágítást használ a célobjektumok megjelenésének megváltoztatására, és csak egy árukivetítőre, egy kamerára és egy számítógépre van szükség. A kutatók ezzel a technikával sikeresen tudták végrehajtani a fehér doboz és a fekete doboz támadásait.

Az OPAD-beállítás és a minimálisan (emberek által) észlelt torzítások, amelyek megfelelőek a téves besoroláshoz.

Az OPAD beállítása egy ViewSonic 3600 Lumens SVGA projektorból, egy Canon T6i kamerából és egy laptopból áll.

Fekete doboz és célzott támadások

A fehérdobozos támadások nem valószínű olyan forgatókönyvek, amelyekben a támadó közvetlenül hozzáférhet egy betanítási modelleljáráshoz vagy a bemeneti adatok kezeléséhez. A fekete doboz támadásait ezzel szemben általában úgy fogalmazzák meg, hogy kikövetkeztetjük a gépi tanulás felépítését, vagy legalábbis hogyan viselkedik, „árnyék” modelleket készítenek, és ellenséges támadásokat fejlesztenek ki, amelyek az eredeti modellen működnek.

Itt azt látjuk, hogy mekkora vizuális perturbáció szükséges az osztályozás megtévesztéséhezer.

Ez utóbbi esetben nincs szükség külön hozzáférésre, bár az ilyen támadásokat nagyban segíti a nyílt forráskódú számítógépes képi könyvtárak és adatbázisok mindenütt jelen lévő tudományos és kereskedelmi kutatásokban.

Az új dokumentumban felvázolt OPAD-támadások mindegyike „célzott” támadás, amely kifejezetten bizonyos objektumok értelmezésének megváltoztatására törekszik. Bár a rendszerről bebizonyosodott, hogy képes általánosított, elvont támadásokra is, a kutatók azt állítják, hogy egy valós támadónak konkrétabb bomlasztó célja lenne.

Az OPAD támadás egyszerűen egy valós változata annak a gyakran kutatott elvnek, hogy zajt fecskendeznek a képekbe, amelyeket számítógépes látásrendszerekben használnak majd. A megközelítés értéke abban rejlik, hogy a perturbációkat egyszerűen a célobjektumra lehet „vetíteni”, hogy kiváltsa a téves osztályozást, míg a „trójai faló” képek képzési folyamatba kerülésének biztosítása sokkal nehezebben kivitelezhető.

Abban az esetben, ha az OPAD képes volt egy adatkészletben lévő „30-as sebességű” kép kivonatolt jelentését rátenni egy „STOP” jelre, az alapvonalképet úgy kaptuk meg, hogy az objektumot egyenletesen, 140/255-ös intenzitással megvilágították. Ezután vetítésként projektorkompenzált megvilágítást alkalmaztunk gradiens süllyedés támadás.

Példák az OPAD téves besorolási támadásaira.

A kutatók megfigyelik, hogy a projekt fő kihívása a projektor mechanizmusának kalibrálása és beállítása volt, hogy az tiszta „megtévesztést” érjen el, mivel a szögek, az optika és számos egyéb tényező kihívást jelent a kihasználásban.

Ezenkívül a megközelítés valószínűleg csak éjszaka működik. Az is fontos tényező, hogy a nyilvánvaló megvilágítás felfedi-e a „hack”-et; ha egy tárgy, például egy tábla már meg van világítva, a kivetítőnek kompenzálnia kell ezt a megvilágítást, és a visszavert zavarás mértékének is ellenállónak kell lennie a fényszórókkal szemben. Úgy tűnik, ez egy olyan rendszer, amely városi környezetben működik a legjobban, ahol a környezeti világítás valószínűleg stabilabb.

A kutatás hatékonyan építi fel a Columbia Egyetem ML-orientált iterációját 2004. évi kutatás az objektumok megjelenésének megváltoztatására más képeket vetítve rájuk – egy optika alapú kísérlet, amelyből hiányzik az OPAD rosszindulatú potenciálja.

A tesztelés során az OPAD 31 támadásból 64-nél be tudta téveszteni az osztályozót – ez 48%-os sikerességi arány. A kutatók megjegyzik, hogy a siker aránya nagyban függ a támadott tárgy típusától. A foltos vagy ívelt felületek (mint például egy mackó és egy bögre) nem biztosítanak elegendő közvetlen visszaverődést a támadás végrehajtásához. Másrészt a szándékosan tükröződő sík felületek, például az útjelző táblák ideális környezetek az OPAD torzítására.

Nyílt forráskódú támadási felületek

Az összes támadást egy meghatározott adatbázis-csoport ellen követték el: a német közlekedési táblafelismerő adatbázist (GTSRB, az új lapban GTSRB-CNN néven), amely a modell betanítására szolgált a hasonló támadási forgatókönyv 2018-ban; az ImageNet VGG16 adatkészlet; és az ImageNet Resnet-50 beállítva.

Tehát ezek a támadások „pusztán elméletiek”, mivel nyílt forráskódú adatkészletekre irányulnak, nem pedig az autonóm járművek védett, zárt rendszereire? Így lennének, ha a fő kutatócsoportok nem támaszkodnának a nyílt forráskódú ökostruktúrára, beleértve az algoritmusokat és az adatkészleteket, és ehelyett titokban dolgoznának zárt forráskódú adatkészletek és átláthatatlan felismerő algoritmusok előállításán.

De általában ez nem így működik. A mérföldkőnek számító adatkészletek lesznek a mércék, amelyekhez viszonyítva minden fejlődést (és megbecsülést/elismertséget) mérnek, míg a nyílt forráskódú képfelismerő rendszerek, mint például a YOLO sorozat, a közös globális együttműködés révén előrébb lépnek minden belső fejlesztésű, zárt rendszer előtt, amely hasonló elvek alapján működik. .

A FOSS Expozíció

Még akkor is, ha a számítógépes látás keretrendszerében az adatokat végül teljesen zárt adatokkal helyettesítik, a „kiürített” modellek súlyát a fejlesztés korai szakaszában gyakran kalibrálják FOSS adatokkal, amelyeket soha nem dobnak el teljesen – ami azt jelenti, hogy az így létrejövő rendszerek potenciálisan megcélozhatók FOSS módszerekkel.

Ezenkívül az ilyen jellegű önéletrajzi rendszerek nyílt forráskódú megközelítése lehetővé teszi a magáncégek számára, hogy más globális kutatási projektekből származó elágazó innovációktól mentesen éljenek, ami pénzügyi ösztönzőt jelent az architektúra hozzáférhetőségének megőrzéséhez. Ezt követően csak a kereskedelmi forgalomba hozatal pillanatában próbálhatják meg bezárni a rendszert, mire a kikövetkeztethető FOSS-metrikák egész sora mélyen beágyazódik benne.