stubbur Optísk andstæðingur árás getur breytt merkingu umferðarmerkja - Unite.AI
Tengja við okkur

Netöryggi

Optísk andstæðingur árás getur breytt merkingu umferðarmerkja

mm

Útgefið

 on

Vísindamenn í Bandaríkjunum hafa þróað andstæðing árás gegn getu vélanámskerfa til að túlka rétt það sem þeir sjá - þar á meðal hluti sem eru mikilvægir fyrir verkefni eins og umferðarskilti - með því að skína munstraðri ljósi á raunverulega hluti. Í einni tilraun tókst nálguninni að valda því að merkingu „STOPP“ vegkantsskilti breyttist í „30 mph“ hámarkshraðaskilti.

Truflanir á skilti, sem skapast með því að skína tilbúnu ljósi á það, skekkir hvernig það er túlkað í vélanámskerfi. Heimild: https://arxiv.org/pdf/2108.06247.pdf

Truflanir á skilti, sem skapast með því að skína tilbúnu ljósi á það, skekkir hvernig það er túlkað í vélanámskerfi. Heimild: https://arxiv.org/pdf/2108.06247.pdf

The rannsóknir á rétt á sér Optísk andstæðingur árás, og kemur frá Purdue háskólanum í Indiana.

Optical Adversarial attack (OPAD), eins og blaðið leggur til, notar skipulega lýsingu til að breyta útliti skotmarkshluta og krefst aðeins skjávarpa, myndavélar og tölvu. Rannsakendur gátu framkvæmt bæði hvíta og svarta kassa árásir með þessari tækni.

OPAD uppsetningin og lágmarksskynja (af fólki) brenglun sem er fullnægjandi til að valda rangri flokkun.

OPAD uppsetningin og lágmarksskynjun (af fólki) sem er fullnægjandi til að valda rangri flokkun.

Uppsetningin fyrir OPAD samanstendur af ViewSonic 3600 Lumens SVGA skjávarpa, Canon T6i myndavél og fartölvu.

Black Box og markvissar árásir

Árásir á hvítum kassa eru ólíklegar aðstæður þar sem árásarmaður getur haft beinan aðgang að þjálfunarlíkönsferli eða að stjórn inntaksgagna. Black box árásir eru aftur á móti venjulega mótaðar með því að álykta hvernig vélnám er samsett, eða að minnsta kosti hvernig það hegðar sér, búa til „skugga“ líkön og þróa andstæðingar árásir sem eru hannaðar til að vinna á upprunalegu líkaninu.

Hér sjáum við hversu mikið sjóntruflanir eru nauðsynlegar til að blekkja flokkarann.

Hér sjáum við hversu mikið sjóntruflanir eru nauðsynlegar til að blekkja flokkinnGer.

Í síðara tilvikinu er ekki þörf á sérstökum aðgangi, þó að slíkar árásir séu mjög studdar af því hve víða opinn hugbúnaður tölvusjónsöfn og gagnagrunnar eru í núverandi fræðilegum og viðskiptalegum rannsóknum.

Allar OPAD árásir sem lýst er í nýju blaðinu eru „markvissar“ árásir, sem leitast sérstaklega við að breyta því hvernig ákveðnir hlutir eru túlkaðir. Þótt kerfið hafi einnig verið sýnt fram á að geta náð almennum, óhlutbundnum árásum, halda vísindamennirnir því fram að raunverulegur árásarmaður hefði sértækara truflandi markmið.

OPAD árásin er einfaldlega raunveruleg útgáfa af þeirri meginreglu sem oft er rannsakað að sprauta hávaða inn í myndir sem verða notaðar í tölvusjónkerfi. Gildi nálgunarinnar er að hægt er einfaldlega að „varpa“ truflunum á markhlutinn til að koma af stað rangri flokkun, en að tryggja að myndir „Trójuhests“ lendi í þjálfunarferlinu er frekar erfiðara að framkvæma.

Í tilvikinu þar sem OPAD gat sett hashed merkingu „hraða 30“ myndarinnar í gagnasafni á „STOP“ merki, var grunnlínumyndin fengin með því að lýsa hlutinn jafnt og þétt á 140/255 styrkleika. Þá var skjávarpa-jöfnuð lýsing notuð sem varpað hallandi niðurfallsárás.

Dæmi um misflokkunarárásir á OPAD.

Rannsakendur taka eftir því að aðaláskorun verkefnisins hefur verið að kvarða og setja upp skjávarpabúnaðinn þannig að hann nái hreinni „blekkingu“, þar sem horn, ljósfræði og nokkrir aðrir þættir eru áskorun fyrir hagnýtingu.

Að auki er líklegt að nálgunin virki aðeins á nóttunni. Hvort augljós lýsing myndi sýna „hakkið“ er líka þáttur; ef hlutur eins og skilti er þegar upplýstur verður skjávarpinn að bæta upp fyrir þá lýsingu og magn endurvarpaðrar truflunar þarf einnig að vera ónæmt fyrir framljósum. Það virðist vera kerfi sem myndi virka best í borgarumhverfi, þar sem umhverfislýsing er líkleg til að vera stöðugri.

Rannsóknin byggir í raun upp ML-stilla endurtekningu á Columbia háskólanum Rannsóknir 2004 að breyta útliti hluta með því að varpa öðrum myndum á þá – tilraun sem byggir á ljósfræði sem skortir illkynja möguleika OPAD.

Í prófunum tókst OPAD að blekkja flokkara fyrir 31 af 64 árásum - 48% árangur. Rannsakendur benda á að árangurinn veltur mjög á tegund hlutarins sem ráðist er á. Flekkóttir eða bognir yfirborð (svo sem bangsi og krús) geta ekki veitt nægilega beina endurspeglun til að framkvæma árásina. Aftur á móti eru flatir fletir sem endurspegla viljandi eins og vegaskilti kjörað umhverfi fyrir OPAD röskun.

Open Source Attack Surfaces

Allar árásirnar voru gerðar gegn sérstöku safni gagnagrunna: þýska umferðarmerkjagagnagrunninum (GTSRB, kallað GTSRB-CNN í nýju blaði), sem var notað til að þjálfa líkanið fyrir a svipuð árásaratburðarás árið 2018; myndnetinu VGG16 gagnasafn; og ImageNet Resnet-50 sett.

Svo, eru þessar árásir „aðeins fræðilegar“, þar sem þær beinast að opnum gagnasöfnum, en ekki að einkareknum, lokuðum kerfum í sjálfstýrðum ökutækjum? Þeir myndu vera, ef helstu rannsóknararmarnir treystu ekki á opinn uppspretta vistkerfi, þar á meðal reiknirit og gagnapakka, og í staðinn strituðu þeir í leyni við að framleiða lokaðan uppspretta gagnapakka og ógegnsæjar viðurkenningarreiknirit.

En almennt séð virkar það ekki þannig. Tímamótagagnasöfn verða viðmiðin sem allar framfarir (og virðing/lof) verða mæld á meðan opinn uppspretta myndgreiningarkerfi eins og YOLO röðin koma fram, í gegnum sameiginlega alþjóðlega samvinnu, hvers kyns innra þróað, lokað kerfi sem ætlað er að starfa eftir svipuðum meginreglum .

FOSS lýsingin

Jafnvel þar sem gögnum í tölvusjón ramma verður að lokum skipt út fyrir algjörlega lokuð gögn, er þyngd „úttæmdu“ líkananna samt oft kvarðuð á fyrstu stigum þróunar með FOSS gögnum sem verður aldrei hent að öllu leyti – sem þýðir að kerfin sem myndast geta hugsanlega verið skotmark með FOSS aðferðum.

Að auki, að treysta á opinn uppspretta nálgun við ferilskrárkerfi af þessu tagi gerir einkafyrirtækjum kleift að nýta sér, laus við greinóttar nýjungar frá öðrum alþjóðlegum rannsóknarverkefnum, sem bætir við fjárhagslegum hvata til að halda arkitektúrnum aðgengilegum. Eftir það geta þeir reynt að loka kerfinu aðeins á þeim tímapunkti sem markaðssetningin fer fram, en þá er heilt úrval af óskiljanlegum FOSS-mælingum djúpt innbyggt í það.