Optische vijandige aanval kan de betekenis van verkeersborden veranderen

Amerikaanse onderzoekers hebben een aanval ontwikkeld op het vermogen van machine learning-systemen om correct te interpreteren wat ze zien – inclusief cruciale objecten zoals verkeersborden – door lichtpatronen op echte objecten te laten schijnen. In één experiment slaagde de aanpak erin om de betekenis van een 'STOP'-bord langs de weg om te zetten in een bord met een maximumsnelheid van '30 km/u'.

Verstoringen op een bord, gecreëerd door er ambachtelijk licht op te schijnen, verstoren de manier waarop het wordt geïnterpreteerd in een machine learning-systeem. Bron: https://arxiv.org/pdf/2108.06247.pdf

Ocuco's Medewerkers onderzoek is getiteld Optische vijandige aanval, en komt van Purdue University in Indiana.

Een OPtical ADversarial Attack (OPAD), zoals voorgesteld door de krant, gebruikt gestructureerde verlichting om het uiterlijk van doelobjecten te veranderen en vereist alleen een commodity-projector, een camera en een computer. Met deze techniek konden de onderzoekers met succes zowel white-box- als black-box-aanvallen uitvoeren.

De OPAD-opstelling en de minimaal waargenomen (door mensen) verstoringen die voldoende zijn om een ​​verkeerde classificatie te veroorzaken.

De set-up voor OPAD bestaat uit een ViewSonic 3600 Lumens SVGA-projector, een Canon T6i-camera en een laptop.

Black Box en gerichte aanvallen

Whitebox-aanvallen zijn onwaarschijnlijke scenario's waarbij een aanvaller directe toegang heeft tot een trainingsprocedure of tot het beheer van de invoergegevens. Blackbox-aanvallen daarentegen worden doorgaans geformuleerd door af te leiden hoe een machine learning-systeem is samengesteld, of op zijn minst hoe het zich gedraagt, 'schaduwmodellen' te creëren en vijandige aanvallen te ontwikkelen die zijn ontworpen om op het oorspronkelijke model te werken.

Hier zien we de hoeveelheid visuele verstoring die nodig is om de classifi voor de gek te houdenst.

In het laatste geval is geen speciale toegang nodig, hoewel dergelijke aanvallen enorm worden bevorderd door de alomtegenwoordigheid van open source computer vision-bibliotheken en databases in het huidige academische en commerciële onderzoek.

Alle OPAD-aanvallen die in het nieuwe artikel worden beschreven, zijn 'gerichte' aanvallen, die specifiek gericht zijn op het veranderen van de manier waarop bepaalde objecten worden geïnterpreteerd. Hoewel is aangetoond dat het systeem ook in staat is om algemene, abstracte aanvallen uit te voeren, stellen de onderzoekers dat een echte aanvaller een specifieker verstorend doel zou hebben.

De OPAD-aanval is simpelweg een praktische versie van het veel onderzochte principe van het injecteren van ruis in beelden die gebruikt zullen worden in computer vision-systemen. De waarde van deze aanpak is dat men de verstoringen simpelweg op het doelobject kan 'projecteren' om de misclassificatie te activeren, terwijl het veel moeilijker is om te garanderen dat 'Trojaanse paarden'-beelden in het trainingsproces terechtkomen.

In het geval dat OPAD de gehashte betekenis van de afbeelding 'snelheid 30' in een dataset op een 'STOP'-bord kon toepassen, werd de basisafbeelding verkregen door het object gelijkmatig te belichten met een intensiteit van 140/255. Vervolgens werd projectorgecompenseerde verlichting toegepast als een geprojecteerde gradiënt afdaling aanval.

Voorbeelden van OPAD misclassificatie-aanvallen.

De onderzoekers stellen vast dat de grootste uitdaging van het project het kalibreren en instellen van het projectormechanisme was, zodat het een schone 'misleiding' oplevert. Dit komt doordat hoeken, optica en diverse andere factoren een uitdaging vormen voor de exploitatie.

Bovendien is de aanpak waarschijnlijk alleen 's nachts effectief. Of de zichtbare verlichting de 'hack' zou onthullen, speelt ook een rol; als een object zoals een bord al verlicht is, moet de projector die verlichting compenseren, en de hoeveelheid gereflecteerde verstoring moet bovendien bestand zijn tegen koplampen. Het systeem lijkt het beste te werken in stedelijke omgevingen, waar de omgevingsverlichting waarschijnlijk stabieler is.

Het onderzoek bouwt effectief een ML-georiënteerde versie van Columbia University's 2004 onderzoek in het veranderen van het uiterlijk van objecten door er andere afbeeldingen op te projecteren - een optica gebaseerd experiment dat het kwaadaardige potentieel van OPAD mist.

Tijdens het testen slaagde OPAD erin een classifier voor de gek te houden voor 31 van de 64 aanvallen – een slagingspercentage van 48%. De onderzoekers merken op dat het slagingspercentage sterk afhangt van het type object dat wordt aangevallen. Gevlekte of gebogen oppervlakken (zoals respectievelijk een teddybeer en een mok) kunnen onvoldoende directe reflectie bieden om de aanval uit te voeren. Aan de andere kant zijn opzettelijk reflecterende vlakke oppervlakken zoals verkeersborden ideale omgevingen voor een OPAD-vervorming.

Open Source-aanvalsoppervlakken

Alle aanvallen werden uitgevoerd tegen een specifieke set databases: de Duitse Traffic Sign Recognition Database (GTSRB, GTSRB-CNN genoemd in het nieuwe artikel), dat werd gebruikt om het model te trainen voor a vergelijkbaar aanvalsscenario in 2018; het ImageNet VGG16 dataset; en het ImageNet Reset-50 in te stellen.

Zijn deze aanvallen dan 'louter theoretisch', aangezien ze gericht zijn op open source datasets en niet op de propriëtaire, gesloten systemen in zelfrijdende auto's? Dat zouden ze wel zijn als de grote onderzoeksafdelingen niet afhankelijk waren van de open source-ecostructuur, inclusief algoritmen en datasets, en in plaats daarvan in het geheim werkten aan het produceren van gesloten datasets en ondoorzichtige herkenningsalgoritmen.

Maar over het algemeen werkt het niet zo. Belangrijke datasets worden de maatstaf waaraan alle vooruitgang (en waardering/lof) wordt afgemeten, terwijl open-source beeldherkenningssystemen zoals de YOLO-serie, door wereldwijde samenwerking, alle intern ontwikkelde, gesloten systemen die volgens vergelijkbare principes werken, ver achter zich laten.

De FOSS-blootstelling

Zelfs als de gegevens in een computer vision-framework uiteindelijk worden vervangen door volledig gesloten gegevens, worden de gewichten van de 'lege' modellen in de vroege stadia van de ontwikkeling nog vaak gekalibreerd door FOSS-gegevens die nooit volledig worden weggegooid. Dit betekent dat de resulterende systemen mogelijk het doelwit kunnen worden van FOSS-methoden.

Bovendien maakt het vertrouwen op een open source-benadering van CV-systemen van deze aard het voor particuliere bedrijven mogelijk om gratis gebruik te maken van vertakte innovaties van andere wereldwijde onderzoeksprojecten, wat een financiële stimulans toevoegt om de architectuur toegankelijk te houden. Daarna kunnen ze alleen proberen het systeem te sluiten op het punt van commercialisering, tegen die tijd is een hele reeks afleidbare FOSS-statistieken er diep in verankerd.