Optische Adversarial Attack Kan de Betekenis van Verkeersborden Veranderen

Onderzoekers in de VS hebben een adversarial attack ontwikkeld tegen de mogelijkheid van machine learning-systemen om correct te interpreteren wat ze zien – inclusief cruciale items zoals verkeersborden – door gepatroneerd licht op werkelijke objecten te schijnen. In een experiment slaagde de aanpak erin de betekenis van een ‘STOP’ verkeersbord te veranderen in een ’30mph’ snelheidslimietbord.

Perturbaties op een bord, gegenereerd door het schijnen van een speciaal licht erop, verstoren de interpretatie in een machine learning-systeem. Source: https://arxiv.org/pdf/2108.06247.pdf

Het onderzoek heet Optische Adversarial Attack en komt van Purdue University in Indiana.

Een Optische ADversarial attack (OPAD), zoals voorgesteld in het artikel, gebruikt gestructureerde verlichting om het uiterlijk van doelobjecten te veranderen en vereist alleen een commodity projector, een camera en een computer. De onderzoekers konden zowel white-box als black box-aanvallen succesvol uitvoeren met deze techniek.

De OPAD-opstelling en de minimale verstoringen die voldoende zijn om een misclassificatie te veroorzaken.

De opstelling voor OPAD bestaat uit een ViewSonic 3600 Lumens SVGA-projector, een Canon T6i-camera en een laptopcomputer.

Zwarte Doos en Gerichte Aanvallen

Witte doos-aanvallen zijn onwaarschijnlijke scenario’s waarin een aanvaller mogelijk directe toegang heeft tot een trainingsmodelprocedure of tot de governance van de invoergegevens. Zwarte doos-aanvallen, daarentegen, worden meestal geformuleerd door te raden hoe een machine learning-model is samengesteld, of in ieder geval hoe het zich gedraagt, door ‘schaduw’-modellen te creëren en adversarial aanvallen te ontwikkelen die zijn ontworpen om te werken op het oorspronkelijke model.

Hier zien we de hoeveelheid visuele verstoring die nodig is om de classificator te misleiden.

In het laatste geval is geen speciale toegang nodig, hoewel dergelijke aanvallen sterk worden geholpen door de alomtegenwoordigheid van open source computer vision-bibliotheken en -databases in het huidige academische en commerciële onderzoek.

Alle OPAD-aanvallen die in het nieuwe artikel worden beschreven, zijn ‘gerichte’ aanvallen, die specifiek proberen de interpretatie van bepaalde objecten te veranderen. Hoewel het systeem ook in staat is gebleken om algemene, abstracte aanvallen te bereiken, stellen de onderzoekers dat een aanvaller in de praktijk een meer specifiek disruptief doel zou hebben.

De OPAD-aanval is simpelweg een werkelijke versie van het vaak onderzochte principe van het injecteren van ruis in afbeeldingen die worden gebruikt in computer vision-systemen. De waarde van de aanpak is dat men eenvoudigweg de verstoringen op het doelobject kan ‘projecteren’ om de misclassificatie te veroorzaken, terwijl het moeilijker is om ‘Trojan horse’-afbeeldingen in het trainingsproces te krijgen.

In het geval waarin OPAD erin slaagde om de gehashte betekenis van de ‘snelheid 30’ afbeelding in een dataset op een ‘STOP’ bord te leggen, werd de basisafbeelding verkregen door het object uniform te belichten met een intensiteit van 140/255. Vervolgens werd projector-gecompenseerde verlichting toegepast als een geprojecteerde gradient descent-aanval.

Voorbeelden van OPAD-misclassificatie-aanvallen.

De onderzoekers merken op dat de belangrijkste uitdaging van het project is geweest om de projector-mechanisme te kalibreren en op te zetten zodat het een ‘schone’ ‘misleiding’ bereikt, aangezien hoeken, optica en verschillende andere factoren een uitdaging vormen voor de exploitatie.

Bovendien zal de aanpak alleen waarschijnlijk werken ‘s nachts. Of de overduidelijke verlichting de ‘hack’ zou onthullen, is ook een factor; als een object zoals een bord al verlicht is, moet de projector die verlichting compenseren, en de hoeveelheid gereflecteerde verstoring moet ook bestand zijn tegen koplampen. Het lijkt een systeem te zijn dat het beste zou werken in stedelijke omgevingen, waar de omgevingsverlichting waarschijnlijk meer stabiel is.

Het onderzoek bouwt effectief een ML-georiënteerde iteratie van de onderzoek van Columbia University uit 2004 over het veranderen van het uiterlijk van objecten door andere afbeeldingen erop te projecteren – een optica-experiment dat de kwaadaardige potentie van OPAD mist.

Bij het testen kon OPAD 31 van de 64 aanvallen voor de gek houden – een succespercentage van 48%. De onderzoekers merken op dat het succespercentage sterk afhankelijk is van het type object dat wordt aangevallen. Gevlekte of gebogen oppervlakken (zoals respectievelijk een teddybeer en een mok) kunnen niet genoeg directe reflectiviteit bieden om de aanval uit te voeren. Aan de andere kant zijn opzettelijk reflecterende vlakke oppervlakken zoals verkeersborden ideale omgevingen voor een OPAD-verstoring.

Open Source Aanvalsoppervlakken

Alle aanvallen werden uitgevoerd tegen een specifieke set databases: de Duitse Verkeersbordherkenningsdatabase (GTSRB, genoemd GTSRB-CNN in het nieuwe artikel), die werd gebruikt om het model te trainen voor een soortgelijke aanvalsscenario in 2018; de ImageNet VGG16 dataset; en de ImageNet Resnet-50 set.

Zijn deze aanvallen ‘slechts theoretisch’, aangezien ze zijn gericht op open source-databases en niet op de propriëtaire, gesloten systemen in autonome voertuigen? Ze zouden dat zijn, als de belangrijkste onderzoeksarmen niet afhankelijk zijn van de open source-ecosystemen, inclusief algoritmes en databases, en in plaats daarvan in het geheim werken aan het creëren van gesloten systemen en ondoorzichtige herkenning-algoritmes.

Maar over het algemeen is dat niet hoe het werkt. Landmark-datasets worden de benchmarks waartegen alle vooruitgang (en faam) wordt gemeten, terwijl open source-beeldherkenningssystemen zoals de YOLO-serie door gemeenschappelijke wereldwijde samenwerking vooruitgaan op elke intern ontwikkelde, gesloten systemen die op dezelfde principes werken.

De FOSS Blootstelling

Zelfs waar de gegevens in een computer vision-framework uiteindelijk worden vervangen door geheel gesloten gegevens, worden de gewichten van de ‘geleegde’ modellen vaak nog steeds gekalibreerd in de vroege stadia van de ontwikkeling door FOSS-gegevens die nooit volledig kunnen worden verwijderd – wat betekent dat de resulterende systemen mogelijk kunnen worden aangevallen door FOSS-methoden.

Bovendien maakt het gebruik van een open source-aanpak voor CV-systemen van deze aard het mogelijk voor particuliere bedrijven om zich, gratis, te laten voorzien van innovaties van andere wereldwijde onderzoeksprojecten, waardoor een financiële stimulans ontstaat om de architectuur toegankelijk te houden. Vervolgens kunnen ze proberen het systeem alleen te sluiten op het punt van commercialisatie, waarna een hele reeks van afleidbare FOSS-metrics diep in het systeem zijn ingebed.