Optische adversarial aanval kan de betekenis van verkeersborden veranderen

Onderzoekers in de VS hebben een adversarial aanval ontwikkeld tegen de mogelijkheid van machine learning-systemen om correct te interpreteren wat ze zien – inclusief missie-kritieke items zoals verkeersborden – door gepatroneerd licht op echte wereldobjecten te schijnen. In een experiment slaagde de benadering erin de betekenis van een ‘STOP’ verkeersbord te veranderen in een ’30mph’ snelheidslimietbord.

Perturbaties op een bord, gegenereerd door het schijnen van gekruiste licht erop, verstoren hoe het wordt geïnterpreteerd in een machine learning-systeem. Source: https://arxiv.org/pdf/2108.06247.pdf

Het onderzoek heet Optische adversarial aanval en komt van Purdue University in Indiana.

Een Optische ADversarial aanval (OPAD), zoals voorgesteld in het artikel, gebruikt gestructureerde verlichting om het uiterlijk van doelobjecten te veranderen en vereist alleen een commodity projector, een camera en een computer. De onderzoekers konden succesvol zowel white-box als black box-aanvallen uitvoeren met deze techniek.

De OPAD-opstelling, en de minimaal-waargenomen (door mensen) verstoringen die voldoende zijn om een misclassificatie te veroorzaken.

De opstelling voor OPAD bestaat uit een ViewSonic 3600 Lumens SVGA projector, een Canon T6i camera en een laptop computer.

Zwarte doos- en gerichte aanvallen

Witte doos-aanvallen zijn onwaarschijnlijke scenario’s waarin een aanvaller mogelijk directe toegang heeft tot een trainingsmodelprocedure of tot de governance van de invoergegevens. Zwarte doos-aanvallen, daarentegen, worden meestal geformuleerd door te achterhalen hoe een machine learning-model is samengesteld, of ten minste hoe het zich gedraagt, door ‘schaduw’-modellen te maken en adversarial aanvallen te ontwikkelen die zijn ontworpen om te werken op het oorspronkelijke model.

Hier zien we de hoeveelheid visuele verstoring die nodig is om de classifier te misleiden.

In het laatste geval is geen speciale toegang nodig, hoewel dergelijke aanvallen sterk worden geholpen door de alomtegenwoordigheid van open source computer vision-bibliotheken en -databases in het huidige academische en commerciële onderzoek.

Alle OPAD-aanvallen die in het nieuwe artikel worden beschreven, zijn ‘gerichte’ aanvallen, die specifiek proberen de manier waarop bepaalde objecten worden geïnterpreteerd te veranderen. Hoewel het systeem ook in staat is gebleken om algemene, abstracte aanvallen te bereiken, beweren de onderzoekers dat een aanvaller in de praktijk een meer specifiek disruptief doel zou hebben.

De OPAD-aanval is eenvoudigweg een real-world-versie van het veel onderzochte principe van het injecteren van ruis in afbeeldingen die worden gebruikt in computer vision-systemen. De waarde van de benadering is dat men eenvoudigweg de verstoringen op het doelobject kan ‘projecteren’ om de misclassificatie te veroorzaken, terwijl het veel moeilijker is om ervoor te zorgen dat ‘Trojan horse’-afbeeldingen in het trainingsproces terechtkomen.

In het geval waarin OPAD erin slaagde om de gehashte betekenis van de ‘snelheid 30’ afbeelding in een dataset op een ‘STOP’ bord te plaatsen, werd de baseline-afbeelding verkregen door het object uniform te belichten met een intensiteit van 140/255. Vervolgens werd projector-gecompenseerde verlichting toegepast als een geprojecteerde gradient descent-aanval.

Voorbeelden van OPAD-misclassificatie-aanvallen.

De onderzoekers merken op dat de belangrijkste uitdaging van het project is geweest om de projector-mechanisme te kalibreren en op te zetten zodat het een schone ‘misleiding’ bereikt, aangezien hoeken, optica en verschillende andere factoren een uitdaging vormen voor de exploit.

Bovendien zal de benadering waarschijnlijk alleen ‘s nachts werken. Of de voor de hand liggende verlichting de ‘hack’ zou onthullen, is ook een factor; als een object zoals een bord al verlicht is, moet de projector compenseren voor die verlichting, en de hoeveelheid gereflecteerde verstoring moet ook bestand zijn tegen koplampen. Het lijkt een systeem te zijn dat het beste zou werken in stedelijke omgevingen, waar de omgevingsverlichting waarschijnlijk meer stabiel is.

Het onderzoek bouwt effectief een ML-georiënteerde iteratie van Columbia University’s 2004 onderzoek naar het veranderen van het uiterlijk van objecten door andere afbeeldingen erop te projecteren – een optica-experiment dat de maligne potentie van OPAD ontbeert.

Bij het testen kon OPAD een classifier voor 31 van de 64 aanvallen misleiden – een succespercentage van 48%. De onderzoekers merken op dat het succespercentage sterk afhankelijk is van het type object dat wordt aangevallen. Gevlekte of gebogen oppervlakken (zoals respectievelijk een teddybeer en een mok) kunnen niet genoeg directe reflectiviteit bieden om de aanval uit te voeren. Aan de andere kant zijn opzettelijk reflecterende platte oppervlakken zoals verkeersborden ideale omgevingen voor een OPAD-verstoring.

Open source-aanval oppervlakken

Alle aanvallen werden ondernomen tegen een specifieke set databases: de Duitse verkeersbordherkenningsdatabase (GTSRB, genoemd GTSRB-CNN in het nieuwe artikel), die werd gebruikt om het model te trainen voor een soortgelijke aanvalsscenario in 2018; de ImageNet VGG16 dataset; en de ImageNet Resnet-50 set.

Zijn deze aanvallen ‘slechts theoretisch’, omdat ze zijn gericht op open source-datasets en niet op de propriëtaire, gesloten systemen in autonome voertuigen? Ze zouden dat zijn, als de belangrijkste onderzoeksarmen niet afhankelijk zijn van de open source-ecosstructuur, inclusief algoritmen en datasets, en in plaats daarvan in het geheim werken aan het produceren van gesloten bron-datasets en ondoorzichtige herkenning algoritmen.

Maar in het algemeen is dat niet hoe het werkt. Landmark-datasets worden de benchmarks waartegen alle vooruitgang (en aanzien/roem) wordt gemeten, terwijl open source-beeldherkenningsystemen zoals de YOLO-serie, door wereldwijde samenwerking, voorop lopen in vergelijking met elk intern ontwikkeld, gesloten systeem dat op vergelijkbare principes werkt.

De FOSS-blootstelling

Zelfs waar de gegevens in een computer vision-framework uiteindelijk worden vervangen door geheel gesloten gegevens, worden de gewichten van de ‘geleegde’ modellen nog vaak gekalibreerd in de vroege stadia van de ontwikkeling door FOSS-gegevens die nooit geheel worden verwijderd – wat betekent dat de resulterende systemen potentieel kunnen worden aangevallen door FOSS-methoden.

Bovendien maakt het gebruik van een open source-benadering voor CV-systemen van deze aard het mogelijk voor particuliere bedrijven om zich te verheugen op gratis innovaties van andere wereldwijde onderzoeksprojecten, waardoor er een financiële stimulans ontstaat om de architectuur toegankelijk te houden. Vervolgens kunnen ze proberen het systeem alleen op het punt van commercialisering te sluiten, waarna een heel array van afleidbare FOSS-metrics diep in het systeem zijn ingebed.