Optischer Adversarial-Angriff kann die Bedeutung von Verkehrszeichen ändern

Forscher in den USA haben einen adversarialen Angriff gegen die Fähigkeit von Machine-Learning-Systemen entwickelt, um korrekt zu interpretieren, was sie sehen – einschließlich mission-kritischer Elemente wie Verkehrszeichen –, indem sie strukturiertes Licht auf reale Objekte projizieren. In einem Experiment gelang es, die Bedeutung eines “STOP”-Verkehrszeichens in ein “30mph”-Geschwindigkeitsbegrenzungszeichen umzuwandeln.

Perturbationen auf einem Schild, erzeugt durch das Projizieren von gestalteten Licht darauf, verzerren, wie es in einem Machine-Learning-System interpretiert wird. Quelle: https://arxiv.org/pdf/2108.06247.pdf

Die Forschung trägt den Titel Optischer Adversarial-Angriff und stammt von der Purdue University in Indiana.

Ein optischer adversarialer Angriff (OPAD), wie im Paper vorgeschlagen, verwendet strukturierte Beleuchtung, um das Aussehen von Zielobjekten zu verändern und benötigt nur einen Standardprojektor, eine Kamera und einen Computer. Die Forscher konnten erfolgreich sowohl weiße als auch schwarze Angriffe mit dieser Technik durchführen.

Die OPAD-Aufstellung und die minimale Verzerrung, die ausreichend ist, um eine Fehlklassifizierung zu verursachen.

Die Aufstellung für OPAD besteht aus einem ViewSonic 3600 Lumens SVGA-Projektor, einer Canon T6i-Kamera und einem Laptop-Computer.

Schwarze Box und gezielte Angriffe

Weiße Angriffe sind unwahrscheinliche Szenarien, in denen ein Angreifer möglicherweise direkten Zugriff auf ein Trainingsmodell oder auf die Governance der Eingabedaten hat. Schwarze Angriffe hingegen werden typischerweise formuliert, indem man vermutet, wie ein Machine-Learning-Modell zusammengesetzt ist oder zumindest, wie es sich verhält, “Schatten”-Modelle erstellt und adversarialen Angriffe entwickelt, die auf dem ursprünglichen Modell funktionieren.

Hier sehen wir die Menge an visueller Verzerrung, die notwendig ist, um den Klassifizierer zu täuschen.

Im letzteren Fall ist kein spezieller Zugriff erforderlich, obwohl solche Angriffe durch die Ubiquität von Open-Source-Computer-Vision-Bibliotheken und -Datenbanken in aktuellen akademischen und kommerziellen Forschungen stark unterstützt werden.

Alle OPAD-Angriffe in dem neuen Paper sind “gezielte” Angriffe, die speziell darauf abzielen, wie bestimmte Objekte interpretiert werden. Obwohl das System auch in der Lage ist, allgemeine, abstrakte Angriffe durchzuführen, argumentieren die Forscher, dass ein realer Angreifer ein spezifischeres disruptives Ziel haben würde.

Der OPAD-Angriff ist einfach eine realweltliche Version des häufig erforschten Prinzips, Rauschen in Bilder zu injizieren, die in Computer-Vision-Systemen verwendet werden. Der Wert des Ansatzes liegt darin, dass man die Perturbationen einfach auf das Zielobjekt projizieren kann, um die Fehlklassifizierung auszulösen, während es schwieriger ist, sicherzustellen, dass “Trojanische Pferde”-Bilder in den Trainingsprozess gelangen.

Im Fall, in dem OPAD es schaffte, die gehashte Bedeutung des “Geschwindigkeitsbegrenzungs”-Bildes in einer Datenmenge auf ein “STOP”-Schild zu übertragen, wurde das Basisbild durch gleichmäßige Beleuchtung des Objekts bei einer Intensität von 140/255 erhalten. Dann wurde projektor-kompensierte Beleuchtung als projizierter Gradienten-Abstiegs-Angriff angewendet.

Beispiele für OPAD-Fehlklassifizierungs-Angriffe.

Die Forscher bemerken, dass die Hauptaufgabe des Projekts darin bestand, den Projektor-Mechanismus so zu kalibrieren und aufzustellen, dass er eine saubere “Täuschung” erzielt, da Winkel, Optik und mehrere andere Faktoren eine Herausforderung für den Ausbeutung darstellen.

Zusätzlich ist der Ansatz nur wahrscheinlich bei Nacht erfolgreich. Ob die offensichtliche Beleuchtung den “Hack” offenbart, ist auch ein Faktor; wenn ein Objekt wie ein Schild bereits beleuchtet ist, muss der Projektor diese Beleuchtung kompensieren, und die Menge an reflektierter Perturbation muss auch widerstandsfähig gegen Scheinwerfer sein. Es scheint, dass es ein System ist, das am besten in städtischen Umgebungen funktioniert, in denen die Umgebungsbeleuchtung wahrscheinlich stabiler ist.

Die Forschung baut effektiv eine ML-orientierte Iteration der 2004 von der Columbia University durchgeführten Forschung zum Ändern des Aussehens von Objekten durch das Projizieren von Bildern darauf – ein optisches Experiment, das nicht das maligne Potenzial von OPAD hat.

Bei Tests konnte OPAD 31 von 64 Angriffen erfolgreich durchführen – eine Erfolgsrate von 48 %. Die Forscher bemerken, dass die Erfolgsrate stark von der Art des angegriffenen Objekts abhängt. Gemusterte oder gekrümmte Oberflächen (wie z. B. ein Teddybär und eine Tasse) können nicht genug direkte Reflexivität bieten, um den Angriff durchzuführen. Andererseits sind absichtlich reflektierende flache Oberflächen wie Verkehrszeichen ideale Umgebungen für eine OPAD-Verzerrung.

Offene Angriffsflächen

Alle Angriffe wurden gegen eine bestimmte Menge von Datenbanken durchgeführt: die deutsche Verkehrszeichen-Erkennungs-Datenbank (GTSRB, im neuen Paper als GTSRB-CNN bezeichnet), die zur Trainierung des Modells für ein ähnliches Angriffsszenario im Jahr 2018 verwendet wurde; die ImageNet VGG16-Datenbank; und die ImageNet Resnet-50-Datenbank.

Sind diese Angriffe “nur theoretisch”, da sie auf offene Quellcode-Datenbanken und nicht auf proprietäre, geschlossene Systeme in autonomen Fahrzeugen abzielen? Sie wären es, wenn die großen Forschungsabteilungen nicht auf die offene Quellcode-Infrastruktur, einschließlich Algorithmen und Datenbanken, angewiesen wären und stattdessen in Geheimhaltung arbeiten würden, um geschlossene Quellcode-Datenbanken und undurchsichtige Erkennungs-Algorithmen zu entwickeln.

Aber im Allgemeinen ist das nicht der Fall. Landmark-Datenbanken werden zu den Benchmark-Daten, an denen alle Fortschritte (und Anerkennung) gemessen werden, während offene Quellcode-Bilderkennungssysteme wie die YOLO-Serie durch gemeinsame globale Zusammenarbeit die intern entwickelten, geschlossenen Systeme, die auf ähnlichen Prinzipien arbeiten, überholen.

Die FOSS-Exposition

Selbst wenn die Daten in einem Computer-Vision-System letztendlich durch vollständig geschlossene Daten ersetzt werden, werden die Gewichte der “entleerten” Modelle häufig in den frühen Entwicklungsstadien durch FOSS-Daten kalibriert, die nie vollständig verworfen werden – was bedeutet, dass die resultierenden Systeme möglicherweise durch FOSS-Methoden angegriffen werden können.

Zusätzlich ermöglicht die Verwendung eines offenen Quellcode-Ansatzes für CV-Systeme dieser Art es privaten Unternehmen, sich kostenlos von verzweigten Innovationen aus anderen globalen Forschungsprojekten zu bedienen, was einen finanziellen Anreiz bietet, die Architektur zugänglich zu halten. Danach können sie versuchen, das System nur am Punkt der Kommerzialisierung zu schließen, wenn bereits eine ganze Reihe von ableitbaren FOSS-Metriken tief in ihm verankert sind.