Optischer Adversarial-Angriff kann die Bedeutung von Verkehrszeichen ändern

Forscher in den USA haben einen adversarialen Angriff gegen die Fähigkeit von Machine-Learning-Systemen entwickelt, das, was sie sehen, korrekt zu interpretieren – einschließlich mission-kritischer Elemente wie Verkehrszeichen –, indem sie strukturiertes Licht auf reale Objekte projizieren. In einem Experiment gelang es dem Ansatz, die Bedeutung eines “STOP”-Verkehrszeichens in ein “30mph”-Geschwindigkeitsbegrenzungszeichen zu verwandeln.

Perturbations auf einem Zeichen, die durch das Projizieren von gestalteten Licht darauf entstehen, verzerren, wie es in einem Machine-Learning-System interpretiert wird. Quelle: https://arxiv.org/pdf/2108.06247.pdf

Die Forschung trägt den Titel Optischer Adversarial-Angriff und stammt von der Purdue University in Indiana.

Ein optischer Adversarial-Angriff (OPAD), wie im Paper vorgeschlagen, verwendet strukturierte Beleuchtung, um das Aussehen von Zielobjekten zu verändern, und erfordert nur einen Standard-Beamer, eine Kamera und einen Computer. Die Forscher konnten erfolgreich sowohl weiße als auch schwarze Box-Angriffe mit dieser Technik durchführen.

Die OPAD-Ausstattung und die minimale Verzerrung, die für eine Fehlklassifizierung erforderlich ist und von Menschen kaum wahrgenommen wird..

Die Ausstattung für OPAD besteht aus einem ViewSonic 3600 Lumens SVGA-Beamer, einer Canon T6i-Kamera und einem Laptop-Computer.

Schwarze Box- und gezielte Angriffe

Weiße Box-Angriffe sind unwahrscheinliche Szenarien, in denen ein Angreifer möglicherweise direkten Zugriff auf ein Trainingsmodell oder die Steuerung der Eingabedaten hat. Schwarze Box-Angriffe werden dagegen in der Regel formuliert, indem man errät, wie ein Machine-Learning-Modell zusammengesetzt ist oder zumindest, wie es sich verhält, “Schatten”-Modelle erstellt und adversarialen Angriffe entwickelt, die auf dem ursprünglichen Modell funktionieren.

Hier sehen wir die Menge an visueller Verzerrung, die erforderlich ist, um den Klassifizierer zu täuschen.

In letzterem Fall ist kein besonderer Zugriff erforderlich, obwohl solche Angriffe durch die Allgegenwart von Open-Source-Computer-Vision-Bibliotheken und -Datenbanken in der aktuellen akademischen und kommerziellen Forschung stark unterstützt werden.

Alle OPAD-Angriffe, die in dem neuen Paper beschrieben werden, sind “gezielte” Angriffe, die speziell darauf abzielen, wie bestimmte Objekte interpretiert werden. Obwohl das System auch in der Lage ist, abstrakte Angriffe zu erreichen, argumentieren die Forscher, dass ein realer Angreifer ein spezifischeres disruptives Ziel haben würde.

Der OPAD-Angriff ist einfach eine realweltliche Version des häufig erforschten Prinzips, Rauschen in Bilder einzufügen, die in Computer-Vision-Systemen verwendet werden. Der Wert des Ansatzes liegt darin, dass man die Verzerrungen einfach auf das Zielobjekt projizieren kann, um die Fehlklassifizierung auszulösen, während es schwieriger ist, sicherzustellen, dass “Trojanische Pferde”-Bilder in den Trainingsprozess gelangen.

Im Fall, in dem OPAD es schaffte, die gehashte Bedeutung des “Geschwindigkeit 30”-Bildes in einer Datenbank auf ein “STOP”-Zeichen zu übertragen, wurde das Basisbild durch gleichmäßige Beleuchtung des Objekts bei einer Intensität von 140/255 erhalten. Dann wurde projektor-kompensierte Beleuchtung als projizierter Gradienten-Abstiegs-Angriff angewendet.

Beispiele für OPAD-Fehlklassifizierungs-Angriffe.

Die Forscher bemerken, dass die Hauptherausforderung des Projekts darin bestand, den Projektor-Mechanismus so zu kalibrieren und einzurichten, dass er eine saubere “Täuschung” erreicht, da Winkel, Optik und mehrere andere Faktoren eine Herausforderung für den Ausbeutung darstellen.

Darüber hinaus ist der Ansatz nur wahrscheinlich bei Nacht wirksam. Ob die offensichtliche Beleuchtung den “Hack” offenbart, ist auch ein Faktor; wenn ein Objekt wie ein Zeichen bereits beleuchtet ist, muss der Projektor diese Beleuchtung kompensieren, und die Menge an reflektierter Verzerrung muss auch widerstandsfähig gegen Scheinwerfer sein. Es scheint, als wäre es ein System, das am besten in städtischen Umgebungen funktionieren würde, in denen die Umgebungsbeleuchtung wahrscheinlich stabiler ist.

Die Forschung baut effektiv eine ML-orientierte Iteration der 2004-Forschung der Columbia University zur Änderung des Aussehens von Objekten durch das Projizieren anderer Bilder darauf auf – ein optisches Experiment, das das maligne Potenzial von OPAD nicht hat.

Bei Tests konnte OPAD 31 von 64 Angriffen erfolgreich täuschen – eine Erfolgsrate von 48 %. Die Forscher bemerken, dass die Erfolgsrate stark von der Art des angegriffenen Objekts abhängt. Gemusterte oder gekrümmte Oberflächen (wie z. B. ein Teddybär bzw. eine Tasse) können nicht genug direkte Reflexivität bieten, um den Angriff durchzuführen. Andererseits sind absichtlich reflektierende flache Oberflächen wie Verkehrszeichen ideale Umgebungen für eine OPAD-Verzerrung.

Offene Angriffsflächen

Alle Angriffe wurden gegen eine bestimmte Reihe von Datenbanken durchgeführt: die deutsche Verkehrszeichen-Erkennungs-Datenbank (GTSRB, im neuen Paper als GTSRB-CNN bezeichnet), die zur Trainierung des Modells für ein ähnliches Angriffsszenario im Jahr 2018 verwendet wurde; die ImageNet VGG16-Datenbank; und die ImageNet Resnet-50-Datenbank.

Sind diese Angriffe “nur theoretisch”, da sie auf offene Datenbanken abzielen und nicht auf die proprietären, geschlossenen Systeme in autonomen Fahrzeugen? Sie wären es, wenn die großen Forschungsabteilungen nicht auf die offene Ökosystem-Struktur, einschließlich Algorithmen und Datenbanken, angewiesen wären und stattdessen in Geheimhaltung arbeiteten, um geschlossene Datenbanken und undurchsichtige Erkennungs-Algorithmen zu produzieren.

Aber im Allgemeinen funktioniert es nicht so. Meilenstein-Datenbanken werden zu den Benchmark-Daten, an denen alle Fortschritte (und Anerkennung) gemessen werden, während offene Bilderkennungssysteme wie die YOLO-Serie durch globale Zusammenarbeit voranschreiten und jeden intern entwickelten, geschlossenen System, der auf ähnlichen Prinzipien basiert, überbieten.

Die FOSS-Exposition

Auch wenn die Daten in einem Computer-Vision-System schließlich durch vollständig geschlossene Daten ersetzt werden, werden die Gewichte der “entleerten” Modelle oft in den frühen Entwicklungsstadien durch FOSS-Daten kalibriert, die nie vollständig verworfen werden – was bedeutet, dass die resultierenden Systeme potenziell durch FOSS-Methoden angegriffen werden können.

Darüber hinaus ermöglicht die Verwendung eines offenen Ansatzes für CV-Systeme dieser Art es privaten Unternehmen, sich kostenlos an den innovativen Verzweigungen anderer globaler Forschungsprojekte zu bedienen, was einen finanziellen Anreiz bietet, die Architektur zugänglich zu halten. Danach können sie versuchen, das System erst bei der Kommerzialisierung zu schließen, wenn bereits eine ganze Reihe von FOSS-Metriken tief in das System eingebettet sind.