Attaque adverse optique peut changer le sens des panneaux de signalisation routière

Les chercheurs aux États-Unis ont développé une attaque adverse contre la capacité des systèmes d’apprentissage automatique à interpréter correctement ce qu’ils voient – y compris des éléments essentiels tels que les panneaux de signalisation routière – en projetant de la lumière structurée sur des objets du monde réel. Dans une expérience, l’approche a réussi à faire changer le sens d’un panneau de signalisation routière « STOP » en un panneau de limitation de vitesse « 30 mph ».

Perturbations sur un panneau, créées en projetant de la lumière conçue sur celui-ci, déforment la façon dont il est interprété dans un système d’apprentissage automatique. Source: https://arxiv.org/pdf/2108.06247.pdf

La recherche est intitulée Attaque adverse optique, et provient de l’Université Purdue dans l’Indiana.

Une attaque adverse optique (OPAD), telle que proposée par l’article, utilise une illumination structurée pour modifier l’apparence d’objets ciblés, et nécessite uniquement un projecteur de commodité, une caméra et un ordinateur. Les chercheurs ont pu mener avec succès des attaques à la fois en boîte blanche et en boîte noire en utilisant cette technique.

Le dispositif OPAD, et les distorsions minimales (perçues par les personnes) qui sont suffisantes pour provoquer une fausse classification.

Le dispositif OPAD se compose d’un projecteur ViewSonic 3600 Lumens SVGA, d’une caméra Canon T6i et d’un ordinateur portable.

Boîte noire et attaques ciblées

Les attaques en boîte blanche sont des scénarios peu probables où un attaquant peut avoir un accès direct à une procédure de modèle de formation ou à la gouvernance des données d’entrée. Les attaques en boîte noire, en revanche, sont généralement formulées en déduisant comment un système d’apprentissage automatique est composé, ou au moins comment il se comporte, en créant des « modèles fantômes » et en développant des attaques adverses conçues pour fonctionner sur le modèle d’origine.

Ici, nous voyons le montant de perturbation visuelle nécessaire pour tromper le classifieur.

Dans le dernier cas, aucun accès spécial n’est nécessaire, bien que de telles attaques soient grandement aidées par l’ubiquité des bibliothèques et des bases de données de vision par ordinateur open source dans la recherche universitaire et commerciale actuelle.

Toutes les attaques OPAD décrites dans le nouvel article sont des « attaques ciblées », qui cherchent spécifiquement à modifier la façon dont certains objets sont interprétés. Bien que le système ait également été démontré capable de réaliser des attaques abstraites et généralisées, les chercheurs soutiennent qu’un attaquant du monde réel aurait un objectif perturbateur plus spécifique.

L’attaque OPAD n’est qu’une version du monde réel du principe fréquemment étudié d’injection de bruit dans les images qui seront utilisées dans les systèmes de vision par ordinateur. La valeur de l’approche est que l’on peut simplement « projeter » les perturbations sur l’objet cible pour déclencher la fausse classification, alors que s’assurer que des images « cheval de Troie » se retrouvent dans le processus de formation est plutôt plus difficile à accomplir.

Dans le cas où OPAD a pu imposer le sens hashé de l’image « vitesse 30 » dans un jeu de données sur un panneau « STOP », l’image de base a été obtenue en éclairant l’objet de manière uniforme à une intensité de 140/255. Ensuite, une illumination compensée par projecteur a été appliquée sous la forme d’une attaque de descente de gradient.

Exemples d’attaques de fausse classification OPAD.

Les chercheurs observent que le principal défi du projet a été de calibrer et de configurer le mécanisme du projecteur de telle sorte qu’il réalise une « tromperie » propre, puisque les angles, l’optique et plusieurs autres facteurs sont un défi pour l’exploit.

En outre, l’approche ne fonctionnera probablement qu’à la nuit. Le fait que l’illumination évidente révèle le « piratage » est également un facteur; si un objet tel qu’un panneau est déjà éclairé, le projecteur doit compenser cette illumination, et le montant de perturbation réfléchie doit également résister aux phares. Il semblerait qu’il s’agisse d’un système qui fonctionnerait le mieux dans les environnements urbains, où l’éclairage environnemental est susceptible d’être plus stable.

La recherche construit effectivement une itération orientée ML de la recherche de 2004 de l’Université de Columbia sur la modification de l’apparence des objets en projetant d’autres images sur eux – une expérience optique qui manque du potentiel malveillant de l’OPAD.

Lors des tests, OPAD a pu tromper un classifieur dans 31 des 64 attaques – un taux de réussite de 48 %. Les chercheurs notent que le taux de réussite dépend fortement du type d’objet attaqué. Les surfaces mouchetées ou courbes (comme, respectivement, un ours en peluche et une tasse) ne peuvent pas fournir suffisamment de réflectivité directe pour réaliser l’attaque. En revanche, les surfaces plates intentionnellement réfléchissantes, telles que les panneaux de signalisation routière, sont des environnements idéaux pour une distorsion OPAD.

Surfaces d’attaque open source

Toutes les attaques ont été menées contre un ensemble spécifique de bases de données: la base de données de reconnaissance de panneaux de signalisation routière allemande (GTSRB, appelée GTSRB-CNN dans le nouvel article), qui a été utilisée pour former le modèle pour un scénario d’attaque similaire en 2018; l’ensemble de données ImageNet VGG16; et l’ensemble de données ImageNet Resnet-50.

Alors, ces attaques sont-elles « purement théoriques », puisqu’elles visent des ensembles de données open source et non des systèmes fermés dans les véhicules autonomes? Ils le seraient, si les principaux bras de recherche ne dépendaient pas de l’écosystème open source, y compris les algorithmes et les ensembles de données, et ne travaillaient pas en secret pour produire des ensembles de données fermés et des algorithmes de reconnaissance opaques.

Mais en général, ce n’est pas ainsi que cela fonctionne. Les ensembles de données emblématiques deviennent les références contre lesquelles tous les progrès (et l’estime/reconnaissance) sont mesurés, tandis que les systèmes de reconnaissance d’images open source tels que la série YOLO progressent, grâce à une coopération mondiale, plus loin que tout système fermé développé pour fonctionner sur des principes similaires.

L’exposition FOSS

Même lorsque les données dans un cadre de vision par ordinateur seront finalement substituées par des données entièrement fermées, les poids des modèles « vidés » sont encore fréquemment calibrés au stade initial du développement par des données FOSS qui ne seront jamais entièrement abandonnées – ce qui signifie que les systèmes résultants peuvent potentiellement être ciblés par des méthodes FOSS.

En outre, s’appuyer sur une approche open source des systèmes de vision par ordinateur de cette nature permet aux sociétés privées de s’approprier, gratuitement, des innovations issues de projets de recherche mondiaux, en ajoutant un incitant financier pour maintenir l’architecture accessible. Ensuite, ils peuvent tenter de fermer le système uniquement au point de commercialisation, au moment où un ensemble complet de métriques FOSS inférables est profondément intégré à celui-ci.