Une attaque adverse optique peut changer la signification des panneaux de signalisation

Des chercheurs américains ont développé une attaque antagoniste contre la capacité des systèmes d'apprentissage automatique à interpréter correctement ce qu'ils voient – ​​y compris des éléments critiques comme les panneaux de signalisation – en projetant une lumière structurée sur des objets du monde réel. Lors d'une expérience, cette approche a réussi à transformer le sens d'un panneau routier « STOP » en un panneau de limitation de vitesse de « 30 mph ».

Les perturbations sur un panneau, créées en faisant briller une lumière artisanale dessus, déforment la façon dont il est interprété dans un système d'apprentissage automatique. Source : https://arxiv.org/pdf/2108.06247.pdf

Le Une étude est intitulé Attaque adverse optique, et vient de l'Université Purdue dans l'Indiana.

Une attaque OPtical ADversarial (OPAD), telle que proposée par l'article, utilise un éclairage structuré pour modifier l'apparence des objets cibles et ne nécessite qu'un projecteur de base, une caméra et un ordinateur. Les chercheurs ont réussi à entreprendre avec succès des attaques en boîte blanche et en boîte noire en utilisant cette technique.

La configuration OPAD et les distorsions peu perçues (par les personnes) qui sont suffisantes pour provoquer une mauvaise classification.

La configuration pour OPAD se compose d'un projecteur ViewSonic 3600 Lumens SVGA, d'une caméra Canon T6i et d'un ordinateur portable.

Boîte noire et attaques ciblées

Les attaques en boîte blanche sont des scénarios peu probables où un attaquant pourrait avoir un accès direct à une procédure de modèle d'entraînement ou à la gouvernance des données d'entrée. Les attaques en boîte noire, à l'inverse, sont généralement formulées en déduisant la composition d'un apprentissage automatique, ou du moins son comportement, en créant des modèles « fantômes » et en développant des attaques antagonistes conçues pour fonctionner sur le modèle d'origine.

Ici, nous voyons la quantité de perturbation visuelle nécessaire pour tromper la classifier.

Dans ce dernier cas, aucun accès spécial n’est nécessaire, bien que de telles attaques soient grandement facilitées par l’omniprésence des bibliothèques et des bases de données de vision par ordinateur open source dans la recherche universitaire et commerciale actuelle.

Toutes les attaques OPAD décrites dans la nouvelle étude sont des attaques « ciblées », qui visent spécifiquement à modifier l'interprétation de certains objets. Bien que le système ait également démontré sa capacité à réaliser des attaques généralisées et abstraites, les chercheurs affirment qu'un attaquant réel aurait un objectif perturbateur plus précis.

L'attaque OPAD est simplement une version concrète du principe fréquemment étudié d'injection de bruit dans les images, qui sera utilisé dans les systèmes de vision par ordinateur. L'intérêt de cette approche réside dans le fait qu'il est possible de simplement « projeter » les perturbations sur l'objet cible afin de déclencher la classification erronée, tandis qu'il est plus difficile de garantir que des images « cheval de Troie » se retrouvent dans le processus d'apprentissage.

Dans le cas où l'OPAD a pu imposer la signification hachée de l'image « vitesse 30 » d'un ensemble de données sur un panneau « STOP », l'image de base a été obtenue en éclairant l'objet uniformément à une intensité de 140/255. Un éclairage compensé par projecteur a ensuite été appliqué sous forme de projection. attaque de descente de gradient.

Exemples d'attaques par erreur de classification OPAD.

Les chercheurs observent que le principal défi du projet a été de calibrer et de configurer le mécanisme du projecteur de manière à ce qu'il réalise une « tromperie » nette, car les angles, l'optique et plusieurs autres facteurs constituent un défi à l'exploit.

De plus, cette approche ne fonctionnera probablement que la nuit. La capacité de l'éclairage à révéler le « piratage » est également un facteur à prendre en compte ; si un objet, comme un panneau, est déjà éclairé, le projecteur doit compenser cet éclairage, et la quantité de perturbation réfléchie doit également être résistante aux phares. Ce système semble particulièrement adapté aux environnements urbains, où l'éclairage ambiant est généralement plus stable.

La recherche construit efficacement une itération orientée ML du modèle de l'Université Columbia Recherche 2004 à changer l'apparence des objets en projetant d'autres images sur eux - une expérience basée sur l'optique qui n'a pas le potentiel malin d'OPAD.

Lors des tests, OPAD a réussi à tromper un classificateur pour 31 attaques sur 64, soit un taux de réussite de 48 %. Les chercheurs notent que le taux de réussite dépend grandement du type d'objet attaqué. Les surfaces marbrées ou courbes (comme, respectivement, un ours en peluche et une tasse) ne peuvent pas fournir une réflectivité directe suffisante pour effectuer l'attaque. D'autre part, les surfaces planes intentionnellement réfléchissantes telles que les panneaux de signalisation sont des environnements idéaux pour une distorsion OPAD.

Surfaces d'attaque open source

Toutes les attaques ont été menées contre un ensemble spécifique de bases de données : la base de données allemande de reconnaissance des panneaux de signalisation (GTSRB, appelé GTSRB-CNN dans le nouvel article), qui a été utilisé pour former le modèle pour un scénario d'attaque similaire en 2018; l'ImageNet VGG16 base de données; et l'ImageNet Resnet-50 défini.

Ces attaques sont-elles donc « purement théoriques », puisqu'elles visent des ensembles de données open source, et non les systèmes propriétaires et fermés des véhicules autonomes ? Elles le seraient si les principaux pôles de recherche ne s'appuyaient pas sur l'écosystème open source, notamment les algorithmes et les ensembles de données, et s'efforçaient en secret de produire des ensembles de données fermés et des algorithmes de reconnaissance opaques.

Mais en général, ce n'est pas ainsi que cela fonctionne. Les ensembles de données phares deviennent les références par rapport auxquelles tout progrès (et toute reconnaissance) est mesuré, tandis que les systèmes de reconnaissance d'images open source comme la série YOLO devancent, grâce à une coopération mondiale commune, tout système fermé développé en interne et censé fonctionner selon des principes similaires.

L'exposition aux logiciels libres

Même lorsque les données d'un cadre de vision par ordinateur seront finalement remplacées par des données entièrement fermées, les poids des modèles « vidés » sont encore fréquemment calibrés aux premiers stades de développement par des données FOSS qui ne seront jamais entièrement rejetées - ce qui signifie que les systèmes résultants peuvent potentiellement être ciblés par les méthodes FOSS.

De plus, s'appuyer sur une approche open source des systèmes de CV de cette nature permet aux entreprises privées de se prévaloir, gratuitement, des innovations ramifiées d'autres projets de recherche mondiaux, ajoutant une incitation financière pour maintenir l'architecture accessible. Par la suite, ils ne peuvent tenter de fermer le système qu'au moment de la commercialisation, moment auquel toute une gamme de mesures FOSS inférables y sont profondément intégrées.