Pourquoi les attaques d’images adverses ne sont pas à prendre à la légère

Attaquer les systèmes de reconnaissance d’images avec des images adverses soigneusement conçues a été considéré comme une preuve de concept amusante mais sans importance pendant les cinq dernières années. Cependant, de nouvelles recherches en Australie suggèrent que l’utilisation courante de jeux de données d’images très populaires pour les projets d’IA commerciaux pourrait créer un nouveau problème de sécurité persistant.

Pendant quelques années maintenant, un groupe d’universitaires de l’Université d’Adélaïde a tenté d’expliquer quelque chose d’important sur l’avenir des systèmes de reconnaissance d’images basés sur l’IA.

C’est quelque chose qui serait difficile (et très coûteux) à résoudre immédiatement, et qui serait inconcevablement coûteux à remédier une fois que les tendances actuelles dans la recherche sur la reconnaissance d’images ont été pleinement développées en déploiements commercialisés et industrialisés dans 5-10 ans.

Avant de commencer, jetons un coup d’œil à une fleur classée comme le président Barack Obama, l’une des six vidéos que l’équipe a publiées sur la page du projet:

Source: https://www.youtube.com/watch?v=Klepca1Ny3c

Dans l’image ci-dessus, un système de reconnaissance faciale qui connaît clairement comment reconnaître Barack Obama est trompé avec une certitude de 80 % qu’un homme anonyme tenant une image adverse de fleur est également Barack Obama. Le système ne se soucie même pas que le « faux visage » est sur la poitrine du sujet, et non sur ses épaules.

Bien que les chercheurs aient pu accomplir ce type de capture d’identité en générant une image cohérente (une fleur) au lieu du bruit aléatoire habituel, il semble que ces exploits amusants apparaissent régulièrement dans la recherche sur la sécurité de la vision par ordinateur. Par exemple, ces lunettes à motifs étranges qui ont pu tromper la reconnaissance faciale en 2016, ou des images adverses spécialement conçues qui tentent de réécrire les panneaux de signalisation.

Si vous êtes intéressé, le modèle de réseau de neurones convolutionnel (CNN) attaqué dans l’exemple ci-dessus est VGGFace (VGG-16), formé sur le jeu de données PubFig de l’Université de Columbia. D’autres exemples d’attaque développés par les chercheurs ont utilisé des ressources différentes en combinaisons différentes.

Un clavier est reclassé comme un conque, dans un modèle WideResNet50 sur ImageNet. Les chercheurs ont également veillé à ce que le modèle n’ait pas de biais envers les conques. Voir la vidéo complète pour des démonstrations étendues et supplémentaires à https://www.youtube.com/watch?v=dhTTjjrxIcU

La reconnaissance d’images comme un vecteur d’attaque émergent

Les nombreuses attaques impressionnantes que les chercheurs détaillent et illustrent ne sont pas des critiques de jeux de données ou d’architectures de machine learning spécifiques qui les utilisent. Ni ne peuvent-elles être facilement défendues en changeant de jeu de données ou de modèle, en réentrant les modèles, ou en utilisant d’autres « remèdes simples » qui font que les praticiens de ML se moquent de démonstrations sporadiques de ce type de tromperie.

Plutôt, les exploits de l’équipe d’Adélaïde exemplifient une faiblesse centrale dans l’architecture actuelle de développement de la reconnaissance d’images basée sur l’IA; une faiblesse qui pourrait exposer de nombreux systèmes de reconnaissance d’images futurs à une manipulation facile par les attaquants, et mettre les mesures de défense ultérieures sur la défensive.

Imaginez les dernières images d’attaque adverses (comme la fleur ci-dessus) ajoutées comme « exploits de jour zéro » aux systèmes de sécurité de l’avenir, tout comme les cadres actuels de lutte contre les malwares et les virus mettent à jour leurs définitions de virus chaque jour.

Le potentiel de nouvelles attaques d’images adverses serait inépuisable, car l’architecture de base du système n’a pas anticipé les problèmes en aval, comme cela s’est produit avec l’internet, le bug du millénaire et la tour de Pise.

De quelle manière, alors, nous préparons-nous à cela?

Obtenir les données pour une attaque

Des images adverses telles que l’exemple de « fleur » ci-dessus sont générées en ayant accès aux jeux de données qui ont formé les modèles de calcul. Vous n’avez pas besoin d’un « accès privilégié » aux données de formation (ou aux architectures de modèle), puisque les jeux de données les plus populaires (et de nombreux modèles formés) sont largement disponibles dans une scène de torrent robuste et constamment mise à jour.

Par exemple, le géant vénérable des jeux de données de vision par ordinateur, ImageNet, est disponible sur Torrent dans toutes ses nombreuses itérations, en contournant ses restrictions habituelles, et en rendant disponibles des éléments secondaires cruciaux, tels que les ensembles de validation.

Source: https://academictorrents.com

Si vous avez les données, vous pouvez (comme l’observe l’équipe d’Adélaïde) « rétro-ingénier » efficacement n’importe quel jeu de données populaire, tel que CityScapes, ou CIFAR.

Dans le cas de PubFig, le jeu de données qui a permis la « fleur d’Obama » dans l’exemple précédent, l’Université de Columbia a abordé une tendance croissante en matière de problèmes de droits d’auteur autour de la redistribution de jeux de données d’images en instruisant les chercheurs sur la façon de reproduire le jeu de données via des liens curatifs, plutôt que de rendre la compilation directement disponible, en observant ‘Cela semble être la façon dont d’autres grandes bases de données en ligne semblent évoluer’.

Dans la plupart des cas, ce n’est pas nécessaire: Kaggle estime que les dix jeux de données d’images les plus populaires en vision par ordinateur sont: CIFAR-10 et CIFAR-100 (tous deux téléchargeables directement); CALTECH-101 et 256 (tous deux disponibles, et tous deux actuellement disponibles en tant que torrents); MNIST (officiellement disponible, également sur les torrents); ImageNet (voir ci-dessus); Pascal VOC (disponible, également sur les torrents); MS COCO (disponible, et sur les torrents); Sports-1M (disponible); et YouTube-8M (disponible).

Cette disponibilité est également représentative de la gamme plus large de jeux de données d’images de vision par ordinateur disponibles, car l’obscurité est la mort dans une culture de développement open source « publier ou périr ».

Dans tous les cas, la rareté de nouveaux jeux de données gérables, le coût élevé du développement de jeux d’images, la dépendance à l’égard des « anciens favoris » et la tendance à simplement adapter les anciens jeux de données exacerbent tous le problème décrit dans le nouveau document d’Adélaïde.

Critiques typiques des méthodes d’attaque d’images adverses

La critique la plus fréquente et la plus persistante des ingénieurs de machine learning contre l’efficacité de la dernière technique d’attaque d’images adverse est que l’attaque est spécifique à un jeu de données particulier, à un modèle particulier, ou aux deux; qu’elle n’est pas « généralisable » à d’autres systèmes; et, par conséquent, ne représente qu’une menace triviale.

La deuxième critique la plus fréquente est que l’attaque d’images adverse est ‘white box’, ce qui signifie que vous auriez besoin d’un accès direct à l’environnement de formation ou aux données. Ceci est en effet un scénario peu probable, dans la plupart des cas – par exemple, si vous vouliez exploiter le processus de formation pour les systèmes de reconnaissance faciale de la police métropolitaine de Londres, vous devriez pirater votre chemin dans NEC, soit avec une console, soit avec une hache.

L’ADN à long terme des jeux de données de vision par ordinateur populaires

En ce qui concerne la première critique, nous devrions considérer non seulement qu’un petit nombre de jeux de données de vision par ordinateur dominent l’industrie par secteur d’année en année (c’est-à-dire ImageNet pour de multiples types d’objets, CityScapes pour les scènes de conduite et FFHQ pour la reconnaissance faciale); mais également que, en tant que données d’images annotées simples, ils sont « agnostiques de plate-forme » et très transférables.

En fonction de ses capacités, toute architecture de formation de vision par ordinateur trouvera quelques fonctionnalités des objets et des classes dans le jeu de données ImageNet. Certaines architectures peuvent trouver plus de fonctionnalités que d’autres, ou établir des connexions plus utiles que d’autres, mais toutes devraient trouver au moins les fonctionnalités de niveau supérieur:

Données ImageNet, avec le nombre minimum de bonnes identifications – fonctionnalités de niveau supérieur.

Ces fonctionnalités de « niveau supérieur » distinguent et « impriment » un jeu de données, et constituent les « crochets » fiables sur lesquels baser une méthodologie d’attaque d’images adverse à long terme qui peut chevaucher différents systèmes et grandir en tandem avec le « vieux » jeu de données à mesure qu’il est perpétué dans de nouvelles recherches et produits.

Une architecture plus sophistiquée produira des identifications plus précises et plus granulaires, des fonctionnalités et des classes:

Cependant, plus un générateur d’attaque adverse repose sur ces fonctionnalités inférieures (c’est-à-dire « jeune homme caucasien » au lieu de « visage »), moins il sera efficace dans les architectures de chevauchement ou ultérieures qui utilisent des versions différentes du jeu de données d’origine – telles qu’un sous-ensemble ou un ensemble filtré, où de nombreuses images d’origine du jeu de données complet ne sont pas présentes:

Attaques adverses sur des modèles pré-formés « zeroed »

Que se passe-t-il dans les cas où vous téléchargez simplement un modèle pré-formé qui a été formé à l’origine sur un jeu de données très populaire, et que vous lui donnez complètement de nouvelles données?

Le modèle a déjà été formé sur (par exemple) ImageNet, et tout ce qui reste, ce sont les poids, qui peuvent avoir pris des semaines ou des mois à former, et sont maintenant prêts à vous aider à identifier des objets similaires à ceux qui existaient dans les données d’origine (maintenant absentes).

Avec les données d’origine supprimées de l’architecture de formation, ce qui reste, c’est la « prédisposition » du modèle pour classer les objets de la manière dont il a appris à le faire à l’origine, ce qui causera essentiellement de nombreuses « signatures » d’origine à se reformer et à redevenir vulnérables aux mêmes anciennes méthodes d’attaque d’images adverses.

Ces poids sont précieux. Sans les données ou les poids, vous avez essentiellement une architecture vide sans données. Vous devrez la former à partir de zéro, au prix d’un coût important en temps et en ressources de calcul, comme les auteurs originaux l’ont probablement fait (probablement sur un matériel plus puissant et avec un budget plus élevé que celui dont vous disposez).

Le problème est que les poids sont déjà bien formés et résistants. Bien qu’ils s’adapteront quelque peu lors de la formation, ils se comporteront de manière similaire sur vos nouvelles données comme ils l’ont fait sur les données d’origine, produisant des fonctionnalités de signature que un système d’attaque adverse peut se connecter à nouveau.

À long terme, cela préserve également l’« ADN » des jeux de données de vision par ordinateur qui ont douze ans ou plus, et qui peuvent avoir traversé une évolution notable des efforts open source à des déploiements commercialisés – même lorsque les données de formation d’origine ont été complètement supprimées au début du projet. Certains de ces déploiements commerciaux peuvent ne pas se produire pendant des années encore.

Pas de boîte blanche nécessaire

En ce qui concerne la deuxième critique courante des systèmes d’attaque d’images adverses, les auteurs du nouveau document ont constaté que leur capacité à tromper les systèmes de reconnaissance avec des images de fleurs conçues est très transférable à travers plusieurs architectures.

Bien qu’ils observent que leur méthode « Universal NaTuralistic adversarial paTches » (TnT) soit la première à utiliser des images reconnaissables (plutôt que du bruit de perturbation aléatoire) pour tromper les systèmes de reconnaissance d’images, les auteurs déclarent également:

‘[TnTs] sont efficaces contre plusieurs classificateurs d’état de l’art allant du WideResNet50 dans la tâche de reconnaissance visuelle à grande échelle d’ImageNet au modèle VGG-face dans la tâche de reconnaissance faciale de PubFig dans les attaques targeted et untargeted.

‘TnTs peuvent posséder: i) le naturalisme réalisable [avec] les déclencheurs utilisés dans les méthodes d’attaque de type Trojan; et ii) la généralisation et la transférabilité des exemples adverses à d’autres réseaux.

‘Cela soulève des préoccupations en matière de sécurité et de sûreté concernant les DNN déjà déployés, ainsi que les déploiements de DNN futurs, où les attaquants peuvent utiliser des patchs d’objets naturels peu visibles pour tromper les systèmes de neurones sans modifier le modèle et risquer d’être découverts.’

Les auteurs suggèrent que les contre-mesures conventionnelles, telles que la dégradation de l’exactitude propre d’un réseau, pourraient théoriquement fournir une certaine défense contre les patchs TnT, mais que ‘TnTs peuvent toujours contourner avec succès cette défense SOTA prouvable avec la plupart des systèmes de défense qui réalisent 0 % de robustesse’.

Des solutions possibles incluent l’apprentissage fédéré, où la provenance des images contributives est protégée, et de nouvelles approches qui pourraient directement « crypter » les données au moment de la formation, comme celle récemment suggérée par l’Université aéronautique et astronautique de Nankin.

Même dans ces cas, il serait important de se former sur des données d’images réellement nouvelles – maintenant, les images et les annotations associées dans le petit groupe des jeux de données de vision par ordinateur les plus populaires sont si profondément ancrées dans les cycles de développement autour du monde qu’elles ressemblent plus à des logiciels qu’à des données; des logiciels qui n’ont souvent pas été mis à jour de manière notable depuis des années.

Conclusion

Les attaques d’images adverses sont rendues possibles non seulement par les pratiques de machine learning open source, mais également par une culture de développement d’IA d’entreprise qui est motivée à réutiliser des jeux de données de vision par ordinateur bien établis pour plusieurs raisons: ils ont déjà prouvé leur efficacité; ils sont beaucoup moins chers que « partir de zéro »; et ils sont maintenus et mis à jour par des esprits et des organisations de pointe à travers l’académie et l’industrie, à des niveaux de financement et de dotation en personnel qui seraient difficiles pour une seule entreprise à reproduire.

En outre, dans de nombreux cas où les données ne sont pas originales (à la différence de CityScapes), les images ont été recueillies avant les controverses récentes sur la vie privée et les pratiques de collecte de données, laissant ces anciens jeux de données dans une sorte de purgatoire semi-légal qui peut ressembler à un « havre de sécurité » du point de vue d’une entreprise.

TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems est co-écrit par Bao Gia Doan, Minhui Xue, Ehsan Abbasnejad, Damith C. Ranasinghe de l’Université d’Adélaïde, ainsi que Shiqing Ma du Département d’informatique de l’Université de Rutgers.

Mis à jour le 1er décembre 2021, 7h06 GMT+2 – correction d’une faute d’orthographe.