Algorithme TextFooler trompe l’IA de traitement du langage naturel

Au fil des ans, les algorithmes et les systèmes de traitement du langage naturel sont devenus impressionnants, mais ils sont toujours vulnérables à une sorte d’exploit connue sous le nom d’« exemple adverse ». Les exemples adverses sont des phrases soigneusement conçues qui peuvent causer un comportement inattendu et indésirable dans un système de traitement du langage naturel. Les programmes d’IA peuvent être amenés à se comporter de manière anormale avec ces exemples étranges, et en conséquence, les chercheurs en IA tentent de concevoir des moyens pour se protéger contre les effets des exemples adverses.

Récemment, une équipe de chercheurs de l’Université de Hong Kong et de l’Agence pour la science, la technologie et la recherche de Singapour a collaboré pour créer un algorithme qui démontre le danger des exemples adverses. Selon un article de Wired, l’algorithme a été baptisé TextFooler par l’équipe de recherche et il fonctionne en modifiant subtilement des parties d’une phrase, ce qui affecte la façon dont un classificateur de traitement du langage naturel interprète la phrase. Par exemple, l’algorithme a converti une phrase en une autre phrase similaire et la phrase a été introduite dans un classificateur conçu pour déterminer si une critique était négative ou positive. La phrase d’origine était:

« Les personnages, jetés dans des situations invraisemblablement artificielles, sont totally étrangers à la réalité. »

Elle a été convertie en cette phrase:

« Les personnages, jetés dans des circonstances construites de manière ingénieuse, sont entièrement étrangers à la réalité. »

Ces changements subtils ont incité le classificateur de texte à classer la critique comme positive au lieu de négative. L’équipe de recherche a testé la même approche (en remplaçant certains mots par des synonymes) sur plusieurs jeux de données et algorithmes de classification de texte. L’équipe de recherche rapporte qu’ils ont pu réduire la précision de classification d’un algorithme à seulement 10 %, contre 90 % initialement. Cela malgré le fait que les personnes lisant ces phrases interpréteraient qu’elles ont le même sens.

Ces résultats sont inquiétants à une époque où les algorithmes de traitement du langage naturel et l’IA sont de plus en plus utilisés, et pour des tâches importantes comme l’évaluation des demandes médicales ou l’analyse des documents juridiques. On ignore encore à quel point les exemples adverses constituent un danger pour les algorithmes actuellement utilisés. Les équipes de recherche du monde entier tentent encore de déterminer quel impact ils peuvent avoir. Récemment, un rapport publié par le groupe Stanford Human-Centered AI a suggéré que les exemples adverses pourraient tromper les algorithmes d’IA et être utilisés pour commettre des fraudes fiscales.

Il y a certaines limitations à l’étude récente. Par exemple, Sameer Singh, professeur adjoint de sciences informatiques à l’UC Irvine, note que la méthode adverse utilisée était efficace, mais qu’elle repose sur certaines connaissances de l’architecture de l’IA. L’IA doit être sondée à plusieurs reprises jusqu’à ce qu’un groupe de mots efficace soit trouvé, et de telles attaques répétées pourraient être détectées par les programmes de sécurité. Singh et ses collègues ont mené leurs propres recherches sur le sujet et ont constaté que des systèmes avancés comme les algorithmes OpenAI peuvent produire des textes racistes et préjudiciables lorsqu’ils sont déclenchés par certaines phrases déclencheuses.

Les exemples adverses sont également un problème potentiel lorsqu’il s’agit de données visuelles comme les photos ou les vidéos. Un exemple célèbre implique l’application de certaines transformations numériques subtiles à une image d’un chaton, ce qui amène le classificateur d’images à interpréter l’image comme un moniteur ou un ordinateur de bureau. Dans un autre exemple, des recherches menées par la professeure Dawn Song de l’UC Berkeley ont constaté que les exemples adverses peuvent être utilisés pour modifier la façon dont les panneaux de signalisation routière sont perçus par les systèmes de vision par ordinateur, ce qui pourrait potentiellement être dangereux pour les véhicules autonomes.

Des recherches comme celles menées par l’équipe de Hong Kong-Singapour pourraient aider les ingénieurs en IA à mieux comprendre quels types de vulnérabilités les algorithmes d’IA présentent, et potentiellement concevoir des moyens pour se protéger contre ces vulnérabilités. Par exemple, des classificateurs d’ensemble peuvent être utilisés pour réduire la probabilité qu’un exemple adverse puisse tromper le système de vision par ordinateur. Avec cette technique, plusieurs classificateurs sont utilisés et des transformations légères sont appliquées à l’image d’entrée. La majorité des classificateurs discernent généralement les aspects du contenu réel de l’image, qui sont ensuite agrégés. Le résultat est que même si quelques-uns des classificateurs sont trompés, la plupart d’entre eux ne le seront pas et l’image sera correctement classifiée. Les exemples sont réutilisés et des transformations légères sont appliquées à l’image d’entrée. La majorité des classificateurs discernent généralement les aspects du contenu réel de l’image, qui sont ensuite agrégés. Le résultat est que même si quelques-uns des classificateurs sont trompés, la plupart d’entre eux ne le seront pas et l’image sera correctement classifiée.