Hypothèses courantes sur les dysfonctionnements de l’apprentissage automatique pourraient être fausses

Les réseaux de neurones profonds sont l’un des aspects les plus fondamentaux de l’intelligence artificielle (IA), car ils sont utilisés pour traiter les images et les données par modélisation mathématique. Ils sont responsables de certains des plus grands progrès dans le domaine, mais ils dysfonctionnent également de diverses manières. Ces dysfonctionnements peuvent avoir un impact faible ou nul, tel qu’une simple fausse identification, ou plus dramatique et mortel, tel qu’une défaillance de conduite autonome.

De nouvelles recherches menées à l’Université de Houston suggèrent que nos hypothèses courantes sur ces dysfonctionnements pourraient être fausses, ce qui pourrait aider à évaluer la fiabilité des réseaux à l’avenir.

L’article a été publié dans Nature Machine Intelligence en novembre.

« Exemples adverses »

L’apprentissage automatique et d’autres types d’IA sont cruciaux dans de nombreux secteurs et tâches, tels que les systèmes bancaires et de cybersécurité. Selon Cameron Buckner, professeur agrégé de philosophie à l’UH, il faut comprendre les défaillances provoquées par les « exemples adverses ». Ces exemples adverses se produisent lorsque un système de réseau de neurones profonds juge incorrectement les images et les autres données lorsqu’il rencontre des informations en dehors des entrées de formation utilisées pour développer le réseau.

Les exemples adverses sont rares, car ils sont souvent créés ou découverts par un autre réseau d’apprentissage automatique.

« Certains de ces événements adverses pourraient être des artefacts, et nous devons mieux les connaître pour savoir à quel point ces réseaux sont fiables », a écrit Buckner.

Buckner affirme que la défaillance pourrait être causée par l’interaction entre les modèles réels et ce que le réseau se propose de traiter, ce qui signifie qu’il ne s’agit pas d’une erreur complète.

Modèles comme artefacts

« Comprendre les implications des exemples adverses nécessite d’explorer une troisième possibilité : que certains de ces modèles soient des artefacts », a déclaré Buckner. « Ainsi, il y a actuellement à la fois des coûts à simplement éliminer ces modèles et des dangers à les utiliser de manière naïve. »

Bien que ce ne soit pas toujours le cas, la malveillance intentionnelle est le plus grand risque concernant ces événements adverses provoquant des dysfonctionnements de l’apprentissage automatique.

« Cela signifie que les acteurs malveillants pourraient tromper les systèmes qui reposent sur un réseau autrement fiable », a déclaré Buckner. « Cela a des applications en matière de sécurité. »

Cela pourrait être des pirates informatiques qui violent un système de sécurité basé sur la technologie de reconnaissance faciale, ou des panneaux de signalisation mal étiquetés pour confondre les véhicules autonomes.

D’autres recherches antérieures ont démontré que certains des exemples adverses sont naturellement présents, se produisant lorsque un système d’apprentissage automatique interprète incorrectement les données par le biais d’une interaction inattendue, ce qui est différent des erreurs dans les données. Ces exemples naturellement présents sont rares, et la seule façon actuelle de les découvrir est par l’IA.

Cependant, Buckner affirme que les chercheurs doivent repenser la façon dont ils abordent les anomalies.

Ces anomalies, ou artefacts, sont expliqués par Buckner à l’aide de l’analogie d’un éclair de lentille dans une photographie, qui n’est pas causé par un défaut dans l’objectif de la caméra, mais plutôt par l’interaction de la lumière avec la caméra.

Si l’on sait interpréter l’éclair de lentille, des informations importantes telles que l’emplacement du soleil peuvent être extraites. À cause de cela, Buckner pense qu’il est possible d’extraire des informations tout aussi précieuses à partir d’événements adverses dans l’apprentissage automatique qui sont causés par l’artefact.

Buckner affirme également que tout cela ne signifie pas automatiquement que l’apprentissage profond n’est pas valable.

« Certains de ces événements adverses pourraient être des artefacts », a-t-il déclaré. « Nous devons savoir quels sont ces artefacts pour savoir à quel point les réseaux sont fiables. »