Les chercheurs en IA développent une méthode rapide pour calculer les intervalles de confiance, signalant quand un modèle ne doit pas être considéré comme fiable

Les chercheurs du MIT ont récemment développé une technique qui permet aux modèles de réseaux de neurones profonds de calculer rapidement les niveaux de confiance, ce qui pourrait aider les scientifiques des données et les autres utilisateurs de l’IA à savoir quand faire confiance aux prédictions rendues par un modèle.

Les systèmes d’IA basés sur les réseaux de neurones artificiels sont responsables de plus en plus de décisions, notamment de nombreuses décisions qui impliquent la santé et la sécurité des personnes. En raison de cela, les réseaux de neurones devraient avoir une méthode pour estimer la confiance dans leurs sorties, permettant aux scientifiques des données de savoir à quel point leurs prédictions sont fiables. Récemment, une équipe de chercheurs de Harvard et du MIT a conçu un moyen rapide pour les réseaux de neurones de générer une indication de la confiance d’un modèle aux côtés de ses prédictions.

Les modèles d’apprentissage profond sont devenus de plus en plus sophistiqués au cours de la dernière décennie et peuvent désormais facilement surpasser les humains dans les tâches de classification de données. Les modèles d’apprentissage profond sont utilisés dans des domaines où la santé et la sécurité des personnes peuvent être mises en danger s’ils échouent, comme la conduite de véhicules autonomes et le diagnostic de conditions médicales à partir de scans. Dans ces cas, il ne suffit pas qu’un modèle soit précis à 99 %, les 1 % de fois où le modèle échoue peuvent avoir des conséquences catastrophiques. Par conséquent, il doit y avoir un moyen pour les scientifiques des données de déterminer à quel point une prédiction donnée est fiable.

Il existe quelques moyens de générer un intervalle de confiance avec les prédictions des réseaux de neurones, mais les méthodes traditionnelles d’estimation de l’incertitude pour un réseau de neurones sont assez lentes et coûteuses en termes de calcul. Les réseaux de neurones peuvent être incroyablement grands et complexes, remplis de milliards de paramètres. La simple génération de prédictions peut être coûteuse en termes de calcul et prendre beaucoup de temps, et la génération d’un niveau de confiance pour les prédictions prend encore plus de temps. La plupart des méthodes précédentes de quantification de l’incertitude reposaient sur l’échantillonnage ou l’exécution d’un réseau plusieurs fois pour obtenir une estimation de sa confiance. Cela n’est pas toujours réalisable pour les applications qui nécessitent un trafic à haute vitesse.

Selon MIT News, Alexander Amini dirige le groupe combiné de chercheurs du MIT et de Harvard, et selon Amini, la méthode développée par leurs chercheurs accélère le processus de génération d’estimations d’incertitude en utilisant une technique appelée « régression évidentielle profonde ». Amini a expliqué via MIT que les scientifiques des données ont besoin à la fois de modèles à haute vitesse et d’estimations fiables de l’incertitude pour que les modèles non fiables puissent être discernés. Pour préserver à la fois la vitesse du modèle et générer une estimation d’incertitude, les chercheurs ont conçu un moyen d’estimer l’incertitude à partir d’une seule exécution du modèle.

Les chercheurs ont conçu le modèle de réseau de neurones de telle sorte qu’une distribution probabiliste soit générée aux côtés de chaque décision. Le réseau conserve les preuves de ses décisions pendant le processus d’apprentissage, générant une distribution de probabilité basée sur les preuves. La distribution évidentielle représente la confiance du modèle, et elle représente l’incertitude à la fois pour la décision finale du modèle et pour les données d’entrée originales. La capture de l’incertitude à la fois pour les données d’entrée et les décisions est importante, car la réduction de l’incertitude dépend de la connaissance de la source de l’incertitude.

Les chercheurs ont testé leur technique d’estimation d’incertitude en l’appliquant à une tâche de vision par ordinateur. Après que le modèle ait été formé sur une série d’images, il a généré à la fois des prédictions et des estimations d’incertitude. Le réseau a correctement projeté une incertitude élevée pour les instances où la prédiction incorrecte a été faite. « C’était très calibré aux erreurs que le réseau commet, ce que nous croyons être l’une des choses les plus importantes pour juger la qualité d’un nouvel estimateur d’incertitude », a déclaré Amini à propos des résultats des tests du modèle.

L’équipe de recherche a ensuite effectué d’autres tests avec leur architecture de réseau. Pour soumettre la technique à un test de résistance, ils ont également testé les données sur des « données hors de la distribution », des ensembles de données composés d’objets que le réseau n’avait jamais vus auparavant. Comme prévu, le réseau a signalé une incertitude plus élevée pour ces objets non vus. Lorsqu’il a été formé sur des environnements intérieurs, le réseau a affiché une incertitude élevée lorsqu’il a été testé sur des images d’environnements extérieurs. Les tests ont montré que le réseau pouvait mettre en évidence quand ses décisions étaient sujettes à une incertitude élevée et ne devraient pas être considérées comme fiables dans certaines circonstances à risque élevé.

L’équipe de recherche a même signalé que le réseau pouvait discerner quand des images avaient été modifiées. Lorsque l’équipe de recherche a modifié des photos avec du bruit adverse, le réseau a étiqueté les images modifiées avec des estimations d’incertitude élevées, malgré le fait que l’effet était trop subtil pour être vu par un observateur humain moyen.

Si la technique se révèle fiable, la régression évidentielle profonde pourrait améliorer la sécurité des modèles d’IA en général. Selon Amini, la régression évidentielle profonde pourrait aider les gens à prendre des décisions prudentes lors de l’utilisation de modèles d’IA dans des situations à risque. Comme l’a expliqué Amini via MIT News :

“Nous commençons à voir de plus en plus de ces modèles de réseaux de neurones sortir du laboratoire de recherche et entrer dans le monde réel, dans des situations qui touchent les humains avec des conséquences potentiellement mortelles. Tout utilisateur de la méthode, qu’il s’agisse d’un médecin ou d’une personne dans le siège passager d’un véhicule, doit être conscient de tout risque ou incertitude associé à cette décision.”