Donner la priorité à la confiance dans l’IA

La société compte de plus en plus sur les applications d’intelligence artificielle (IA) et d’apprentissage automatique (ML), ce qui redéfinit la façon dont l’information est consommée. Des chatbots alimentés par l’IA aux synthèses d’informations produites à partir de grands modèles de langage (LLM), la société a accès à plus d’informations et à des connaissances plus approfondies que jamais auparavant. Cependant, alors que les entreprises technologiques se précipitent pour mettre en œuvre l’IA dans leur chaîne de valeur, une question critique se pose. Pouvez-vous vraiment faire confiance aux sorties des solutions d’IA ?

Pouvons-nous vraiment faire confiance aux sorties de l’IA sans quantification de l’incertitude

Pour une entrée donnée, un modèle pourrait avoir généré de nombreuses autres sorties également plausibles. Cela pourrait être dû à des données de formation insuffisantes, à des variations dans les données de formation ou à d’autres causes. Lors du déploiement de modèles, les organisations peuvent utiliser la quantification de l’incertitude pour fournir à leurs utilisateurs finals une compréhension plus claire de la mesure dans laquelle ils devraient faire confiance à la sortie d’un modèle d’IA/ML. La quantification de l’incertitude est le processus d’estimation de ce que ces autres sorties pourraient avoir été.

Imaginez un modèle prédisant la température élevée de demain. Le modèle pourrait générer la sortie 21ºC, mais la quantification de l’incertitude appliquée à cette sortie pourrait indiquer que le modèle aurait pu générer les sorties 12 ºC, 15 ºC ou 16 ºC ; en sachant cela, combien pouvons-nous maintenant faire confiance à la simple prédiction de 20 ºC ? Malgré son potentiel pour inspirer la confiance ou conseiller la prudence, de nombreuses organisations choisissent de sauter la quantification de l’incertitude en raison du travail supplémentaire qu’elles doivent effectuer pour la mettre en œuvre, ainsi que des exigences en termes de ressources informatiques et de vitesse d’inférence.

Les systèmes humains dans la boucle, tels que les systèmes de diagnostic et de pronostic médicaux, impliquent des humains dans le processus de prise de décision. En faisant aveuglément confiance aux données des solutions d’IA/ML de santé, les professionnels de la santé risquent de mal diagnostiquer un patient, ce qui pourrait entraîner des résultats de santé médiocres – ou pire. La quantification de l’incertitude peut permettre aux professionnels de la santé de voir, de manière quantitative, quand ils peuvent faire confiance aux sorties de l’IA et quand ils devraient traiter certaines prédictions avec prudence. De même, dans un système entièrement automatisé tel qu’une voiture autonome, la sortie d’un modèle pour estimer la distance d’un obstacle pourrait entraîner une collision qui aurait pu être évitée en présence de quantification de l’incertitude sur l’estimation de la distance.

Le défi de l’utilisation des méthodes de Monte-Carlo pour établir la confiance dans les modèles d’IA/ML

Les méthodes de Monte-Carlo, développées pendant le projet Manhattan, constituent un moyen robuste de réaliser une quantification de l’incertitude. Ils impliquent de réexécuter les algorithmes à plusieurs reprises avec des entrées légèrement différentes jusqu’à ce que les itérations supplémentaires ne fournissent plus beaucoup d’informations dans les sorties ; lorsque le processus atteint un tel état, on dit qu’il a convergé. Un inconvénient des méthodes de Monte-Carlo est qu’elles sont généralement lentes et gourmandes en calcul, nécessitant de nombreuses répétitions de leurs calculs constitutifs pour obtenir une sortie convergée et présentant une variabilité inhérente entre ces sorties. Puisque les méthodes de Monte-Carlo utilisent les sorties des générateurs de nombres aléatoires comme l’un de leurs principaux éléments de construction, même lorsque vous exécutez un Monte-Carlo avec de nombreuses répétitions internes, les résultats que vous obtenez changeront lorsque vous répétez le processus avec des paramètres identiques.

La voie à suivre pour la fiabilité des modèles d’IA/ML

Contrairement aux serveurs traditionnels et aux accélérateurs d’IA spécifiques, une nouvelle génération de plateformes de calcul est en cours de développement pour traiter directement les distributions de probabilité empiriques de la même manière que les plateformes de calcul traditionnelles traitent les entiers et les valeurs à virgule flottante. En déployant leurs modèles d’IA sur ces plateformes, les organisations peuvent automatiser la mise en œuvre de la quantification de l’incertitude sur leurs modèles préformés et peuvent également accélérer d’autres types de tâches de calcul qui ont traditionnellement utilisé des méthodes de Monte-Carlo, telles que les calculs de VaR dans la finance. En particulier, pour le scénario VaR, cette nouvelle génération de plateformes permet aux organisations de travailler avec des distributions empiriques construites directement à partir de données de marché réelles, plutôt que d’approximer ces distributions avec des échantillons générés par des générateurs de nombres aléatoires, pour des analyses plus précises et des résultats plus rapides.

Les récentes avancées en calcul ont considérablement abaissé les barrières à la quantification de l’incertitude. Un article de recherche récent publié par mes collègues et moi, dans le atelier Machine Learning With New Compute Paradigms à NeurIPS 2024, met en évidence la façon dont une plateforme de calcul de nouvelle génération que nous avons développée a permis d’exécuter l’analyse de quantification de l’incertitude plus de 100 fois plus rapidement que l’exécution d’analyses traditionnelles basées sur Monte-Carlo sur un serveur Intel-Xeon de haute gamme. Des avancées telles que celles-ci permettent aux organisations qui déployent des solutions d’IA de mettre en œuvre la quantification de l’incertitude avec facilité et de l’exécuter avec une faible surcharge.

Le futur de la fiabilité de l’IA/ML dépend de la computation de nouvelle génération avancée

Alors que les organisations intègrent davantage de solutions d’IA dans la société, la fiabilité de l’IA/ML deviendra une priorité absolue. Les entreprises ne peuvent plus se permettre de sauter la mise en œuvre de mécanismes dans leurs déploiements de modèles d’IA pour permettre aux consommateurs de savoir quand traiter certaines sorties de modèles d’IA avec scepticisme. La demande d’une telle explicabilité et de quantification de l’incertitude est claire, avec environ trois personnes sur quatre indiquant qu’elles feraient confiance à un système d’IA si des mécanismes de garantie appropriés étaient en place.

Les nouvelles technologies de calcul rendent de plus en plus facile la mise en œuvre et le déploiement de la quantification de l’incertitude. Alors que l’industrie et les organismes réglementaires sont aux prises avec d’autres défis associés au déploiement de l’IA dans la société, il y a au moins une opportunité de susciter la confiance que les humains requièrent, en faisant de la quantification de l’incertitude la norme dans les déploiements de l’IA.