Yaron Singer, PDG de Robust Intelligence et professeur d'informatique à l'Université de Harvard - Série d'interviews

Yaron Singer est le PDG de Intelligence robuste et professeur d'informatique et de mathématiques appliquées à Harvard. Yaron est connu pour ses résultats révolutionnaires en matière d'apprentissage automatique, d'algorithmes et d'optimisation. Auparavant, Yaron a travaillé chez Google Research et a obtenu son doctorat à l'UC Berkeley.

Qu'est-ce qui vous a initialement attiré vers le domaine de l'informatique et de l'apprentissage automatique ?

Mon voyage a commencé avec les mathématiques, ce qui m'a conduit à l'informatique, qui m'a mis sur la voie de l'apprentissage automatique. Les mathématiques ont d'abord attiré mon intérêt parce que leur système axiomatique m'a donné la possibilité de créer de nouveaux mondes. Avec l'informatique, j'ai appris les preuves existentielles, mais aussi les algorithmes qui les sous-tendent. D'un point de vue créatif, l'informatique consiste à tracer des frontières entre ce que nous pouvons et ne pouvons pas faire.

Mon intérêt pour l'apprentissage automatique a toujours été enraciné dans un intérêt pour les données réelles, presque leur aspect physique. Prendre des choses du monde réel et les modéliser pour en faire quelque chose de significatif. Nous pourrions littéralement concevoir un monde meilleur grâce à une modélisation significative. Les mathématiques m'ont donc donné une base pour prouver des choses, l'informatique m'aide à voir ce qui peut et ne peut pas être fait, et l'apprentissage automatique me permet de modéliser ces concepts dans le monde.

Jusqu'à récemment, vous étiez professeur d'informatique et de mathématiques appliquées à l'Université de Harvard, quels ont été les principaux enseignements de cette expérience ?

Ce que je retiens le plus d'être membre du corps professoral de Harvard, c'est que cela développe l'appétit pour faire de grandes choses. Harvard a traditionnellement une petite faculté, et l'attente des professeurs menant à la permanence est de s'attaquer à de gros problèmes et de créer de nouveaux domaines. Il faut être audacieux. Cela finit par être une excellente préparation pour lancer une startup créatrice de catégories définissant un nouvel espace. Je ne recommande pas nécessairement de passer d'abord par la voie de la permanence à Harvard, mais si vous survivez à cela, créer une startup est plus facile.

Pourriez-vous décrire votre moment "aha" lorsque vous avez réalisé que les systèmes d'IA sophistiqués sont vulnérables aux mauvaises données, avec des implications potentiellement importantes ?

Lorsque j'étais étudiant diplômé à l'UC Berkeley, j'ai pris du temps pour créer une startup qui construisait des modèles d'apprentissage automatique pour le marketing dans les réseaux sociaux. C'était en 2010. Nous avions des quantités massives de données provenant des médias sociaux et nous avons codé tous les modèles à partir de zéro. Les implications financières pour les détaillants étaient assez importantes, nous avons donc suivi de près les performances des modèles. Étant donné que nous avons utilisé des données provenant des médias sociaux, il y avait de nombreuses erreurs dans la saisie, ainsi que des dérives. Nous avons vu que de très petites erreurs entraînaient de grands changements dans la sortie du modèle et pouvaient entraîner de mauvais résultats financiers pour les détaillants utilisant le produit.

Lorsque je suis passé à travailler sur Google+ (pour ceux d'entre nous qui s'en souviennent), j'ai vu exactement les mêmes effets. Plus dramatiquement, dans des systèmes comme AdWords qui faisaient des prédictions sur la probabilité que des personnes cliquent sur une publicité pour des mots-clés, nous avons remarqué que de petites erreurs dans la saisie du modèle conduisaient à de très mauvaises prédictions. Lorsque vous êtes témoin de ce problème à l'échelle de Google, vous réalisez que le problème est universel.

Ces expériences ont fortement façonné mon objectif de recherche et j'ai passé mon temps à Harvard à étudier pourquoi les modèles d'IA font des erreurs et, surtout, comment concevoir des algorithmes qui peuvent empêcher les modèles de faire des erreurs. Ceci, bien sûr, a conduit à plus de moments "aha" et, finalement, à la création de Robust Intelligence.

Pourriez-vous partager l'histoire de la genèse de Robust Intelligence ?

Robust Intelligence a commencé par une recherche sur ce qui était initialement un problème théorique : quelles sont les garanties que nous pouvons avoir sur les décisions prises à l'aide de modèles d'IA. Kojin était étudiant à Harvard, et nous avons travaillé ensemble, en écrivant initialement des articles de recherche. Donc, cela commence par la rédaction d'articles qui décrivent ce qui est fondamentalement possible et impossible, théoriquement. Ces résultats se sont ensuite poursuivis dans un programme de conception d'algorithmes et de modèles robustes aux défaillances de l'IA. Nous construisons ensuite des systèmes capables d'exécuter ces algorithmes dans la pratique. Après cela, démarrer une entreprise où les organisations pourraient utiliser un système comme celui-ci était une prochaine étape naturelle.

De nombreux problèmes auxquels Robust Intelligence s'attaque sont des erreurs silencieuses, quelles sont-elles et qu'est-ce qui les rend si dangereuses ?

Avant de donner une définition technique des erreurs silencieuses, il vaut la peine de prendre du recul et de comprendre pourquoi nous devrions nous soucier des erreurs de l'IA en premier lieu. La raison pour laquelle nous nous soucions des erreurs des modèles d'IA est les conséquences de ces erreurs. Notre monde utilise l'IA pour automatiser les décisions critiques : qui obtient un prêt commercial et à quel taux d'intérêt, qui bénéficie d'une couverture d'assurance maladie et à quel taux, quels quartiers doivent patrouiller la police, qui est le plus susceptible d'être le meilleur candidat pour un emploi, comment doit-on organiser la sécurité des aéroports, etc. Le fait que les modèles d'IA soient extrêmement sujets aux erreurs signifie qu'en automatisant ces décisions critiques, nous héritons d'un grand nombre de risques. Chez Robust Intelligence, nous appelons cela « risque IA » et notre mission dans l'entreprise est d'éliminer le risque IA.

Les erreurs silencieuses sont des erreurs de modèles d'IA où le modèle d'IA reçoit une entrée et produit une prédiction ou une décision erronée ou biaisée en sortie. Donc, à première vue, tout semble correct pour le système, dans la mesure où le modèle d'IA fait ce qu'il est censé faire d'un point de vue fonctionnel. Mais la prédiction ou la décision est erronée. Ces erreurs sont silencieuses car le système ne sait pas qu'il y a une erreur. Cela peut être bien pire que le cas dans lequel un modèle d'IA ne produit pas de résultat, car les organisations peuvent mettre beaucoup de temps à se rendre compte que leur système d'IA est défectueux. Ensuite, le risque de l'IA devient des échecs de l'IA qui peuvent avoir des conséquences désastreuses.

Robust Intelligence a essentiellement conçu un pare-feu IA, une idée qui était auparavant considérée comme impossible. Pourquoi est-ce un tel défi technique ?

L'une des raisons pour lesquelles le pare-feu AI est un tel défi est qu'il va à l'encontre du paradigme de la communauté ML. Le paradigme précédent de la communauté ML était que pour éradiquer les erreurs, il fallait fournir plus de données, y compris de mauvaises données aux modèles. En faisant cela, les modèles s'entraîneront et apprendront à corriger eux-mêmes les erreurs. Le problème avec cette approche est qu'elle fait chuter considérablement la précision du modèle. Les résultats les plus connus pour les images, par exemple, font chuter la précision du modèle IA de 98.5 % à environ 37 %.

Le pare-feu AI offre une solution différente. Nous dissocions le problème d'identification d'une erreur du rôle de création d'une prédiction, ce qui signifie que le pare-feu peut se concentrer sur une tâche spécifique : déterminer si un point de données produira une prédiction erronée.

C'était un défi en soi en raison de la difficulté de donner une prédiction sur un seul point de données. Il y a beaucoup de raisons pour lesquelles les modèles font des erreurs, donc construire une technologie capable de prédire ces erreurs n'a pas été une tâche facile. Nous sommes très chanceux d'avoir les ingénieurs que nous avons.

Comment le système peut-il aider à prévenir les biais de l'IA ?

Le biais du modèle provient d'un écart entre les données sur lesquelles le modèle a été formé et les données qu'il utilise pour faire des prédictions. Pour en revenir au risque lié à l'IA, le biais est un problème majeur attribué aux erreurs silencieuses. Par exemple, c'est souvent un problème avec les populations sous-représentées. Un modèle peut avoir un biais parce qu'il a vu moins de données de cette population, ce qui affectera considérablement les performances de ce modèle et la précision de ses prédictions. Le pare-feu AI peut alerter les organisations de ces divergences de données et aider le modèle à prendre les bonnes décisions.

Quels sont certains des autres risques pour les organisations qu'un pare-feu d'IA aide à prévenir ?

Toute entreprise utilisant l'IA pour automatiser les décisions, en particulier les décisions critiques, introduit automatiquement des risques. Les mauvaises données peuvent être aussi mineures que la saisie d'un zéro au lieu d'un un et entraîner des conséquences importantes. Qu'il s'agisse de prédictions médicales incorrectes ou de fausses prédictions sur les prêts, le pare-feu AI aide les organisations à prévenir complètement les risques.

Y a-t-il autre chose que vous aimeriez partager à propos de Robust Intelligence ?

Robust Intelligence se développe rapidement et nous recevons de nombreux candidats formidables postulant à des postes. Mais quelque chose que je tiens vraiment à souligner pour les personnes qui envisagent de postuler, c'est que la qualité la plus importante que nous recherchons chez les candidats est leur passion pour la mission. Nous rencontrons de nombreux candidats qui sont forts sur le plan technique, il s'agit donc vraiment de comprendre s'ils sont vraiment passionnés par l'élimination des risques liés à l'IA pour rendre le monde plus sûr et meilleur.

Dans le monde vers lequel nous nous dirigeons, de nombreuses décisions qui sont actuellement prises par des humains seront automatisées. Qu'on le veuille ou non, c'est un fait. Compte tenu de cela, nous tous chez Robust Intelligence voulons que les décisions automatisées soient prises de manière responsable. Donc, toute personne enthousiaste à l'idée d'avoir un impact, qui comprend la façon dont cela peut affecter la vie des gens, est un candidat que nous recherchons pour rejoindre Robust Intelligence. Nous recherchons cette passion. Nous recherchons les personnes qui créeront cette technologie que le monde entier utilisera.

Merci pour cette excellente interview, j'ai aimé connaître votre point de vue sur la prévention des biais d'IA et sur la nécessité d'un pare-feu d'IA, les lecteurs qui souhaitent en savoir plus devraient visiter Intelligence robuste.