Yaron Singer, PDG de Robust Intelligence et professeur de sciences informatiques à l’Université de Harvard – Série d’entretiens

Yaron Singer est le PDG de Robust Intelligence et professeur de sciences informatiques et de mathématiques appliquées à Harvard. Yaron est connu pour ses résultats innovants en apprentissage automatique, en algorithmes et en optimisation. Auparavant, Yaron a travaillé chez Google (GOOGL ) Research et a obtenu son doctorat de l’UC Berkeley.

Qu’est-ce qui vous a initialement attiré dans le domaine de l’informatique et de l’apprentissage automatique ?

Mon parcours a commencé avec les mathématiques, qui m’ont mené à l’informatique, qui m’ont mis sur la voie de l’apprentissage automatique. Les mathématiques m’ont d’abord intéressé parce que leur système axiomatique me donnait la capacité de créer de nouveaux mondes. Avec l’informatique, j’ai appris sur les preuves existentielles, mais aussi les algorithmes qui les sous-tendent. D’un point de vue créatif, l’informatique est le dessin des frontières entre ce que nous pouvons et ne pouvons pas faire.

Mon intérêt pour l’apprentissage automatique a toujours été enraciné dans un intérêt pour les données réelles, presque l’aspect physique de celles-ci. Prendre des choses du monde réel et les modéliser pour créer quelque chose de significatif. Nous pourrions littéralement concevoir un monde meilleur grâce à une modélisation significative. Les mathématiques m’ont donné une base pour prouver des choses, l’informatique m’aide à voir ce que nous pouvons et ne pouvons pas faire, et l’apprentissage automatique me permet de modéliser ces concepts dans le monde.

Jusqu’à récemment, vous étiez professeur de sciences informatiques et de mathématiques appliquées à l’Université de Harvard, quels étaient certains de vos principaux acquis de cette expérience ?

Mon plus grand acquis en tant que membre du corps professoral de Harvard est qu’il développe une appétence pour faire de grandes choses. Harvard a traditionnellement un corps professoral restreint, et l’attente des membres du corps professoral est de résoudre de grands problèmes et de créer de nouveaux domaines. Vous devez être audacieux. Cela se révèle être une excellente préparation pour lancer une startup qui crée une nouvelle catégorie et définit un nouvel espace. Je ne recommande pas nécessairement de passer par la voie de la titularisation de Harvard en premier – mais si vous survivez à cela, créer une startup est plus facile.

Pouvez-vous décrire votre moment « eurêka » lorsque vous avez réalisé que les systèmes d’IA sophistiqués sont vulnérables aux mauvaises données, avec certaines implications potentiellement loin-reaching ?

Quand j’étais étudiant en doctorat à l’UC Berkeley, j’ai pris un peu de temps pour créer une startup qui construisait des modèles d’apprentissage automatique pour le marketing sur les réseaux sociaux. C’était en 2010. Nous avions énormément de données provenant des réseaux sociaux, et nous avons codé tous les modèles à partir de zéro. Les implications financières pour les détaillants étaient assez importantes, nous avons donc suivi de près les performances des modèles. Puisque nous utilisions des données provenant des réseaux sociaux, il y avait de nombreuses erreurs dans les entrées, ainsi que des dérives. Nous avons constaté que de petites erreurs entraînaient de grands changements dans la sortie du modèle et pouvaient entraîner de mauvais résultats financiers pour les détaillants utilisant le produit.

Quand je suis passé à travailler sur Google+ (pour ceux d’entre nous qui s’en souviennent), j’ai vu les mêmes effets. De manière plus dramatique, dans des systèmes comme AdWords qui faisaient des prédictions sur la probabilité que les gens cliquent sur une publicité pour des mots clés, nous avons remarqué que de petites erreurs dans les entrées du modèle entraînaient de très mauvaises prédictions. Lorsque vous constatez ce problème à l’échelle de Google, vous réalisez que le problème est universel.

Ces expériences ont fortement influencé mon axe de recherche, et j’ai passé mon temps à Harvard à étudier pourquoi les modèles d’IA font des erreurs et, plus important encore, comment concevoir des algorithmes qui peuvent empêcher les modèles de faire des erreurs. Cela, bien sûr, a conduit à d’autres moments « eurêka » et, finalement, à la création de Robust Intelligence.

Pouvez-vous partager l’histoire de la création de Robust Intelligence ?

Robust Intelligence a commencé avec des recherches sur ce qui était initialement un problème théorique : quels sont les garanties que nous pouvons avoir pour les décisions prises à l’aide de modèles d’IA. Kojin était un étudiant à Harvard, et nous avons travaillé ensemble, en écrivant initialement des articles de recherche. Donc, cela commence par l’écriture d’articles qui définissent ce qui est fondamentalement possible et impossible, théoriquement. Ces résultats ont ensuite continué avec un programme pour concevoir des algorithmes et des modèles qui sont robustes aux défaillances de l’IA. Nous avons ensuite construit des systèmes qui peuvent exécuter ces algorithmes en pratique. Après cela, créer une entreprise où les organisations pourraient utiliser un système comme celui-ci était une étape naturelle.

Beaucoup des problèmes que Robust Intelligence traite sont des erreurs silencieuses, qu’est-ce que ce sont et ce qui les rend si dangereuses ?

Avant de donner une définition technique des erreurs silencieuses, il est utile de prendre un pas en arrière et de comprendre pourquoi nous devrions nous soucier des erreurs commises par l’IA. La raison pour laquelle nous nous soucions des erreurs commises par les modèles d’IA est les conséquences de ces erreurs. Notre monde utilise l’IA pour automatiser des décisions critiques : qui obtient un prêt commercial et à quel taux d’intérêt, qui obtient une couverture d’assurance maladie et à quel taux, quels quartiers la police devrait patrouiller, qui est le candidat le plus susceptible d’obtenir un emploi, comment devrions-nous organiser la sécurité aéroportuaire, etc. Le fait que les modèles d’IA soient extrêmement sujets aux erreurs signifie que, en automatisant ces décisions critiques, nous héritons d’un grand risque. Chez Robust Intelligence, nous appelons cela « Risque IA » et notre mission est d’éliminer le Risque IA.

Les erreurs silencieuses sont des erreurs de modèles d’IA où le modèle d’IA reçoit une entrée et produit une prédiction ou une décision qui est incorrecte ou biaisée en tant que sortie. Donc, en surface, tout semble aller bien pour le système, dans la mesure où le modèle d’IA fait ce qu’il est censé faire d’un point de vue fonctionnel. Mais la prédiction ou la décision est erronée. Ces erreurs sont silencieuses car le système ne sait pas qu’il y a une erreur. Cela peut être bien pire que le cas où un modèle d’IA ne produit pas de sortie, car cela peut prendre beaucoup de temps aux organisations pour réaliser que leur système d’IA est défectueux. Ensuite, le Risque IA devient des défaillances d’IA qui peuvent avoir des conséquences graves.

Robust Intelligence a essentiellement conçu un pare-feu IA, une idée qui était considérée comme impossible. Pourquoi est-ce un défi technique ?

Une des raisons pour lesquelles le pare-feu IA est un défi est qu’il va à l’encontre du paradigme que la communauté de l’apprentissage automatique avait. Le paradigme précédent de la communauté de l’apprentissage automatique était que pour éradiquer les erreurs, il faut alimenter davantage de données, y compris de mauvaises données, aux modèles. En faisant cela, les modèles s’entraîneront eux-mêmes et apprendront à se corriger les erreurs. Le problème avec cette approche est qu’elle entraîne une baisse spectaculaire de la précision du modèle. Les meilleurs résultats connus pour les images, par exemple, font chuter la précision du modèle d’IA de 98,5 % à environ 37 %.

Le pare-feu IA offre une solution différente. Nous découplons le problème de l’identification d’une erreur de la tâche de création d’une prédiction, ce qui signifie que le pare-feu peut se concentrer sur une tâche spécifique : déterminer si un point de données produira une prédiction erronée.

Ceci était un défi en soi en raison de la difficulté de prédire une erreur sur un seul point de données. Il y a de nombreuses raisons pour lesquelles les modèles font des erreurs, donc construire une technologie qui peut prédire ces erreurs n’était pas une tâche facile. Nous sommes très chanceux d’avoir les ingénieurs que nous avons.

Comment le système peut-il aider à prévenir les biais d’IA ?

Les biais de modèle proviennent d’une discordance entre les données sur lesquelles le modèle a été formé et les données qu’il utilise pour faire des prédictions. En revenant au Risque IA, les biais sont un problème majeur attribué aux erreurs silencieuses. Par exemple, c’est souvent un problème avec les populations sous-représentées. Un modèle peut avoir un biais parce qu’il a vu moins de données provenant de cette population, ce qui affectera dramatiquement les performances du modèle et la précision de ses prédictions. Le pare-feu IA peut alerter les organisations de ces discordances de données et aider le modèle à prendre des décisions correctes.

Quels sont certains des autres risques pour les organisations que le pare-feu IA aide à prévenir ?

Toute entreprise qui utilise l’IA pour automatiser les décisions, en particulier les décisions critiques, introduit automatiquement un risque. De mauvaises données pourraient être aussi mineures que la saisie d’un zéro à la place d’un et pourraient encore entraîner des conséquences importantes. Que le risque soit des prédictions médicales incorrectes ou de fausses prédictions sur les prêts, le pare-feu IA aide les organisations à prévenir le risque dans son ensemble.

Y a-t-il autre chose que vous aimeriez partager sur Robust Intelligence ?

Robust Intelligence croît rapidement et nous recevons de nombreux excellents candidats pour les postes. Mais quelque chose que je veux vraiment souligner pour les personnes qui envisagent de postuler est que la qualité la plus importante que nous recherchons chez les candidats est leur passion pour la mission. Nous rencontrons beaucoup de candidats qui sont solides techniquement, donc cela se résume vraiment à comprendre s’ils sont vraiment passionnés par l’élimination du Risque IA pour rendre le monde plus sûr et meilleur.

Dans le monde que nous sommes en train de créer, de nombreuses décisions qui sont actuellement prises par des humains seront automatisées. Que nous le voulions ou non, c’est un fait. Compte tenu de cela, nous voulons tous à Robust Intelligence que les décisions automatisées soient prises de manière responsable. Donc, quiconque est enthousiaste à l’idée de faire une différence, qui comprend la façon dont cela peut affecter la vie des gens, est un candidat que nous recherchons pour rejoindre Robust Intelligence. Nous sommes à la recherche de cette passion. Nous sommes à la recherche des personnes qui créeront cette technologie que le monde entier utilisera. Nous sommes à la recherche de cette passion. Nous sommes à la recherche des personnes qui créeront cette technologie que le monde entier utilisera.

Je vous remercie pour cette grande interview, j’ai apprécié d’en apprendre davantage sur vos vues sur la prévention des biais d’IA et sur la nécessité d’un pare-feu IA, les lecteurs qui souhaitent en savoir plus peuvent visiter Robust Intelligence.