Entretiens
Yaron Singer, PDG de Robust Intelligence et professeur de sciences informatiques à l’UniversitÃĐ de Harvard – SÃĐrie d’entretiens

Yaron Singer est le PDG de Robust Intelligence et professeur de sciences informatiques et de mathÃĐmatiques appliquÃĐes à Harvard. Yaron est connu pour ses rÃĐsultats innovants en apprentissage automatique, en algorithmes et en optimisation. Auparavant, Yaron a travaillÃĐ chez Google (GOOGL ) Research et a obtenu son doctorat de lâUC Berkeley.
Quâest-ce qui vous a initialement attirÃĐ dans le domaine de lâinformatique et de lâapprentissage automatique ?
Mon parcours a commencÃĐ avec les mathÃĐmatiques, qui mâont menÃĐ Ã lâinformatique, qui mâont mis sur la voie de lâapprentissage automatique. Les mathÃĐmatiques mâont dâabord intÃĐressÃĐ parce que leur systÃĻme axiomatique me donnait la capacitÃĐ de crÃĐer de nouveaux mondes. Avec lâinformatique, jâai appris sur les preuves existentielles, mais aussi les algorithmes qui les sous-tendent. Dâun point de vue crÃĐatif, lâinformatique est le dessin des frontiÃĻres entre ce que nous pouvons et ne pouvons pas faire.
Mon intÃĐrÊt pour lâapprentissage automatique a toujours ÃĐtÃĐ enracinÃĐ dans un intÃĐrÊt pour les donnÃĐes rÃĐelles, presque lâaspect physique de celles-ci. Prendre des choses du monde rÃĐel et les modÃĐliser pour crÃĐer quelque chose de significatif. Nous pourrions littÃĐralement concevoir un monde meilleur grÃĒce à une modÃĐlisation significative. Les mathÃĐmatiques mâont donnÃĐ une base pour prouver des choses, lâinformatique mâaide à voir ce que nous pouvons et ne pouvons pas faire, et lâapprentissage automatique me permet de modÃĐliser ces concepts dans le monde.
Jusquâà rÃĐcemment, vous ÃĐtiez professeur de sciences informatiques et de mathÃĐmatiques appliquÃĐes à lâUniversitÃĐ de Harvard, quels ÃĐtaient certains de vos principaux acquis de cette expÃĐrience ?
Mon plus grand acquis en tant que membre du corps professoral de Harvard est quâil dÃĐveloppe une appÃĐtence pour faire de grandes choses. Harvard a traditionnellement un corps professoral restreint, et lâattente des membres du corps professoral est de rÃĐsoudre de grands problÃĻmes et de crÃĐer de nouveaux domaines. Vous devez Être audacieux. Cela se rÃĐvÃĻle Être une excellente prÃĐparation pour lancer une startup qui crÃĐe une nouvelle catÃĐgorie et dÃĐfinit un nouvel espace. Je ne recommande pas nÃĐcessairement de passer par la voie de la titularisation de Harvard en premier â mais si vous survivez à cela, crÃĐer une startup est plus facile.
Pouvez-vous dÃĐcrire votre moment ÂŦ eurÊka Âŧ lorsque vous avez rÃĐalisÃĐ que les systÃĻmes dâIA sophistiquÃĐs sont vulnÃĐrables aux mauvaises donnÃĐes, avec certaines implications potentiellement loin-reaching ?
Quand jâÃĐtais ÃĐtudiant en doctorat à lâUC Berkeley, jâai pris un peu de temps pour crÃĐer une startup qui construisait des modÃĻles dâapprentissage automatique pour le marketing sur les rÃĐseaux sociaux. CâÃĐtait en 2010. Nous avions ÃĐnormÃĐment de donnÃĐes provenant des rÃĐseaux sociaux, et nous avons codÃĐ tous les modÃĻles à partir de zÃĐro. Les implications financiÃĻres pour les dÃĐtaillants ÃĐtaient assez importantes, nous avons donc suivi de prÃĻs les performances des modÃĻles. Puisque nous utilisions des donnÃĐes provenant des rÃĐseaux sociaux, il y avait de nombreuses erreurs dans les entrÃĐes, ainsi que des dÃĐrives. Nous avons constatÃĐ que de petites erreurs entraÃŪnaient de grands changements dans la sortie du modÃĻle et pouvaient entraÃŪner de mauvais rÃĐsultats financiers pour les dÃĐtaillants utilisant le produit.
Quand je suis passÃĐ Ã travailler sur Google+ (pour ceux dâentre nous qui sâen souviennent), jâai vu les mÊmes effets. De maniÃĻre plus dramatique, dans des systÃĻmes comme AdWords qui faisaient des prÃĐdictions sur la probabilitÃĐ que les gens cliquent sur une publicitÃĐ pour des mots clÃĐs, nous avons remarquÃĐ que de petites erreurs dans les entrÃĐes du modÃĻle entraÃŪnaient de trÃĻs mauvaises prÃĐdictions. Lorsque vous constatez ce problÃĻme à lâÃĐchelle de Google, vous rÃĐalisez que le problÃĻme est universel.
Ces expÃĐriences ont fortement influencÃĐ mon axe de recherche, et jâai passÃĐ mon temps à Harvard à ÃĐtudier pourquoi les modÃĻles dâIA font des erreurs et, plus important encore, comment concevoir des algorithmes qui peuvent empÊcher les modÃĻles de faire des erreurs. Cela, bien sÃŧr, a conduit à dâautres moments ÂŦ eurÊka Âŧ et, finalement, à la crÃĐation de Robust Intelligence.
Pouvez-vous partager lâhistoire de la crÃĐation de Robust Intelligence ?
Robust Intelligence a commencÃĐ avec des recherches sur ce qui ÃĐtait initialement un problÃĻme thÃĐorique : quels sont les garanties que nous pouvons avoir pour les dÃĐcisions prises à lâaide de modÃĻles dâIA. Kojin ÃĐtait un ÃĐtudiant à Harvard, et nous avons travaillÃĐ ensemble, en ÃĐcrivant initialement des articles de recherche. Donc, cela commence par lâÃĐcriture dâarticles qui dÃĐfinissent ce qui est fondamentalement possible et impossible, thÃĐoriquement. Ces rÃĐsultats ont ensuite continuÃĐ avec un programme pour concevoir des algorithmes et des modÃĻles qui sont robustes aux dÃĐfaillances de lâIA. Nous avons ensuite construit des systÃĻmes qui peuvent exÃĐcuter ces algorithmes en pratique. AprÃĻs cela, crÃĐer une entreprise oÃđ les organisations pourraient utiliser un systÃĻme comme celui-ci ÃĐtait une ÃĐtape naturelle.
Beaucoup des problÃĻmes que Robust Intelligence traite sont des erreurs silencieuses, quâest-ce que ce sont et ce qui les rend si dangereuses ?
Avant de donner une dÃĐfinition technique des erreurs silencieuses, il est utile de prendre un pas en arriÃĻre et de comprendre pourquoi nous devrions nous soucier des erreurs commises par lâIA. La raison pour laquelle nous nous soucions des erreurs commises par les modÃĻles dâIA est les consÃĐquences de ces erreurs. Notre monde utilise lâIA pour automatiser des dÃĐcisions critiques : qui obtient un prÊt commercial et à quel taux dâintÃĐrÊt, qui obtient une couverture dâassurance maladie et à quel taux, quels quartiers la police devrait patrouiller, qui est le candidat le plus susceptible dâobtenir un emploi, comment devrions-nous organiser la sÃĐcuritÃĐ aÃĐroportuaire, etc. Le fait que les modÃĻles dâIA soient extrÊmement sujets aux erreurs signifie que, en automatisant ces dÃĐcisions critiques, nous hÃĐritons dâun grand risque. Chez Robust Intelligence, nous appelons cela ÂŦ Risque IA Âŧ et notre mission est dâÃĐliminer le Risque IA.
Les erreurs silencieuses sont des erreurs de modÃĻles dâIA oÃđ le modÃĻle dâIA reçoit une entrÃĐe et produit une prÃĐdiction ou une dÃĐcision qui est incorrecte ou biaisÃĐe en tant que sortie. Donc, en surface, tout semble aller bien pour le systÃĻme, dans la mesure oÃđ le modÃĻle dâIA fait ce quâil est censÃĐ faire dâun point de vue fonctionnel. Mais la prÃĐdiction ou la dÃĐcision est erronÃĐe. Ces erreurs sont silencieuses car le systÃĻme ne sait pas quâil y a une erreur. Cela peut Être bien pire que le cas oÃđ un modÃĻle dâIA ne produit pas de sortie, car cela peut prendre beaucoup de temps aux organisations pour rÃĐaliser que leur systÃĻme dâIA est dÃĐfectueux. Ensuite, le Risque IA devient des dÃĐfaillances dâIA qui peuvent avoir des consÃĐquences graves.
Robust Intelligence a essentiellement conçu un pare-feu IA, une idÃĐe qui ÃĐtait considÃĐrÃĐe comme impossible. Pourquoi est-ce un dÃĐfi technique ?
Une des raisons pour lesquelles le pare-feu IA est un dÃĐfi est quâil va à lâencontre du paradigme que la communautÃĐ de lâapprentissage automatique avait. Le paradigme prÃĐcÃĐdent de la communautÃĐ de lâapprentissage automatique ÃĐtait que pour ÃĐradiquer les erreurs, il faut alimenter davantage de donnÃĐes, y compris de mauvaises donnÃĐes, aux modÃĻles. En faisant cela, les modÃĻles sâentraÃŪneront eux-mÊmes et apprendront à se corriger les erreurs. Le problÃĻme avec cette approche est quâelle entraÃŪne une baisse spectaculaire de la prÃĐcision du modÃĻle. Les meilleurs rÃĐsultats connus pour les images, par exemple, font chuter la prÃĐcision du modÃĻle dâIA de 98,5 % à environ 37 %.
Le pare-feu IA offre une solution diffÃĐrente. Nous dÃĐcouplons le problÃĻme de lâidentification dâune erreur de la tÃĒche de crÃĐation dâune prÃĐdiction, ce qui signifie que le pare-feu peut se concentrer sur une tÃĒche spÃĐcifique : dÃĐterminer si un point de donnÃĐes produira une prÃĐdiction erronÃĐe.
Ceci ÃĐtait un dÃĐfi en soi en raison de la difficultÃĐ de prÃĐdire une erreur sur un seul point de donnÃĐes. Il y a de nombreuses raisons pour lesquelles les modÃĻles font des erreurs, donc construire une technologie qui peut prÃĐdire ces erreurs nâÃĐtait pas une tÃĒche facile. Nous sommes trÃĻs chanceux dâavoir les ingÃĐnieurs que nous avons.
Comment le systÃĻme peut-il aider à prÃĐvenir les biais dâIA ?
Les biais de modÃĻle proviennent dâune discordance entre les donnÃĐes sur lesquelles le modÃĻle a ÃĐtÃĐ formÃĐ et les donnÃĐes quâil utilise pour faire des prÃĐdictions. En revenant au Risque IA, les biais sont un problÃĻme majeur attribuÃĐ aux erreurs silencieuses. Par exemple, câest souvent un problÃĻme avec les populations sous-reprÃĐsentÃĐes. Un modÃĻle peut avoir un biais parce quâil a vu moins de donnÃĐes provenant de cette population, ce qui affectera dramatiquement les performances du modÃĻle et la prÃĐcision de ses prÃĐdictions. Le pare-feu IA peut alerter les organisations de ces discordances de donnÃĐes et aider le modÃĻle à prendre des dÃĐcisions correctes.
Quels sont certains des autres risques pour les organisations que le pare-feu IA aide à prÃĐvenir ?
Toute entreprise qui utilise lâIA pour automatiser les dÃĐcisions, en particulier les dÃĐcisions critiques, introduit automatiquement un risque. De mauvaises donnÃĐes pourraient Être aussi mineures que la saisie dâun zÃĐro à la place dâun et pourraient encore entraÃŪner des consÃĐquences importantes. Que le risque soit des prÃĐdictions mÃĐdicales incorrectes ou de fausses prÃĐdictions sur les prÊts, le pare-feu IA aide les organisations à prÃĐvenir le risque dans son ensemble.
Y a-t-il autre chose que vous aimeriez partager sur Robust Intelligence ?
Robust Intelligence croÃŪt rapidement et nous recevons de nombreux excellents candidats pour les postes. Mais quelque chose que je veux vraiment souligner pour les personnes qui envisagent de postuler est que la qualitÃĐ la plus importante que nous recherchons chez les candidats est leur passion pour la mission. Nous rencontrons beaucoup de candidats qui sont solides techniquement, donc cela se rÃĐsume vraiment à comprendre sâils sont vraiment passionnÃĐs par lâÃĐlimination du Risque IA pour rendre le monde plus sÃŧr et meilleur.
Dans le monde que nous sommes en train de crÃĐer, de nombreuses dÃĐcisions qui sont actuellement prises par des humains seront automatisÃĐes. Que nous le voulions ou non, câest un fait. Compte tenu de cela, nous voulons tous à Robust Intelligence que les dÃĐcisions automatisÃĐes soient prises de maniÃĻre responsable. Donc, quiconque est enthousiaste à lâidÃĐe de faire une diffÃĐrence, qui comprend la façon dont cela peut affecter la vie des gens, est un candidat que nous recherchons pour rejoindre Robust Intelligence. Nous sommes à la recherche de cette passion. Nous sommes à la recherche des personnes qui crÃĐeront cette technologie que le monde entier utilisera. Nous sommes à la recherche de cette passion. Nous sommes à la recherche des personnes qui crÃĐeront cette technologie que le monde entier utilisera.
Je vous remercie pour cette grande interview, jâai apprÃĐciÃĐ dâen apprendre davantage sur vos vues sur la prÃĐvention des biais dâIA et sur la nÃĐcessitÃĐ dâun pare-feu IA, les lecteurs qui souhaitent en savoir plus peuvent visiter Robust Intelligence.












