Marlos C. Machado, professeur adjoint à l’Université de l’Alberta, boursier Amii, titulaire de la chaire CIFAR en intelligence artificielle – Série d’entretiens

Marlos C. Machado est un boursier en résidence à l’Institut de l’intelligence machinique de l’Alberta (Amii), un professeur adjoint à l’Université de l’Alberta et un boursier Amii, où il occupe également une chaire de recherche en intelligence artificielle du Canada. Les recherches de Marlos portent principalement sur le problème de l’apprentissage par renforcement. Il a obtenu son baccalauréat et sa maîtrise à l’UFMG, au Brésil, et son doctorat à l’Université de l’Alberta, où il a popularisé l’idée d’exploration temporelle étendue par options.

Il a été chercheur à DeepMind de 2021 à 2023 et à Google (GOOGL ) Brain de 2019 à 2021, période pendant laquelle il a apporté des contributions majeures à l’apprentissage par renforcement, en particulier l’application de l’apprentissage par renforcement profond pour contrôler les ballons stratosphériques de Loon. Les travaux de Marlos ont été publiés dans les principales conférences et revues en intelligence artificielle, notamment Nature, JMLR, JAIR, NeurIPS, ICML, ICLR et AAAI. Ses recherches ont également été présentées dans les médias populaires tels que la BBC, Bloomberg TV, The Verge et Wired.

Nous nous sommes assis pour une entrevue lors de la conférence annuelle 2023 Upper Bound sur l’intelligence artificielle, qui se tient à Edmonton, en Alberta, et est organisée par Amii (Institut de l’intelligence machinique de l’Alberta).

Votre principale préoccupation a été l’apprentissage par renforcement, qu’est-ce qui vous attire dans ce type d’apprentissage automatique ?

Ce que j’aime dans l’apprentissage par renforcement, c’est ce concept, c’est une façon très naturelle, à mon avis, d’apprendre, qui consiste à apprendre par interaction. Cela me semble être la façon dont nous apprenons en tant qu’êtres humains, dans un certain sens. Je n’aime pas anthropomorphiser l’IA, mais c’est juste une façon intuitive d’apprendre, vous essayez des choses, certaines choses vous font du bien, d’autres vous font du mal, et vous apprenez à faire les choses qui vous font du bien. L’une des choses qui me fascine dans l’apprentissage par renforcement est le fait que, parce que vous interagissez réellement avec le monde, vous êtes cet agent dont nous parlons, qui essaie des choses dans le monde et qui peut formuler une hypothèse et la tester.

La raison pour laquelle cela est important est qu’il permet la découverte de nouveaux comportements. Par exemple, l’un des exemples les plus célèbres est AlphaGo, le coup 37 dont on parle dans le documentaire, qui est ce coup que les gens ont qualifié de créatif. C’était quelque chose qui n’avait jamais été vu auparavant, cela nous a laissés tous abasourdis. Ce n’est pas quelque chose que l’on peut trouver ailleurs, c’est juste en interagissant avec le monde que l’on découvre ces choses. On obtient cette capacité de découvrir, comme l’un des projets sur lesquels j’ai travaillé, qui consistait à faire voler des ballons visibles dans la stratosphère, et nous avons vu des choses très similaires.

Nous avons vu des comportements émerger qui ont impressionné tout le monde et qui nous ont laissés perplexes, comme si nous n’avions jamais pensé à cela, mais c’est génial. Je pense que l’apprentissage par renforcement est particulièrement bien placé pour permettre de découvrir ce type de comportement, car vous interagissez, car dans un sens, l’une des choses vraiment difficiles est de faire face aux contre-faits, comme ce qui se serait passé si j’avais fait cela au lieu de ce que j’ai fait ? C’est un problème super difficile en général, mais dans de nombreux cas en intelligence artificielle, il n’y a rien que vous puissiez faire à ce sujet. Dans l’apprentissage par renforcement, vous pouvez, « Qu’est-ce qui se serait passé si j’avais fait cela ? » Eh bien, je vais essayer la prochaine fois que je vais vivre cela. Je pense que cet aspect interactif, je l’aime vraiment.

Bien sûr, je ne vais pas être hypocrite, je pense que beaucoup des applications cool qui en ont découlé les ont rendues très intéressantes. Comme remonter des décennies et des décennies en arrière, même lorsque nous parlons des premiers exemples de grands succès de l’apprentissage par renforcement, tout cela m’a rendu cela très attractif.

Quelle a été votre application historique préférée ?

Je pense qu’il y en a deux très célèbres, l’un est l’hélicoptère volant que Stanford a réalisé avec l’apprentissage par renforcement, et l’autre est TD-Gammon, qui est un joueur de backgammon devenu champion du monde. C’était dans les années 90, et donc c’était pendant mon doctorat, j’ai fait un stage à IBM avec Gerald Tesauro, et Gerald Tesauro était le responsable du projet TD-Gammon, donc c’était vraiment cool. C’est drôle parce que lorsque j’ai commencé à faire de l’apprentissage par renforcement, je ne savais pas vraiment ce que c’était. Lorsque j’ai postulé pour la fac, je me souviens que j’ai visité de nombreux sites web de professeurs parce que je voulais faire de l’apprentissage automatique, de manière très générale, et je lisais la description de la recherche de chacun, et je disais : « Oh, c’est intéressant. » Lorsque je regarde en arrière, sans connaître le domaine, j’ai choisi tous les professeurs célèbres en apprentissage par renforcement, mais pas parce qu’ils étaient célèbres, mais parce que la description de leur recherche m’a plu. Je disais : « Oh, ce site web est vraiment sympa, je veux travailler avec cet homme et cette femme », donc dans un sens, c’était…

Comme si vous les aviez trouvés de manière organique.

Exactement, donc lorsque je regarde en arrière, je disais : « Oh, ce sont les gens avec qui j’ai postulé pour travailler il y a longtemps », ou ce sont les papiers que j’ai lus avant de savoir ce que je faisais, je disais : « Oh, c’est quelque chose que je devrais lire », et cela m’a toujours ramené à l’apprentissage par renforcement.

Alors que vous étiez à Google Brain, vous avez travaillé sur la navigation autonome de ballons stratosphériques. Pourquoi était-ce un bon cas d’utilisation pour fournir un accès à Internet dans les zones difficiles d’accès ?

C’est quelque chose que je ne suis pas expert, c’est le pitch que Loon, la filiale d’Alphabet, a présenté. Lorsque nous essayons de fournir Internet à un grand nombre de personnes dans le monde, c’est que nous construisons une antenne, comme par exemple construire une antenne à Edmonton, et cette antenne nous permet de servir Internet à une région d’un rayon de cinq ou six kilomètres. Si vous placez une antenne au centre-ville de New York, vous servez des millions de personnes, mais imaginez que vous essayez de servir Internet à une tribu dans la forêt amazonienne. Peut-être que vous avez 50 personnes dans la tribu, le coût économique de mettre une antenne là-bas, c’est vraiment difficile, sans parler même d’accéder à cette région.

Sur le plan économique, cela ne vaut pas la peine de faire un investissement important dans une région difficile d’accès qui est très peu peuplée. L’idée des ballons était juste : « Mais qu’est-ce que nous pourrions faire si nous pouvions construire une antenne qui soit vraiment haute ? Qu’est-ce que nous pourrions faire si nous pouvions mettre un ballon là-bas ? » Et puis le ballon pourrait servir une région qui est d’un rayon 10 fois plus grand, ou si vous parlez de rayon, alors c’est une superficie 100 fois plus grande d’Internet. Si vous le placez là, disons au milieu de la forêt ou au milieu de la jungle, alors peut-être que vous pourriez servir plusieurs tribus qui autrement auraient besoin d’une antenne chacune.

Fournir un accès à Internet à ces zones difficiles d’accès était l’une des motivations. Je me souviens que la devise de Loon était de ne pas fournir Internet au prochain milliard de personnes, mais de fournir Internet au dernier milliard de personnes, ce qui était extrêmement ambitieux dans un sens. Ce n’est pas le prochain milliard, mais c’est juste les personnes les plus difficiles à atteindre.

Quels étaient les problèmes de navigation que vous essayiez de résoudre ?

La façon dont ces ballons fonctionnent est qu’ils ne sont pas propulsés, juste comme la façon dont les gens naviguent les ballons à air chaud, c’est-à-dire que vous allez soit monter, soit descendre et vous trouvez le courant de vent qui vous pousse dans une direction spécifique, puis vous suivez ce vent, et puis c’est comme si vous disiez : « Oh, je ne veux plus aller là », peut-être que vous montez ou que vous descendez et que vous trouvez un autre vent, etc. C’est ainsi que cela fonctionne également avec ces ballons. Ce n’est pas un ballon à air chaud, c’est un ballon à volume fixe qui vole dans la stratosphère.

Tout ce qu’il peut faire d’un point de vue navigationnel est de monter, de descendre ou de rester où il est, et puis il doit trouver des vents qui vont le faire aller où il veut être. Dans ce sens, c’est ainsi que nous naviguions, et il y a tellement de défis, en fait. Le premier est que, en parlant de formulation d’abord, vous voulez être dans une région, servir Internet, mais vous voulez également vous assurer que ces ballons sont alimentés par l’énergie solaire, que vous conservez l’énergie. Il y a ce problème d’optimisation multi-objectif, pour ne pas seulement vous assurer que je suis dans la région que je veux être, mais que je suis également efficace en termes d’énergie, etc. C’est la première chose.

Ceci était le problème lui-même, mais lorsque vous regardez les détails, vous ne savez pas à quoi ressemblent les vents, vous savez à quoi ressemblent les vents où vous êtes, mais vous ne savez pas à quoi ressemblent les vents 500 mètres au-dessus de vous. Vous avez ce que nous appelons en IA une observabilité partielle, donc vous n’avez pas ces données. Vous pouvez avoir des prévisions, et il y a des papiers écrits à ce sujet, mais les prévisions peuvent souvent être à 90 degrés faux. C’est un problème vraiment difficile dans le sens de la façon dont vous gérez cette observabilité partielle, c’est un problème extrêmement à haute dimensionnalité parce que nous parlons de centaines de couches de vent, et puis vous devez considérer la vitesse du vent, la direction du vent, la façon dont nous avons modélisé, à quel point nous sommes confiants dans cette prévision de l’incertitude.

Ceci rend le problème très difficile à gérer. L’une des choses qui nous ont le plus posé problème dans ce projet est que, après que tout ait été fait, etc., c’était comme si nous avions résolu le problème. Nous étions vraiment intelligents, les ingénieurs de Loon nous ont regardés avec un sourire en coin, comme si nous n’avions pas résolu le problème, qu’il était trop difficile, et nous leur avons dit : « Non, nous l’avons résolu, nous l’avons absolument résolu, regardez, nous avons 100 % de précision. » Comme si nous avions résolu le problème, mais en fait, le ballon, l’algorithme d’apprentissage par renforcement avait appris à aller au centre de la région, et puis il allait monter, et monter, et puis le ballon éclatait, et puis le ballon descendait et il était à l’intérieur de la région pour toujours. Ils nous ont dit : « C’est clairement pas ce que nous voulons », mais alors, bien sûr, c’était une simulation, mais alors nous leur avons demandé : « Comment pouvons-nous résoudre cela ? » Ils nous ont dit : « Eh bien, il y a quelques choses, mais l’une des choses, nous devons nous assurer que le ballon ne peut pas monter au-dessus du niveau où il va éclater. »

Ces contraintes dans le monde réel, ces aspects de la façon dont votre solution interagit avec d’autres choses, il est facile de les négliger lorsque vous êtes juste un chercheur en apprentissage par renforcement qui travaille sur des jeux, et puis lorsque vous allez dans le monde réel, vous êtes comme : « Oh, attends, ces choses ont des conséquences, et je dois en être conscient. » Je pense que c’est l’une des principales difficultés.

Je pense que l’autre chose, c’est que le cycle de ces expériences est vraiment long, comme dans un jeu, je peux juste appuyer sur le bouton « Lecture ». Dans le pire des cas, après une semaine, j’ai des résultats, mais alors si je dois vraiment faire voler des ballons dans la stratosphère, nous avons cette expression que j’aime utiliser dans mes discours, c’est-à-dire que nous testons A/B la stratosphère, parce que finalement, après que nous avons la solution et que nous sommes confiants avec elle, nous voulons nous assurer qu’elle est réellement meilleure. Nous avons obtenu 13 ballons, je pense, et nous les avons fait voler dans l’océan Pacifique pendant plus d’un mois, parce que c’est le temps qu’il nous a fallu pour valider que tout ce que nous avions trouvé était réellement meilleur. L’échelle de temps est très différente également, donc vous n’avez pas autant d’occasions d’essayer des choses.

Contrairement aux jeux, il n’y a pas un million d’itérations du même jeu en cours d’exécution simultanément.

Oui. Nous avions cela pour la formation parce que nous utilisions une simulation, même si, encore une fois, le simulateur est beaucoup plus lent que n’importe quel jeu que vous pourriez avoir, mais nous avons pu gérer cela sur le plan ingénierie. Lorsque vous le faites dans le monde réel, c’est différent.

Quelle est votre recherche actuelle ?

Je suis maintenant à l’Université de l’Alberta, et j’ai un groupe de recherche ici avec de nombreux étudiants. Mes recherches sont beaucoup plus diversifiées dans un sens, parce que mes étudiants me permettent de le faire. Une chose qui me passionne particulièrement, c’est cette notion d’apprentissage continu. Ce qui se passe, c’est que presque chaque fois que nous parlons d’apprentissage automatique en général, nous allons faire un calcul en utilisant un simulateur, ou en utilisant un ensemble de données et en traitant les données, et nous allons apprendre un modèle d’apprentissage automatique, et nous allons déployer ce modèle et nous espérons qu’il fonctionne bien, et c’est bien. Beaucoup de fois, c’est exactement ce dont vous avez besoin, beaucoup de fois, c’est parfait, mais parfois, ce n’est pas le cas, parce que parfois, les problèmes du monde réel sont trop complexes pour que vous puissiez vous attendre à ce qu’un modèle, peu importe sa taille, soit capable d’intégrer tout ce que vous voulez, toutes les complexités du monde, donc vous devez vous adapter.

L’un des projets sur lesquels je travaille, par exemple, ici à l’Université de l’Alberta, est une usine de traitement de l’eau. Fondamentalement, il s’agit de savoir comment mettre au point des algorithmes d’apprentissage par renforcement qui peuvent soutenir d’autres humains dans le processus de prise de décision, ou comment le faire de manière autonome pour le traitement de l’eau ? Nous avons les données, nous pouvons voir les données, et parfois, la qualité de l’eau change en quelques heures, donc même si vous dites que « Chaque jour, je vais former mon modèle d’apprentissage automatique à partir de la journée précédente, et je vais le déployer dans les heures qui suivent », ce modèle n’est plus valable, car il y a un décalage de données, il n’est pas stationnaire. Il est vraiment difficile de modéliser ces choses, car peut-être qu’il y a un incendie de forêt en amont, ou peut-être que la neige commence à fondre, donc vous devez modéliser le monde entier pour être capable de faire cela.

Personne ne le fait, nous ne le faisons pas en tant qu’êtres humains, donc ce que nous faisons, c’est nous adapter, nous apprenons à faire autre chose. Je pense qu’il y a beaucoup de publications, principalement celles du monde réel, qui nécessitent que vous appreniez en continu et pour toujours, et ce n’est pas la façon standard dont nous parlons d’apprentissage automatique. Beaucoup de fois, nous parlons de « Je vais faire un grand calcul, et je vais déployer un modèle », et peut-être que je vais déployer le modèle pendant que je fais encore un calcul, parce que je vais déployer un modèle dans quelques jours ou semaines, mais parfois, l’échelle de temps de ces choses ne fonctionne pas.

La question est : « Comment pouvons-nous apprendre en continu et pour toujours, de telle sorte que nous soyons juste en train de nous améliorer et de nous adapter ? » Et c’est vraiment difficile. Nous avons quelques papiers à ce sujet, comme notre machinerie actuelle n’est pas capable de le faire, comme beaucoup de solutions que nous avons qui sont les meilleures dans le domaine, si vous faites juste que quelque chose apprenne en continu au lieu de s’arrêter et de déployer, les choses deviennent vraiment mauvaises. C’est l’une des choses qui me passionnent, je pense que c’est l’un des fronts de recherche que nous avons, c’est cet aspect de l’apprentissage continu.

Je pense que l’une des choses que l’apprentissage par renforcement est particulièrement bien adapté à faire, c’est que beaucoup de nos algorithmes traitent les données au fur et à mesure qu’elles arrivent, et donc beaucoup d’algorithmes sont naturellement faits pour apprendre. Cela ne signifie pas qu’ils le font ou qu’ils sont bons à cela, mais nous n’avons pas à nous poser de questions, et je pense qu’il y a beaucoup de questions de recherche intéressantes à ce sujet.

Quelles sont les applications futures utilisant cet apprentissage continu qui vous passionnent le plus ?

C’est la question à un milliard de dollars, parce que, dans un sens, en tant que chercheur, j’ai pu poser les bonnes questions, je pense que dans notre domaine d’apprentissage par renforcement, beaucoup de fois, j’aime être conduit par des problèmes. C’est juste comme : « Oh, regardez, nous avons ce défi, maintenant nous devons essayer de résoudre ce problème », et puis au fur et à mesure que nous avançons, nous faisons des progrès scientifiques. Actuellement, je travaille avec d’autres chercheurs comme Adam White, Martha White sur ce projet, qui est mené par eux sur cette usine de traitement de l’eau. C’est quelque chose qui me passionne vraiment, parce que c’est quelque chose qui est vraiment difficile à décrire avec des mots, dans un sens, c’est juste comme si c’était pas facile à décrire.

Cela nécessite cet aspect d’apprentissage continu, comme je le disais, vous avez l’eau qui change souvent, que ce soit la turbidité, que ce soit sa température, etc. Cela opère à des échelles de temps différentes. Je pense que c’est inévitable que nous devions apprendre en continu. Cela a un impact social énorme, il est difficile d’imaginer quelque chose de plus important que de fournir de l’eau potable à la population, et parfois, cela compte beaucoup. Parce que c’est facile de négliger le fait que, parfois, au Canada, par exemple, lorsque nous allons dans ces régions plus reculées, comme dans le nord, etc., parfois, nous n’avons même pas d’opérateur pour exploiter une usine de traitement de l’eau. Ce n’est pas que cela doive nécessairement remplacer les opérateurs, mais c’est pour nous donner le pouvoir de faire les choses que nous ne pouvons pas faire autrement, parce que nous n’avons pas le personnel ou la force de le faire.

Je pense que cela a un énorme impact social, c’est un problème de recherche extrêmement difficile. Nous n’avons pas de simulateur, nous n’avons pas les moyens de le procurer, donc alors nous devons utiliser les meilleures données, nous devons apprendre en ligne, il y a beaucoup de défis là-dedans, et c’est l’une des choses qui me passionnent. Une autre chose, et ce n’est pas quelque chose que j’ai fait beaucoup, mais une autre chose est la climatisation des bâtiments, et encore une fois, en pensant au temps, au climat, et aux choses sur lesquelles nous pouvons avoir un impact, souvent, c’est juste : « Comment allons-nous décider de la façon de refroidir un bâtiment ? » Comme ce bâtiment que nous avons ici aujourd’hui avec des centaines de personnes, c’est très différent de ce que c’était la semaine dernière, et allons-nous utiliser exactement la même politique ? Au maximum, nous avons un thermostat, donc nous sommes comme : « Oh, il fait chaud, nous pouvons probablement être plus malins à ce sujet et nous adapter », encore une fois, et parfois, il y a beaucoup de monde dans une pièce, et pas dans l’autre.

Il y a beaucoup d’occasions de contrôler des systèmes qui sont à haute dimension, très difficiles à gérer dans notre esprit, que nous pouvons probablement faire beaucoup mieux que les approches standard que nous avons actuellement dans le domaine.

Dans certains endroits, jusqu’à 75 % de la consommation d’énergie est littéralement due aux unités de climatisation, donc cela a beaucoup de sens.

Exactement, et je pense que beaucoup de cela, dans les maisons, il y a déjà des produits qui font de l’apprentissage automatique et qui apprennent des clients. Dans ces bâtiments, vous pouvez avoir une approche beaucoup plus fine, comme en Floride, au Brésil, il y a beaucoup d’endroits qui ont ce besoin. La climatisation des centres de données, c’est une autre chose également, il y a des entreprises qui commencent à le faire, et cela ressemble presque à la science-fiction, mais il y a la capacité d’apprendre en continu et de s’adapter à mesure que le besoin se présente. Cela peut avoir un impact énorme sur ces problèmes de contrôle qui sont à haute dimension et ainsi de suite, comme lorsque nous faisions voler les ballons. Par exemple, l’une des choses que nous avons pu montrer, c’est exactement comment l’apprentissage par renforcement, et en particulier l’apprentissage par renforcement profond, peut apprendre des décisions basées sur des capteurs qui sont beaucoup plus complexes que ce que les humains peuvent concevoir.

Juste par définition, vous regardez comment un humain concevrait une courbe de réponse, comme si c’était probablement linéaire, quadratique, etc., mais lorsque vous avez un réseau de neurones, il peut apprendre toutes les non-linéarités qui font qu’il prend une décision beaucoup plus fine, qui parfois est très efficace. Merci pour cette interview incroyable, les lecteurs qui souhaitent en savoir plus devraient visiter les ressources suivantes :

• Conférence Upper Bound AI.
• Amii (Institut de l’intelligence machinique de l’Alberta)