Marlos C. Machado, Adjunktprofessor ved University of Alberta, Amii Fellow, CIFAR AI Chair – Interviewserie

Marlos C. Machado er en Fellow i Residence ved Alberta Machine Intelligence Institute (Amii), en adjunktprofessor ved University of Alberta og en Amii-fellow, hvor han også har en Canada CIFAR AI Chair. Marlos’ forskning fokuserer hovedsageligt på problemet med forstærkninglæring. Han modtog sin B.Sc. og M.Sc. fra UFMG i Brasilien og sin Ph.D. fra University of Alberta, hvor han populariserede ideen om tidsmæssigt udvidet udforskning gennem muligheder.

Han var forsker ved DeepMind fra 2021 til 2023 og ved Google (GOOGL ) Brain fra 2019 til 2021, hvor han bidrog væsentligt til forstærkninglæring, især anvendelsen af dyb forstærkninglæring til kontrol af Loons stratosfæriske balloner. Marlos’ arbejde er blevet offentliggjort i førende konferencer og tidsskrifter inden for AI, herunder Nature, JMLR, JAIR, NeurIPS, ICML, ICLR og AAAI. Hans forskning er også blevet fremhævet i populære medier som BBC, Bloomberg TV, The Verge og Wired.

Vi satte os ned til en interview ved den årlige 2023 Upper Bound-konference om AI, der blev afholdt i Edmonton, AB, og arrangeret af Amii (Alberta Machine Intelligence Institute).

Dit primære fokus har været på forstærkninglæring, hvad er det, der tiltrækker dig til denne type maskinlæring?

Det, jeg kan lide ved forstærkninglæring, er dette begreb, det er en meget naturlig måde, på mit synspunkt, at lære, nemlig at lære gennem interaktion. Det føles, som om det er, hvordan vi lærer som mennesker, i en vis forstand. Jeg kan lide ikke at antropomorfisere AI, men det er bare, som om det er en intuitiv måde at lære på, hvor du prøver ting af, nogle ting føles godt, og nogle ting føles dårligt, og du lærer at gøre de ting, der gør dig bedre.

En af de ting, jeg er fascineret af ved forstærkninglæring, er, at fordi du interagerer med verden, kan du komme op med en hypotese og teste den. Årsagen til, at dette er vigtigt, er, at det tillader opdagelse af nye adfærdsmønstre. For eksempel er en af de mest berømte eksempler AlphaGo, det 37. træk, der tales om i dokumentaren, som var noget, der aldrig var set før, og som efterlod os alle målløse.

Vi så lignende adfærdsmønstre opstå, da jeg arbejdede på et projekt om at flyve synlige balloner i stratosfæren, og det var noget, der imponerede alle.

Hvad var dit yndlingshistoriske anvendelse?

Jeg synes, der er to meget berømte eksempler, det ene er det flyvende helikopter, der blev lavet på Stanford med forstærkninglæring, og det andet er TD-Gammon, som er en backgammon-spiller, der blev verdensmester. Dette var tilbage i 90’erne, og da jeg var på mit PhD, sikrede jeg, at jeg fik en praktikplads hos IBM med Gerald Tesauro, og Gerald Tesauro var lederen af TD-Gammon-projektet, så det var noget, der virkede rigtig fedt.

Mens du var hos Google Brain, arbejdede du på autonom navigation af stratosfæriske balloner. Hvorfor var dette et godt anvendelsesområde for at give internetadgang til svært tilgængelige områder?

Det er noget, jeg ikke er ekspert i, men det var idéen bag Loon, som var en datterselskab af Alphabet. Når vi ser på, hvordan vi giver internetadgang til mange mennesker i verden, er det typisk, at vi bygger en antenne, som for eksempel i Edmonton, og denne antenne kan give internetadgang til et område med en radius på fem eller seks kilometer.

Hvis du placerer en antenne i centrum af New York, kan du give internetadgang til millioner af mennesker, men hvis du prøver at give internetadgang til en stamme i Amazonas, kan det være svært at bygge en antenne der, og det kan være meget dyrt.

Tanken bag ballonerne var, at hvis vi kunne bygge en antenne, der var rigtig høj, kunne vi give internetadgang til et større område. Vi kan ikke bygge en antenne, der er 20 kilometer høj, men vi kan placere en ballon der, og den kan give internetadgang til et område med en radius, der er 10 gange større.

At give internetadgang til disse svært tilgængelige områder var en af motiverne. Jeg husker, at Loons motto var ikke at give internetadgang til de næste milliarder mennesker, men til de sidste milliarder mennesker, hvilket var meget ambitiøst.

Hvad var de navigationsproblemer, du prøvede at løse?

Disse balloner fungerer, så de ikke er fremdrevne, men de kan gå op eller ned og finde en vindstrøm, der blæser i en bestemt retning, og så kan de ride på den vind. Dette er, hvordan de navigerer, og der er mange udfordringer.

En af de første udfordringer er, at vi ikke kender vindforholdene, og vi har, hvad vi kalder i AI for delvis observabilitet, så vi har ikke alle data. Vi kan have vejrforskydninger, men de kan ofte være op til 90 grader forkerte.

Dette gør problemet meget svært at løse, og en af de ting, vi kæmpede mest med i dette projekt, var, hvordan vi kunne overføre, hvor svært problemet var, fordi det er svært at forstå.

Hvad er det, maskinlæringen lærer?

Vi havde en model af vindene, der var et maskinlæringsystem, men det var ikke forstærkninglæring. Vi havde historiske data om vindene på forskellige højder, og så byggede vi en maskinlæringsmodel oven på det.

Vi startede fra en forstærkninglæringsperspektiv, og vi havde en meget god simulator af ballonens dynamik og en vindsimulator. Så hvad vi gjorde, var, at vi gik tilbage i tiden og sagde, “Lad os prøve at lære at navigere i denne verden.”

Det er som en digital tvilling tilbage i tiden.

Præcis, vi designede en belønningsfunktion, der var at blive på målet og være lidt strømefficient, men vi designede denne belønningsfunktion, så ballonen kunne lære ved at interagere med denne verden.

Hvad er nogle af de udfordringer ved at implementere forstærkninglæring i den virkelige verden i modsætning til et spil?

Jeg synes, der er en couple af udfordringer. Jeg tror, at en af de største udfordringer er ingeniøren. Hvis du arbejder med spil, kan du validere læringen, men det er en mere veldefineret sæt af begrænsninger.

I den virkelige verden bringer det mange ekstra udfordringer med sig. Det handler om at implementere systemer som sikkerhedsbegrænsninger, og vi måtte sikre, at løsningen var sikker.

Hvad er dit nuværende forskningsprojekt?

Nu er jeg ved University of Alberta, og jeg har en forskningsgruppe her med mange studerende. Mit forskningsprojekt er meget mere diversificeret, fordi mine studerende giver mig mulighed for at gøre det. En af de ting, jeg er særligt begejstret for, er dette begreb om kontinuerlig læring.

En af de projekter, jeg er involveret i, er et vandbehandlingsanlæg. Det handler om, hvordan vi kan udvikle forstærkninglæringsalgoritmer, der kan støtte mennesker i beslutningsprocessen eller gøre det autonomt for vandbehandling.

Hvad er de fremtidige anvendelser med denne kontinuerlige læring, du er mest begejstret for?

Dette er den milliarddollarspørgsmål, fordi jeg som forsker har været i stand til at stille de rigtige spørgsmål. Jeg synes, at i vores forstærkninglæring er der mange spørgsmål, der er drevet af problemer.

Jeg arbejder med andre som Adam White og Martha White på dette projekt, der er ledt af dem på vandbehandlingsanlægget. Det er noget, jeg er rigtig begejstret for, fordi det er noget, der er rigtig svært at beskrive med sprog.

Det kræver denne kontinuerlige læring, som jeg sagde, og det har en enorm social impact, fordi det handler om at give drikkevand til befolkningen, og det kan have en stor betydning.

Tak for det fantastiske interview, læsere, der ønsker at lære mere, kan besøge følgende ressourcer:

• Upper Bound AI-konference.
• Amii (Alberta Machine Intelligence Institute)