Marlos C. Machado, adjungeret professor ved University of Alberta, Amii-forsker og indehaver af et CIFAR AI-professorat – interviewserie

Marlos C. Machado er tilknyttet Alberta Machine Intelligence Institute (Amii) som Fellow in Residence, er adjungeret professor ved University of Alberta og Amii-fellow med en Canada CIFAR AI Chair. Hans forskning handler især om forstærkningslæring. Han tog sin bachelor- og kandidatgrad ved UFMG i Brasilien og sin ph.d. ved University of Alberta, hvor han udbredte idéen om tidsmæssigt udstrakt udforskning gennem såkaldte options.

Han var forsker ved DeepMind fra 2021 til 2023 og ved Google (GOOGL ) Brain fra 2019 til 2021. Her bidrog han væsentligt til forstærkningslæring, især brugen af dyb forstærkningslæring til at styre Loons balloner i stratosfæren. Hans arbejde er publiceret ved førende AI-konferencer og i tidsskrifter som Nature, JMLR, JAIR, NeurIPS, ICML, ICLR og AAAI og omtalt af BBC, Bloomberg TV, The Verge og Wired.

Vi mødtes til et interview ved den årlige AI-konference Upper Bound i Edmonton, Alberta, i 2023, arrangeret af Amii (Alberta Machine Intelligence Institute).

Du fokuserer især på forstærkningslæring. Hvad tiltrækker dig ved denne form for maskinlæring?

Jeg kan lide idéen om at lære gennem interaktion. Det virker naturligt og på en måde som menneskers læring. Jeg vil ikke menneskeliggøre AI, men intuitivt prøver man noget, oplever gode og dårlige resultater og lærer at gøre det, der giver bedre resultater. Det fascinerer mig, at agenten faktisk interagerer med verden og kan opstille og afprøve en hypotese.

Det gør det muligt at opdage ny adfærd. Et berømt eksempel er AlphaGos træk 37, som dokumentaren beskriver som kreativitet. Ingen havde set det før, og det forbavsede os alle. Det var ikke fundet i eksisterende materiale, men opdaget gennem interaktion. Vi så lignende ting i mit projekt med balloner i stratosfæren.

Der opstod adfærd, som imponerede alle: Den havde vi aldrig tænkt på, men den var genial. Forstærkningslæring er særlig velegnet til sådanne opdagelser, fordi man kan interagere. Et svært spørgsmål er det kontrafaktiske: Hvad var der sket, hvis jeg havde gjort noget andet? I mange maskinlæringsforsøg kan man ikke gøre noget ved det. Med forstærkningslæring kan man prøve alternativet næste gang situationen opstår. Jeg kan virkelig godt lide dette interaktive aspekt.

Og jeg vil ikke foregive, at de spændende anvendelser ikke også tiltrækker mig. Allerede de første store succeser for årtier siden gjorde området interessant.

Hvilken tidlig anvendelse er din favorit?

Der er to berømte eksempler: helikopteren, som Stanford styrede med forstærkningslæring, og backgammonprogrammet TD-Gammon, der nåede verdensmesterniveau i 1990’erne. Under min ph.d. sørgede jeg derfor for at komme i praktik hos IBM med Gerald Tesauro, som ledede TD-Gammon. Det var virkelig spændende.

Det sjove er, at jeg i begyndelsen ikke helt vidste, hvad forstærkningslæring var. Da jeg søgte en forskeruddannelse, vidste jeg bare, at jeg ville arbejde med maskinlæring. Jeg læste professorers forskningsbeskrivelser på mange hjemmesider og tænkte, at nogle lød interessante. Set i bakspejlet valgte jeg områdets kendte professorer uden at kende feltet, ikke fordi de var berømte, men fordi forskningen appellerede til mig. Jeg så en god hjemmeside og fik lyst til at arbejde med den pågældende forsker.

Så du fandt frem til dem helt naturligt.

Præcis. Når jeg ser tilbage, var det netop de mennesker, jeg søgte om at arbejde med for længe siden. Selv før jeg vidste, hvad jeg lavede, læste jeg beskrivelser af andres forskning i artikler og tænkte, at det burde jeg læse. Interessen førte hele tiden tilbage til forstærkningslæring.

Hos Google Brain arbejdede du med autonom navigation af balloner i stratosfæren. Hvorfor var det velegnet til at give svært tilgængelige områder internet?

Jeg er ikke ekspert i den del; det var idéen bag Loon, et datterselskab af Alphabet (GOOG ). Normalt bygger man en antenne, for eksempel i Edmonton, som dækker en radius på fem-seks kilometer. I New Yorks centrum kan den betjene millioner. Men en gruppe på måske 50 mennesker i Amazonas er dyr at nå med en antenne, og selve adgangen til området er vanskelig.

Økonomisk giver en stor investering i infrastruktur i et svært tilgængeligt, tyndtbefolket område ikke mening. Tanken var derfor: Hvad hvis antennen var 20 kilometer høj? Sådan en kan vi ikke bygge, men vi kan placere en ballon deroppe. Hvis radius bliver ti gange større, bliver arealet hundrede gange større. En ballon midt i skoven kan måske betjene flere grupper, der ellers hver kræver en antenne.

Det var en af motivationerne. Loons motto var ikke internet til den næste milliard mennesker, men til den sidste milliard, altså de vanskeligste at nå. Det var meget ambitiøst.

Hvilke navigationsproblemer skulle I løse?

Ballonerne har ingen fremdrift. Man navigerer ligesom i en varmluftballon ved at stige eller synke og finde en vind, der blæser i den ønskede retning. Vil man en anden vej, skifter man højde og finder en anden luftstrøm. Men dette er ikke en varmluftballon; det er en ballon med fast volumen i stratosfæren.

Navigationsmæssigt kan den kun stige, synke eller blive i samme højde og må finde passende vinde. Der er mange udfordringer. Den skal være i det område, hvor den leverer internet, og samtidig bevare strømmen fra solcellerne. Det er et optimeringsproblem med flere mål: både korrekt position og energieffektivitet.

Man kender vinden dér, hvor ballonen er, men ikke 500 meter højere oppe. Det er delvis observerbarhed. Der findes prognoser, men vindretningen kan være op til 90 grader forkert. Problemet er højdimensionalt: hundredvis af vindlag, hastighed, retning, modellering og usikkerheden i prognosen.

Det er svært at overskue og også svært at formidle, hvor vanskeligt det er. Man ser ikke alle dimensionerne på en skærm. Man må forholde sig til vindene og tidspunktet for seneste måling samtidig med strøm, tidspunkt på dagen og ønsket position. Det er meget på én gang.

Hvad lærer maskinlæringen? Er det blot vindmønstre og temperatur?

Vi havde en maskinlæringsmodel af vindene, men den var ikke baseret på forstærkningslæring. Loon havde historiske data fra forskellige højder og byggede modellen før Google Brain kom med. Jeg var ikke selv involveret i den del. Modellen skulle også interpolere mellem højderne.

Man kunne vide, hvordan vinden var for to år siden i en bestemt højde, men ikke ti meter højere oppe. En gaussisk proces blev lagt ovenpå, og der findes artikler om modellens kvalitet. Fra vores forstærkningslæringsperspektiv havde vi både en god simulator af ballonens dynamik og denne vindsimulator. Vi kunne lade, som om vi var i 2010. Vi havde grove globale vinddata fra året, og med maskinlæringsmodellen og den gaussiske proces kunne vi udfylde billedet, tilføje støj og lave forskellige variationer.

Med ballonens dynamik og vindene i en simuleret fortid havde vi altså en simulator.

Som en digital tvilling tilbage i tiden.

Præcis. Vi lavede en belønningsfunktion for at holde ballonen ved målet og være nogenlunde energieffektiv. Ballonen lærte ved at interagere med denne verden. Vi kunne gøre det ved at bruge fortiden, fordi vi ikke ellers ved, hvordan vi fuldt ud modellerer vejr og vind. Så lærte vi at navigere: Skal jeg stige, synke eller blive? Ud fra alt omkring mig er målet at levere internet til området.

Hvilke udfordringer er der ved forstærkningslæring i den virkelige verden sammenlignet med spil?

Der er flere. Det handler ikke nødvendigvis om spil mod virkelighed, men om grundforskning og anvendt forskning. Man kan også lave anvendt forskning til et spil, som skal ud til millioner af brugere. En hovedudfordring er ingeniørarbejdet. Spil bruges som forskningsmiljø, fordi de indeholder mange egenskaber, vi interesserer os for, men under mere veldefinerede begrænsninger. Vi kan forske og validere læringen i et mere afgrænset miljø, som vi forstår bedre.

Forskningen behøver ikke være helt anderledes, men virkeligheden giver ekstra udfordringer, herunder sikkerhed. Vi skulle sikre, at ballonen ikke gjorde noget dumt, og at agenten ikke lærte en uforudset adfærd med dårlige konsekvenser. Det var en af vores største bekymringer. I et spil er det værste normalt, at man taber.

En anden udfordring er hele produktets tekniske system. Som forsker alene kan man let afprøve noget i et computerspil. I et færdigt produkt kan man ikke bare gøre, hvad man vil; man må forstå resten af systemet. Holdets størrelse er også anderledes. Loon havde snesevis, måske hundredvis af medarbejdere. Vi arbejdede med få af dem, men der var også et kontrolrum, som talte med luftfartspersonale.

Der var mange flere interessenter. Ud over teknik og sikkerhed holder algoritmernes antagelser ikke altid i virkeligheden, og det må man håndtere. Verden er mindre venlig end et snævert afgrænset spil.

Jeg elsker dette eksempel: Vi fik materialet, arbejdede i en uge eller to og vendte tilbage til Loons ingeniører med beskeden om, at vi havde løst problemet med 100% nøjagtighed. De smilede skeptisk og sagde, at det var umuligt, fordi de nødvendige vinde nogle gange ikke findes.

Det viste sig, at algoritmen havde lært at flyve ballonen ind i områdets centrum og derefter højere og højere, indtil den sprang. Så faldt den ned og blev i området for altid. Det var selvfølgelig ikke den ønskede løsning. Det skete i simulationen, og en af rettelserne var at sikre, at ballonen ikke kunne stige over den højde, hvor den ville sprænge.

Sådanne virkelige begrænsninger og samspillet med andre ting er lette at overse, når man forsker i spil. I virkeligheden har handlinger konsekvenser, som man skal være opmærksom på. Det er en væsentlig vanskelighed.

Forsøgscyklussen er også meget længere. I et spil trykker jeg på start og har måske resultater efter en uge. Men for at teste balloner i stratosfæren måtte vi lave det, jeg kalder A/B-test af stratosfæren. Efter at have fået en løsning, vi stolede på, skulle vi vise en statistisk forbedring. Jeg mener, vi fløj 13 balloner over Stillehavet i mere end en måned for at validere den. Tidsskalaen giver langt færre muligheder for at prøve noget af.

I modsætning til spil kan man ikke køre en million udgaver af samme forsøg samtidigt.

Nej. Under træningen kunne vi bruge simulation, selv om simulatoren var meget langsommere end et spil. Det kunne vi håndtere teknisk. I den virkelige verden er det anderledes.

Hvad forsker du i nu?

Jeg er på University of Alberta med en forskningsgruppe og mange studerende. De gør det muligt at arbejde bredere. Jeg er især optaget af kontinuerlig læring. Normalt laver vi beregninger med en simulator eller et datasæt, træner en model, tager den i brug og håber, at den virker. Det er ofte præcis det rigtige. Men nogle gange er verden så kompleks, at ingen model, uanset størrelse, kan indfange alt. Så må den tilpasse sig.

Et projekt her handler om et vandbehandlingsanlæg: Hvordan kan forstærkningslæring støtte menneskers beslutninger eller styre vandbehandlingen autonomt? Vi har data, men vandkvaliteten kan ændre sig på få timer. Selv en model trænet på gårsdagens data og taget i brug hver dag kan være ugyldig få timer senere, fordi data ændrer sig og ikke er stationære. Det kan skyldes en skovbrand opstrøms eller smeltende sne. Man skulle modellere hele verden for at indfange alt.

Det gør ingen, heller ikke mennesker. Vi tilpasser os og lærer videre, når det gamle ikke længere virker. Mange virkelige anvendelser kræver konstant læring, men det er ikke standardmåden at tale om maskinlæring på. Vi forestiller os ofte en stor beregning, en udrullet model og måske en ny model efter dage eller uger. Undertiden passer den tidsskala ikke til problemet.

Spørgsmålet er, hvordan vi kan lære videre uden ophør og blive bedre til at tilpasse os. Det er meget svært. Vi har artikler om det, og vores nuværende metoder kan ikke gøre det tilstrækkeligt godt. Selv førende løsninger forværres hurtigt, hvis man lader dem lære videre frem for at stoppe og tage en fast model i brug. Efter mange succeser med faste modeller, som vi fortsat vil bruge, er kontinuerlig læring en af områdets forskningsgrænser.

Forstærkningslæring er særlig relevant, fordi mange algoritmer allerede behandler data, efterhånden som de kommer. De passer derfor naturligt til løbende læring, uden at det betyder, at de allerede kan eller er gode til det. Der er mange interessante forskningsspørgsmål.

Hvilke fremtidige anvendelser af kontinuerlig læring begejstrer dig mest?

Det er milliardspørgsmålet, for jeg leder netop efter anvendelserne. At stille de rigtige spørgsmål er mere end halvdelen af forskningsarbejdet. Jeg lader gerne konkrete problemer drive arbejdet: Vi har eksempelvis fem balloner i stratosfæren, så hvordan løser vi det? Undervejs skaber man videnskabelige fremskridt. Jeg arbejder med Adam White og Martha White på vandbehandlingsprojektet, som de leder. Det er spændende, fordi problemet er svært bare at beskrive sprogligt; de aktuelle succeser med sprog kan ikke uden videre bruges her.

Vandet ændrer sig ofte, både uklarhed og temperatur, og på forskellige tidsskalaer. Derfor må vi lære kontinuerligt. Samfundsbetydningen er enorm: Det er svært at forestille sig noget vigtigere end rent drikkevand. I tyndtbefolkede områder, for eksempel i det nordlige Canada, mangler der somme tider selv en operatør til anlægget. Målet er ikke nødvendigvis at erstatte operatører, men at muliggøre noget, vi ellers ikke har personale eller kræfter til.

Det er et meget vanskeligt forskningsproblem med stor mulig effekt. Vi har ingen simulator og ikke mulighed for at anskaffe en, så vi må udnytte data bedst muligt og lære online. Et andet område, som jeg ikke selv har arbejdet meget med, er køling af bygninger. Det handler også om vejr og klimaforandringer. Hvordan bestemmer vi kølingen? Her er hundredvis af mennesker i dag, modsat sidste uge. Skal vi bruge samme strategi? Ofte har vi højst en termostat. Vi kunne være klogere og tilpasse os, også når der er mange mennesker i ét rum og få i et andet.

Højdimensionale kontrolsystemer, som er svære at overskue, rummer mange muligheder for at gøre det bedre end nutidens standardmetoder.

Nogle steder står klimaanlæg bogstaveligt talt for op til 75% af strømforbruget, så det giver god mening.

Præcis. Der findes allerede produkter i hjemmet, som bruger maskinlæring og lærer af kunderne. I store bygninger kan man styre meget mere detaljeret. Florida, Brasilien og mange andre steder har behovet. Køling af datacentre er et andet eksempel, som nogle virksomheder er begyndt at arbejde med. Det lyder næsten som science fiction, men løbende læring og tilpasning efter behov kan få stor betydning for højdimensionale kontrolproblemer.

Ligesom med ballonerne viste vi, at forstærkningslæring, især dyb forstærkningslæring, kan lære beslutninger ud fra sensorer, der er langt mere komplekse end det, mennesker kan designe. Et menneske vælger måske en lineær eller kvadratisk responskurve. Et neuralt netværk kan lære alle ikke-lineariteterne og dermed træffe mere detaljerede og undertiden meget effektive beslutninger.

Tak for det spændende interview. Læsere, der vil vide mere, kan besøge disse ressourcer:

• Upper Bound AI-konferencen.
• Amii (Alberta Machine Intelligence Institute)