Marlos C. Machado, Albertan yliopiston sivutoiminen professori, Amii-tutkija ja CIFAR AI -tutkimusprofessuurin haltija – haastattelusarja

Marlos C. Machado toimii Alberta Machine Intelligence Institutessa (Amii) Fellow in Residence -tutkijana, Albertan yliopiston sivutoimisena professorina sekä Amii-tutkijana, jolla on Canada CIFAR AI Chair -tutkimusprofessuuri. Hän tutkii erityisesti vahvistusoppimista. Hän suoritti kandidaatin- ja maisterintutkintonsa Brasilian UFMG:ssä ja tohtorintutkintonsa Albertan yliopistossa, missä hän teki tunnetuksi ajallisesti laajennetun tutkimisen niin sanottujen optioiden avulla.

Hän työskenteli tutkijana DeepMindissa vuosina 2021–2023 ja Google (GOOGL ) Brainissa vuosina 2019–2021. Hän edisti vahvistusoppimista erityisesti soveltamalla syvää vahvistusoppimista Loonin stratosfääripallojen ohjaukseen. Hänen töitään on julkaistu Nature-, JMLR- ja JAIR-lehdissä sekä NeurIPS-, ICML-, ICLR- ja AAAI-konferensseissa. Niistä ovat kertoneet myös BBC, Bloomberg TV, The Verge ja Wired.

Haastattelimme häntä vuoden 2023 vuotuisessa AI-konferenssissa Upper Bound Edmontonissa Albertassa. Tapahtuman järjestää Amii eli Alberta Machine Intelligence Institute.

Keskityt vahvistusoppimiseen. Mikä tässä koneoppimisen muodossa kiinnostaa sinua?

Pidän ajatuksesta oppia vuorovaikutuksessa. Se tuntuu luonnolliselta, jossain mielessä ihmisten oppimisen kaltaiselta. En halua inhimillistää tekoälyä, mutta intuitiivisesti kokeilet asioita, saat hyviä ja huonoja kokemuksia ja opit toimimaan parempien tulosten saavuttamiseksi. Minua kiehtoo, että agentti todella toimii maailmassa, voi esittää hypoteesin ja testata sen.

Se mahdollistaa uuden käyttäytymisen löytämisen. Kuuluisa esimerkki on AlphaGon siirto 37, jota dokumentissa kutsutaan luovaksi. Sitä ei ollut nähty ennen, ja se hämmästytti kaikki. Sitä ei löydetty valmiista aineistosta vaan vuorovaikutuksessa. Näimme samanlaista myös stratosfääripallojen projektissani.

Syntyi toimintatapoja, joita kukaan ei ollut ajatellut mutta jotka olivat nerokkaita. Vahvistusoppiminen sopii tällaisten löytämiseen juuri vuorovaikutuksen vuoksi. Vaikea kysymys on kontrafaktuaalinen: mitä olisi tapahtunut, jos olisin toiminut toisin? Monissa koneoppimisen tutkimusasetelmissa sitä ei voi kokeilla. Vahvistusoppimisessa voi testata vaihtoehdon seuraavan kerran samassa tilanteessa. Pidän tästä vuorovaikutteisuudesta.

En tietenkään kiellä kiinnostavien sovellusten vetovoimaa. Jo vuosikymmenten takaiset ensimmäiset menestykset tekivät alasta houkuttelevan.

Mikä varhainen sovellus on suosikkisi?

Kaksi kuuluisaa esimerkkiä ovat Stanfordin vahvistusoppimisella ohjaama helikopteri ja 1990-luvun TD-Gammon, maailmanmestariksi tullut backgammon-ohjelma. Tohtoriopintojeni aikana hakeuduinkin IBM:lle harjoitteluun Gerald Tesauron kanssa. Hän johti TD-Gammon-projektia, joten se oli hienoa.

Hassua kyllä en aluksi täysin tiennyt, mitä vahvistusoppiminen oli. Hakiessani jatko-opintoihin tiesin vain haluavani koneoppimisen pariin. Luin monien professorien tutkimuskuvauksia verkkosivuilta ja pidin joitakin kiinnostavina. Jälkikäteen huomasin valinneeni alan kuuluisat professorit tuntematta alaa, en heidän maineensa vaan kiinnostavien tutkimuskuvausten vuoksi. Näin hyvän sivuston ja halusin työskennellä sen tutkijan kanssa.

Löysit heidät siis luontevasti.

Aivan. Jälkikäteen kyse oli samoista ihmisistä, joiden kanssa olin hakenut työskentelemään jo kauan aiemmin. Jo ennen kuin tiesin tarkkaan, mitä olin tekemässä, luin toisten artikkeleissa kuvauksia tutkimuksesta ja ajattelin, että tämä pitäisi lukea. Se johdatti aina takaisin vahvistusoppimiseen.

Google Brainissa työskentelit stratosfääripallojen autonomisen navigoinnin parissa. Miksi se sopi internetin tuomiseen vaikeasti saavutettaville alueille?

En ole tämän puolen asiantuntija; se oli Alphabetin (GOOG ) tytäryhtiön Loonin ajatus. Yleensä rakennetaan antenni esimerkiksi Edmontoniin kattamaan viiden tai kuuden kilometrin säde. New Yorkin keskustassa se voi palvella miljoonia. Mutta Amazonin sademetsän ehkä 50 ihmisen yhteisölle antennin kustannuksia on vaikea perustella, ja alueelle pääsykin on hankalaa.

Suuri infrastruktuuri-investointi vaikeapääsyiselle, harvaan asutulle alueelle ei ole taloudellisesti järkevä. Ajatus oli tehdä hyvin korkea, vaikkapa 20 kilometrin antenni. Sellaista emme osaa rakentaa, mutta voimme viedä pallon sinne. Jos kattavuuden säde on kymmenkertainen, pinta-ala on satakertainen. Metsän keskellä yksi pallo voisi palvella useita yhteisöjä, jotka muuten tarvitsevat kukin oman antennin.

Tämä oli yksi motiiveista. Loonin tunnuslause ei ollut internet seuraavalle miljardille vaan viimeiselle miljardille ihmiselle, siis kaikkein vaikeimmin tavoitettaville. Se oli hyvin kunnianhimoista.

Millaisia navigointiongelmia ratkaisitte?

Palloissa ei ole työntövoimaa. Niitä ohjataan kuumailmapallon tapaan nousemalla tai laskemalla sopivaan tuuleen ja kulkemalla sen mukana. Kun suuntaa halutaan vaihtaa, etsitään toiselta korkeudelta toinen tuuli. Nämä eivät kuitenkaan ole kuumailmapalloja vaan tilavuudeltaan kiinteitä stratosfääripalloja.

Navigoinnissa ne voivat vain nousta, laskea tai pysyä samalla korkeudella ja etsiä sopivia tuulia. Haasteita on paljon. Pallon pitäisi olla internetiä palvelevalla alueella ja samalla säästää aurinkokennoista saatavaa sähköä. Kyse on monitavoitteisesta optimoinnista: oikeasta sijainnista ja energiatehokkuudesta.

Tiedät tuulen nykyisessä paikassa, mutta et 500 metriä ylempänä. Tätä sanotaan osittaiseksi havaittavuudeksi. Ennusteita on, mutta tuulen suunta voi olla jopa 90 astetta väärä. Ongelma on hyvin moniulotteinen: satoja tuulikerroksia, nopeus, suunta, mallinnus ja ennusteen epävarmuus.

Sitä on vaikea hahmottaa ja myös vaikea selittää muille. Kaikkia ulottuvuuksia ei näe ruudulla. On huomioitava tuulet ja viimeisen mittauksen ajankohta sekä sähkö, vuorokaudenaika ja haluttu paikka. Siinä on paljon yhtä aikaa.

Mitä koneoppimisjärjestelmä tutkii? Vain tuulimalleja ja lämpötilaa?

Meillä oli koneoppimiseen perustuva tuulimalli, mutta se ei käyttänyt vahvistusoppimista. Loon oli tehnyt sen historiallisista, eri korkeuksien tiedoista ennen Google Brainin tuloa. En itse ollut mukana siinä. Mallin piti myös interpoloida korkeuksien välillä.

Voit tietää, millainen tuuli oli kaksi vuotta sitten tietyllä korkeudella, mutta et kymmenen metriä ylempänä. Päälle lisättiin Gaussinen prosessi, ja mallinnuksen laadusta julkaistiin artikkeleita. Vahvistusoppimista varten meillä oli hyvä pallon dynamiikan simulaattori ja tämä tuulisimulaattori. Saatettiin kuvitella olevamme vuodessa 2010. Meillä oli karkeat maailmanlaajuiset tuulitiedot siltä vuodelta, ja koneoppimismallin sekä Gaussisen prosessin avulla täydensimme tuulilukemia. Lisäksi voitiin lisätä kohinaa ja muita vaihteluita.

Pallon dynamiikka, tuulet ja kuviteltu menneisyys muodostivat siis simulaattorin.

Kuin digitaalinen kaksonen menneessä ajassa.

Aivan. Suunnittelimme palkkiofunktion, joka kannusti pysymään kohteessa ja olemaan kohtuullisen energiatehokas. Pallo oppi vuorovaikutuksessa tämän maailman kanssa. Se onnistui käyttämällä menneisyyttä, koska muuten emme osaa täysin mallintaa säätä ja tuulia. Näin opittiin navigointi: nousenko, laskenko vai pysynkö? Kaiken ympärillä tapahtuvan keskellä tavoitteena on palvella alueen internetyhteyksiä.

Mitä haasteita vahvistusoppimisen käyttöönotossa on todellisessa maailmassa verrattuna peleihin?

Haasteita on useita. Ero ei välttämättä ole pelien ja todellisuuden vaan perustutkimuksen ja soveltavan tutkimuksen välillä. Soveltavaa tutkimusta voi tehdä miljoonille julkaistavaan peliinkin. Yksi suurimmista haasteista on tekninen toteutus. Pelejä käytetään tutkimusympäristöinä, koska niissä on kiinnostavia ominaisuuksia mutta selkeämmin rajatut ehdot. Niissä voi tutkia ja varmistaa oppimisen rajatussa ympäristössä, jonka ymmärrämme paremmin.

Tutkimuksen ei tarvitse olla täysin erilaista, mutta todellisuus tuo lisää haasteita, kuten turvallisuus. Piti varmistaa, ettei pallo tee mitään typerää eikä agentti opi ennakoimatonta, haitallista toimintaa. Tämä oli tärkeimpiä huoliamme. Pelissä pahimmillaan vain häviää.

Toinen haaste on tuotteen koko tekninen järjestelmä. Yksittäinen tutkija voi kokeilla helposti tietokonepelissä. Tuotteessa ei voi tehdä mitä tahansa, vaan on ymmärrettävä muu järjestelmä. Tiimin kokokin muuttuu. Loonilla oli kymmeniä, ehkä satoja työntekijöitä. Olimme tekemisissä pienen joukon kanssa, mutta siellä oli myös lennonvarmistushenkilöstön kanssa viestivä valvomo.

Sidosryhmiä on siis paljon enemmän. Tekniikan ja turvallisuuden lisäksi monet algoritmien oletukset eivät päde todellisuudessa, ja se on ratkaistava. Maailma ei ole yhtä ystävällinen kuin tiukasti rajattu peli.

Pidän tästä esimerkistä: saimme kaiken tarvittavan, työskentelimme viikon tai kaksi ja palasimme Loonin insinöörien luo väittäen ratkaisseemme ongelman sadan prosentin tarkkuudella. He hymyilivät epäuskoisesti: se on mahdotonta, koska sopivia tuulia ei aina ole.

Selvisi, että algoritmi oli oppinut viemään pallon alueen keskelle ja nousemaan yhä korkeammalle, kunnes pallo puhkesi. Se putosi alas ja pysyi alueella ikuisesti. Tätä ei tietenkään haluttu. Se tapahtui simulaatiossa, ja yksi korjaus oli estää palloa nousemasta puhkeamiskorkeuden yläpuolelle.

Tällaiset todelliset rajoitukset ja vuorovaikutukset muiden asioiden kanssa jäävät helposti huomaamatta pelitutkimuksessa. Todellisuudessa toiminnalla on seurauksia, jotka on huomioitava. Tämä on yksi tärkeimmistä vaikeuksista.

Myös kokeiden sykli on paljon pidempi. Pelissä painan käynnistystä ja saan pahimmillaan tulokset viikossa. Stratosfäärissä tarvittiin sitä, mitä kutsun stratosfäärin A/B-testaukseksi. Kun luotimme ratkaisuun, piti osoittaa sen olevan tilastollisesti parempi. Muistaakseni lennätimme 13 palloa Tyynenmeren yllä yli kuukauden validointia varten. Aikaskaala antaa paljon vähemmän kokeilumahdollisuuksia.

Toisin kuin peleissä, samaa koetta ei voi ajaa miljoonana rinnakkaisena versiona.

Niin. Koulutuksessa käytimme simulaatiota, vaikka simulaattori oli paljon hitaampi kuin peli. Sen pystyimme ratkaisemaan teknisesti. Todellisessa maailmassa tilanne on toinen.

Mitä tutkit nyt?

Olen Albertan yliopistossa ja johdan tutkimusryhmää, jossa on paljon opiskelijoita. He mahdollistavat monipuolisemman tutkimuksen. Erityisesti minua kiinnostaa jatkuva oppiminen. Yleensä teemme laskentaa simulaattorilla tai aineistolla, koulutamme mallin, otamme sen käyttöön ja toivomme sen toimivan. Usein se on juuri oikea tapa. Mutta joskus maailma on niin monimutkainen, ettei minkään kokoinen malli voi sisällyttää kaikkea. Silloin on sopeuduttava.

Yksi projektimme koskee vedenkäsittelylaitosta. Miten vahvistusoppiminen voi tukea ihmisten päätöksiä tai ohjata käsittelyä itsenäisesti? Tietoa on, mutta veden laatu voi muuttua tunneissa. Vaikka kouluttaisit joka päivä mallin edellisen päivän tiedoilla, se voi lakata pätemästä muutamassa tunnissa. Aineiston jakauma muuttuu eikä ole stationaarinen. Yläjuoksulla voi olla metsäpalo tai lumi alkaa sulaa. Kaiken ennustamiseksi pitäisi mallintaa koko maailma.

Kukaan ei tee niin, eivät ihmisetkään. Sopeudumme ja opimme lisää, kun vanha toimintatapa ei enää toimi. Monet todelliset sovellukset vaativat jatkuvaa oppimista, mutta tavallisesti koneoppimisesta ei puhuta näin. Ajattelemme suurta laskentaerää, käyttöönottoa ja ehkä uutta mallia päivien tai viikkojen päästä. Aikaskaala ei aina sovi ongelmaan.

Miten voisimme oppia loputtomasti, parantua ja sopeutua? Se on hyvin vaikeaa. Olemme julkaisseet aiheesta, ja nykyiset menetelmät eivät pysty siihen riittävän hyvin. Jopa alan parhaat ratkaisut heikkenevät nopeasti, jos ne jatkavat oppimista sen sijaan, että koulutus pysäytettäisiin ja kiinteä malli otettaisiin käyttöön. Kiinteiden mallien menestysten jälkeen, joita jatkamme, jatkuva oppiminen on yksi tutkimuksen uusista suunnista.

Vahvistusoppiminen sopii tähän, koska monet algoritmit käsittelevät tietoa sen saapuessa. Ne sopivat siis luontevasti jatkuvaan oppimiseen, mikä ei tarkoita, että ne jo tekisivät sitä hyvin. Tutkimuskysymyksiä on paljon.

Mitkä jatkuvan oppimisen tulevat sovellukset innostavat sinua eniten?

Se on miljardin dollarin kysymys, sillä etsin juuri niitä sovelluksia. Oikeiden kysymysten esittäminen on yli puolet tutkimustyöstä. Pidän ongelmalähtöisyydestä: meillä on esimerkiksi viisi palloa stratosfäärissä, miten ratkaistaan tämä? Matkan varrella syntyy tieteellistä edistystä. Työskentelen Adam Whiten ja Martha Whiten kanssa heidän johtamassaan vedenkäsittelyprojektissa. Se on innostava, sillä ongelmaa on vaikea edes kuvata kielellä; kieliteknologian nykyiset menestykset eivät suoraan sovellu siihen.

Veden sameus ja lämpötila muuttuvat usein ja eri aikaskaaloilla. Jatkuva oppiminen on välttämätöntä. Yhteiskunnallinen merkitys on valtava: on vaikea kuvitella tärkeämpää kuin juomaveden tuottaminen. Harvaan asutuilla alueilla, kuten Pohjois-Kanadassa, joskus laitokselle ei ole edes käyttäjää. Tarkoitus ei välttämättä ole korvata työntekijöitä vaan mahdollistaa asioita, joihin henkilöstö tai voimavarat eivät muuten riitä.

Tutkimusongelma on hyvin vaikea ja mahdollinen yhteiskunnallinen vaikutus suuri. Meillä ei ole simulaattoria eikä mahdollisuutta hankkia sitä, joten on käytettävä tietoa parhaiten ja opittava jatkuvasti saapuvasta datasta. Toinen aihe, jota en ole itse paljon tutkinut, on rakennusten jäähdytys, myös sään ja ilmastonmuutoksen kannalta. Miten jäähdytys päätetään? Täällä on tänään satoja ihmisiä, toisin kuin viime viikolla. Pitäisikö käyttää samaa ohjausstrategiaa? Usein käytössä on korkeintaan termostaatti. Voisimme sopeutua älykkäämmin myös siihen, että yhdessä huoneessa on paljon ihmisiä ja toisessa vähän.

Näissä moniulotteisissa, vaikeasti hahmotettavissa ohjausjärjestelmissä on paljon mahdollisuuksia parantaa nykyisiä standardimenetelmiä.

Joissakin paikoissa ilmastointilaitteet käyttävät jopa 75 prosenttia sähköstä, joten se käy järkeen.

Aivan. Kodeissa on jo tuotteita, jotka käyttävät koneoppimista ja oppivat asiakkaistaan. Isoissa rakennuksissa lähestymistapa voi olla paljon hienojakoisempi. Floridassa, Brasiliassa ja monissa muissa paikoissa on tarvetta. Datakeskusten jäähdytys on toinen esimerkki, jota jotkin yritykset jo kehittävät. Se kuulostaa lähes tieteiskirjallisuudelta, mutta jatkuva oppiminen ja tarpeen mukainen sopeutuminen voivat vaikuttaa merkittävästi moniulotteisiin ohjausongelmiin.

Palloprojektissa osoitimme, että vahvistusoppiminen ja erityisesti syvä vahvistusoppiminen voivat oppia anturitiedoista ihmisten suunnittelemia monimutkaisempia päätöksiä. Ihminen voi valita lineaarisen tai neliöllisen vastekäyrän. Neuroverkko voi oppia kaikki epälineaarisuudet ja tehdä siten hienojakoisempia, joskus hyvin tehokkaita päätöksiä.

Kiitos hienosta haastattelusta. Lisätietoa löytyy seuraavista lähteistä:

• Upper Bound AI -konferenssi.
• Amii (Alberta Machine Intelligence Institute)