Marlos C. Machado, apulaisprofessori Albertan yliopistossa, Amii Fellow, CIFAR AI Chair – Haastattelu

Marlos C. Machado on Amii Fellow Alberta Machine Intelligence Institute -instituutissa, apulaisprofessori Albertan yliopistossa ja Amii Fellow, jossa hän myös toimii Kanadan CIFAR AI Chair -ohjelmassa. Marlosin tutkimus keskittyy pääasiassa vahvistusoppimiseen. Hän on suorittanut B.Sc. ja M.Sc. tutkinnot UFMG:stä Brasiliasta ja Ph.D. tutkinnon Albertan yliopistosta, jossa hän popularisoi ajatuksen ajallisesti laajennetusta tutkimisesta optioita käyttäen.

Hän työskenteli DeepMindissa vuosina 2021-2023 ja Google (GOOGL ) Brainissa vuosina 2019-2021, jolloin hän teki merkittäviä töitä vahvistusoppimisessa, erityisesti syvän vahvistusoppimisen soveltamisessa Loonin stratosfääriluotien ohjaukseen. Marlosin työ on julkaistu johtavissa AI-konferensseissa ja lehdissä, kuten Nature, JMLR, JAIR, NeurIPS, ICML, ICLR ja AAAI. Hänen tutkimuksensa on myös esitetty suosituissa medioissa, kuten BBC, Bloomberg TV, The Verge ja Wired.

Haastattelimme häntä vuoden 2023 Upper Bound -konferenssissa, joka järjestettiin Edmontonissa, Alberta, ja jota isännöi Amii (Alberta Machine Intelligence Institute).

Mikä on pääasiallinen kiinnostuksesi vahvistusoppimista kohtaan?

Mielestäni vahvistusoppiminen on luonnollinen tapa oppia. Se tuntuu siltä, että se on tapa, jolla ihmiset oppivat. En pidä siitä, että antropomorfisoidaan tekoälyä, mutta se on vain intuitiivinen tapa oppia. Yksi asia, joka minua kiinnostaa vahvistusoppimisessa, on se, että se mahdollistaa uusien käyttäytymismallien löytämisen. Esimerkiksi yksi kuuluisimmista esimerkeistä on AlphaGo, joka teki siirron, jota kutsuttiin luovuudeksi. Se oli jotain, mitä kukaan ei ollut aiemmin nähnyt, ja se jätti meidät kaikki hämmästyneiksi.

Mitä historiallisia sovelluksia olet mieltynyt vahvistusoppimiseen?

Mielestäni on kaksi kuuluisaa esimerkkiä: yksi on Stanfordin lentokoneen ohjaus vahvistusoppimisen avulla ja toinen on TD-Gammon, joka oli backgammon-pelaaja, josta tuli maailmanmestari. Tämä oli 1990-luvulla, ja silloin olin väitöskirjatutkijana. Minua kiinnosti erityisesti vahvistusoppiminen, ja valitsin väitöskirjatutkijoita, joiden tutkimuskiinnostuksia minua kiinnosti.

Kerro meille Loonin stratosfääriluotien ohjaamisesta.

Loonin stratosfääriluotien tarkoituksena oli tarjota internet-yhteyttä vaikeasti tavoitettaviin alueisiin. Ideana oli, että jos voimme rakentaa antennin, joka on 20 kilometrin korkeudella, voimme tarjota internet-yhteyttä laajemmalle alueelle. Tämä oli haasteellinen ongelma, koska emme tiedä, miltä tuulet näyttävät 500 metrin korkeudella. Meillä on osittainen havainto, ja emme voi tietää, mitä tuulet tulevat olemaan.

Mitä vahvistusoppiminen opiskeli?

Vahvistusoppiminen opiskeli navigointia stratosfääriluotien kanssa. Se sai palkkion, joka perustui siihen, kuinka hyvin se pystyi pysymään kohdealueella ja kuinka tehokkaasti se käytti energiaa. Vahvistusoppiminen joutui tekemään päätöksiä siitä, miten se voisi parhaiten saavuttaa tavoitteensa, ja se joutui sopeutumaan muuttuviin olosuhteisiin.

Mitä haasteita kohtasitte, kun otitte vahvistusoppimisen käyttöön todellisessa maailmassa?

Mielestäni yksi suurimmista haasteista on, että vahvistusoppiminen vaatii paljon enemmän insinööritöitä kuin pelit. Meidän on varmistettava, että ratkaisumme on turvallinen ja että se toimii odotetusti. Toinen haaste on, että vahvistusoppiminen vaatii paljon enemmän tietoa kuin pelit. Meidän on kerättävä tietoa ja ymmärrettävä, miten se toimii.

Mitä tutkimusta teet tällä hetkellä?

Tällä hetkellä olen kiinnostunut jatkuvasta oppimisesta. Mielestäni se on yksi vahvistusoppimisen suurimmista haasteista. Meidän on opittava jatkuvasti ja sopeutuvasti, ja meidän on kehitettävä algoritmeja, jotka voivat oppia ja sopeutua muuttuviin olosuhteisiin.

Mitä sovelluksia jatkuvasta oppimisesta olet mieltynyt?

Mielestäni yksi mielenkiintoisimmista sovelluksista on vedenkäsittelylaitosten ohjaus. Meidän on kehitettävä algoritmeja, jotka voivat oppia ja sopeutua muuttuviin olosuhteisiin, ja meidän on varmistettava, että ne toimivat turvallisesti ja tehokkaasti. Toinen mielenkiintoisista sovelluksista on rakennusten jäähdytys. Meidän on kehitettävä algoritmeja, jotka voivat oppia ja sopeutua muuttuviin olosuhteisiin, ja meidän on varmistettava, että ne toimivat turvallisesti ja tehokkaasti.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla seuraavissa resursseissa:

• Upper Bound AI -konferenssi.
• Amii (Alberta Machine Intelligence Institute)