Patrick M. Pilarski, FT, Kanadan CIFAR-tekoälytuolin haltija (Amii) – Haastattelusarja

Tohtori Patrick M. Pilarski on Kanadan CIFAR-tekoälytutkimuksen professuurin haltija, entinen Kanadan tutkimusprofessuurin haltija kuntoutuksen koneälyn alalla ja apulaisprofessori lääketieteen laitoksen fysiatrian ja kuntoutuksen osastolla Albertan yliopistossa.

Vuonna 2017 tohtori Pilarski perusti DeepMindin ensimmäisen kansainvälisen tutkimustoimiston Edmontonissa, Albertassa, jossa hän toimi toimiston toisena johtajana ja vanhempana tutkimustutkijana vuoteen 2023 asti. Hän on Alberta Machine Intelligence Instituten (Amii) jäsen ja hallituksen jäsen, Bionic Limbs for Improved Natural Control (BLINC) -laboratorion toinen johtaja ja päätutkija Reinforcement Learning and Artificial Intelligence Laboratory (RLAI) ja Sensory Motor Adaptive Rehabilitation Technology (SMART) -verkostossa Albertan yliopistossa.

Tohtori Pilarski on palkittu yli 120 vertaisarvioitujen artikkeleiden kirjoittaja tai yhteiskirjoittaja, IEEE:n seniorijäsen ja on saanut maakunnallisia, kansallisia ja kansainvälisiä tutkimusapurahoja.

Haastattelimme häntä vuoden 2023 Upper Bound -tekoälykonferenssissa, joka järjestettiin Edmontonissa, Albertassa, ja jota isännöi Amii (Alberta Machine Intelligence Institute).

Miten löysit itsesi tekoälyyn? Mitä tekoälyssä viehätti sinua?

Nämä ovat kaksi erillistä kysymystä. Tekoälyyn viehätti minua se, että siinä on jotain kaunista siinä, miten monimutkaisuus voi syntyä ja miten rakenteita voi syntyä monimutkaisuudesta. Äly on vain yksi näistä upeista esimerkeistä, joko se tulee biologiasta tai siitä, miten näemme monimutkaisen käyttäytymisen syntyvän koneissa, luulen, että siinä on jotain kaunista. Se on aina kiehtonut minua hyvin pitkään, ja minun pitkä ja mutkikas polkuni tekoälyalueelle, jossa työskentelen nyt, joka on koneita, jotka oppivat yrityksen ja erehdyksen kautta, vahvistusjärjestelmiä, jotka vuorovaikuttavat ihmisten kanssa heidän ollessaan molemmat upotettuina siihen, kokemuksen virtaan, ajan virtaan, tuli kaikenlaisia eri tasoja.

Tutkin, miten koneet ja ihmiset voivat vuorovaikuttaa biomekatronisten laitteiden ja bioteknologian kanssa, kuten keinotekoiset raajat ja proteesit.

Katsoin, miten tekoälyä voidaan käyttää lääketieteellisen diagnostiikan tukemiseen, miten koneälyä voidaan käyttää ymmärtämään malleja, jotka johtavat sairauteen tai miten erilaiset sairaudet voivat ilmetä koneen merkinnöissä. Mutta se kaikki on osa tätä pitkää ja mutkikasta pyrkimystä ymmärtää, miten voidaan saada hyvin monimutkaisia käyttäytymisiä yksinkertaisista perustoista. Ja se on se, mitä rakastan erityisesti vahvistusoppimisesta, on se, että kone voi upottaa itsensä ajan virtaan ja oppia omasta kokemuksestaan ja havainnostaan ja saada aikaan hyvin monimutkaisia käyttäytymisiä ja havaita monimutkaiset ilmiöt maailmassa. Se on ollut minulle tärkeä liikkeellepaneva voima.

Mekaniikka, olen tehnyt paljon urheilulääketieteellistä koulutusta ja muita asioita lukiossa. Opiskelin urheilulääketiedettä ja nyt olen täällä työskentelemässä ympäristössä, jossa katselen, miten koneäly ja kuntoutusteknologia yhdistyvät tukemaan ihmisiä heidän päivittäisessä elämässään. Se on hyvin mielenkiintoinen matka, kuin sivuvietti monimutkaisten järjestelmien ja monimutkaisuuden kanssa, ja sitten hyvin käytännöllinen pragma, miten ihmiset voivat elää elämää, jota he haluavat elää.

Miten urheilu johti sinut alkujaan proteeseihin?

Urheilulääketieteen kaltaisissa aloissa kiinnostavaa on ihmiskeho ja se, miten muiden ihmisten, menetelmien ja toimintatapojen avulla voidaan tukea kunkin yksilöllisiä tarpeita, liittyivätpä ne urheiluun tai muuhun. Bionisissa raajoissa ja proteesiteknologiassa rakennetaan laitteita, järjestelmiä ja teknologiaa, jotka auttavat ihmisiä elämään haluamaansa elämää. Nämä kaksi asiaa liittyvät tiiviisti toisiinsa. On innostavaa nähdä ympyrän sulkeutuvan ja aiempien kiinnostuksenkohteiden toteutuvan nyt, kun johdan yhdessä muiden kanssa laboratoriota. Tutkimme erityisesti koneoppimisjärjestelmiä, jotka toimivat tiiviissä vuorovaikutuksessa sen ihmisen kanssa, jonka tueksi ne on suunniteltu.

Olet aikaisemmin puhunut proteesin sopeutumisesta ihmiseen sen sijaan, että ihminen sopeutuu proteesiin. Voitko puhua koneoppimisesta tässä?

Täysin. Perustana työkalujen historiassa ihmiset ovat sopeutuneet itse työkaluihinsa ja sitten sopeuttaneet työkalunsa tarpeidensa mukaan. Ja niin on tämä iteratiivinen prosessi, jossa sopeudumme työkaluihimme. Olemme nyt historiallisessa käänteessä, jossa voimme kuvitella rakentavamme työkaluja, jotka ottavat osaa ihmisen älymystä. Työkaluja, jotka todella sopeutuvat ja paranevat käytön aikana. Taustalla olevat teknologiat tukevat jatkuvaa oppimista. Järjestelmiä, jotka voivat jatkuvasti oppia jatkuvasta kokemuksesta. Tässä tapauksessa vahvistusoppiminen ja sen taustalla olevat mekanismit, kuten ajallisen eron oppiminen, ovat erittäin tärkeitä rakentamisessa järjestelmiä, jotka voivat jatkuvasti sopeutua vuorovaikuttiessaan ihmisen kanssa ja ollessaan käytössä ihmisen päivittäisessä elämässä.

Voitko määritellä ajallisten erojen oppimisen?

Täysin, mitä pidän tästä on, että voimme ajatella perusteknologioita, ajallisten erojen oppimista ja perusoppi-algoritmeja, jotka muodostavat suuren osan siitä, mitä teemme laboratoriossa. Sinulla on järjestelmä, joka tekee samoin kuin me, eli se tekee ennusteen siitä, miltä tulevaisuus näyttää johonkin signaaliin nähden, kuten tuleva palkkio, jota yleensä näkee. Mutta mikä tahansa muu signaali, jonka voit kuvitella, kuten kuinka paljon voimaa olen käyttänyt juuri nyt, kuinka kuuma se on tuleva, kuinka monta donitsia minulla on huomenna, nämä ovat mahdollisia asioita, joita voit kuvitella ennustavan. Ja perusalgoritmi on todella katselemassa eroa ennusteeni ja ennusteeni välillä siitä, mitä tapahtuu juuri nyt ja mitä tapahtuu tulevaisuudessa, sekä minkä tahansa signaalin, jonka saat juuri nyt.

Kuinka paljon voimaa käytän, kun robottikäsi nostaa kahvi- tai vesikuppia? Voimme tarkastella eroa nyt käytettävää voimaa koskevan ennusteen ja jonkin tulevan ajanjakson voimaa koskevan ennusteen välillä. Niitä verrataan tulevaisuutta koskeviin odotuksiin ja todella käytettyyn voimaan. Yhdistämällä nämä saadaan ajallisen eron virhe. Tulevaisuuteen ulottuvia ennusteita ja niiden välisiä eroja voidaan käyttää oppivan koneen rakenteen päivittämiseen.

Ja se, taas, perinteisessä vahvistusoppimisessa, joka perustuu palkkioon, se voi olla katselemassa, miten kone toimii palkkion perusteella, jonka se odottaa. Mutta paljon siitä, mitä teemme, on katselemassa muita signaaleja, käyttäen yleistettyjä arvofunktioita, joka on vahvistusoppimisen sopeutuminen palkkio-signaaleista mihin tahansa signaaliin, joka on sovellettavissa koneen toimintaan.

Olet usein puhunut proteesista, jota kutsutaan Kairon varpaasta esitelmilläsi. Mitä se opettaa meille?

Kairon varvas. Baselin yliopisto, LHTT. Kuva: Matjaž Kačičnik

Pidän siitä, että käytän Kairon varpaan esimerkkiä, joka on 3000-vuotias proteesi. Työskentelen neuroproteesien alalla, ja nyt näemme hyvin edistyneitä robotti-järjestelmiä, jotka voivat joissakin tapauksissa olla samalla tasolla kuin biologiset kehon osat. Ja silti, palannut tähän yksinkertaiseen puiseen varpaaseen 3000 vuotta sitten. Luulen, että se on esimerkki siitä, miten ihmiset laajentavat itseään teknologian avulla. Se on jotain, mitä näemme juuri nyt neuroproteesien ja ihmisen ja koneen vuorovaikutuksessa, ei mikään outo, uusi tai outo asia. Olemme aina olleet työkalujen käyttäjiä, myös ei-ihmiset eläimet käyttävät työkaluja. On paljon hyviä kirjoja siitä, erityisesti Frans de Waal, “Olemmeko tarpeeksi älykkäitä tietääksemme, kuinka älykkäitä eläimet ovat?“

Tämä laajentuminen itseämme, parantaminen teknologian avulla, ei ole uusi asia, vaan se on tapahtunut aina, aikojen alusta, tämän maan päällä, jossa me nyt olemme, niiden ihmisten toiminnan kautta, jotka asuivat täällä. Toisaalta Kairon varpaasta on mielenkiintoista, että todisteet, ainakin tutkimusraporttien perusteella, osoittavat, että se sovitettiin useita kertoja sen käytön aikana. He menivät ja mukauttivat sitä, muuttivat sitä, muokkasivat sitä käytön aikana.

Ymmärrykseni mukaan se ei ollut vain kiinteä työkalu, joka oli kiinnitetty henkilöön heidän elämänsä aikana, vaan kiinteä työkalu, joka oli kiinnitetty, mutta myös muokattu. Se on esimerkki siitä, miten, taas, ajatus siitä, että työkalut mukautuvat käytön aikana, ei ole uusi asia, vaan se on jotain, mitä on tapahtunut jo hyvin kauan. Ihmisten ja työkalujen pitkäaikaisesta yhteissopeutumisesta voimme oppia paljon.

Olet aikaisemmin maininnut palauteteiden välisen yhteyden proteesin ja ihmisen välillä. Voitko selventää palauteteiden yhteyttä?

Elämme erityistä aikaa siinä, miten tarkastelemme ihmisen ja häntä arjessa tukevan koneen suhdetta. Kun ihminen, jolla on synnynnäinen tai hankittu raajapoikkeama tai amputaatio, käyttää tekoraajaa, hän käyttää sitä perinteisesti työkaluna ja kehonsa jatkeena. Hän tukeutuu pitkälti ohjausreittiin: hänen tahtonsa tai aikomuksensa välittyy laitteelle, joka tulkitsee sen ja toteuttaa toiminnon. Se voi olla käden avaaminen tai sulkeminen, kyynärpään taivuttaminen tai avaimen tarttumiseen tarvittava pinsettiote. Palautereittiä tutkitaan tai tarkastellaan harvemmin.

Monet keinotekoiset raajat, joita saatavilla on kaupallisesti, riippuvat paljon mekaanisesta kytkennästä, siitä, miten he tuntevat voimaa raajassa ja toimivat sen mukaan. Se voi olla myös se, että he kuulevat moottorien äänet tai he katsovat, kun he nostavat esineen tai ottavat sen toisesta paikasta työtilastaan. Ja niin edelleen. Nämä ovat perinteisiä tapoja tehdä se. On kuitenkin paljon mielenkiintoista tapahtumassa ympäri maailmaa, miten tietoa voidaan paremmin välittää keinotekoisesta raajasta henkilölle, joka sitä käyttää. Erityisesti täällä Edmontonissa on paljon mielenkiintoista työtä hermoston uudelleenjärjestelyssä, tarkoituksella tehdyn hermoston uudelleenjärjestelyssä ja muissa asioissa, jotka tukevat tätä reittiä. Koneoppimisen rooli tämän palautereitin vuorovaikutuksessa on silti edelleen ajankohtainen ja kehittyvä tutkimusalue.

Miten koneoppiminen voi tukea järjestelmää, joka havaitsee ja ennustaa paljon maailmastaan, ja miten se voi välittää tietoa selkeästi ja tehokkaasti takaisin henkilölle, joka sitä käyttää. Miten koneoppiminen voi tukea sitä. Luulen, että se on hyvin mielenkiintoinen aihe, koska jos sinulla on sekä palautereitti että ohjausreitti, molemmat järjestelmät rakentavat malleja toisistaan, sopeutuvat toisiinsa ja alkavat välittää tietoa kaksisuunnaisessa kanavassa. Voit tehdä jotain lähes ihmeellistä. Voit välittää tietoa “ilmaiseksi”. Jos sinulla on nämä kaksi järjestelmää, jotka ovat hyvin sopeutuneita toisiinsa, ne ovat rakentaneet voimakkaan mallin toisistaan, ja ne ovat sopeutuneet sekä ohjaus- että palautereiteille, voit muodostaa erittäin tiiviit yhteistyösuhteet ihmisen ja koneen välille, jotka voivat välittää valtavan määrän tietoa hyvin vähän vaivaa ja hyvin vähän kaistanleveyttä.

Ja se avaa uusia mahdollisuuksia ihmisen ja koneen väliselle yhteistyölle, erityisesti neuroproteesien alalla. Luulen, että se on todella ihmeellinen aika meille aloittaa tutkiminen tässä alalla.

Luuletko, että nämä valmistetaan 3D-tulostuksella tulevaisuudessa tai miten valmistus edetään?

En tunne, että olisin paras paikka spekuloida siitä, miten se tapahtuu. Voinkin sanoa, että näemme suuren kasvun kaupallisissa tarjoajissa, jotka käyttävät materiaalia lisäävä valmistusta, 3D-tulostusta ja muita materiaalia lisäävä valmistusmenetelmiä laitteidensa valmistamiseen. Se on myös hyvin mielenkiintoista nähdä, että se ei ole vain kokeellinen käyttö lisävalmistuksesta, vaan 3D-tulostus on osa laitteiden toimittamista yksilöille ja niiden mukauttamista juuri niille, jotka niitä käyttävät.

Materiaalia lisäävä valmistus tai mukautettu valmistus, proteesin sovittaminen, tapahtuu sairaaloissa jatkuvasti. Se on osa hoitotoimintaa ihmisille, joilla on raajan ero ja jotka tarvitsevat avustavia teknologioita tai muita kuntoutusmenetelmiä. Luulen, että näemme, miten se mukautuminen alkaa yhdistyä laitteiden valmistukseen, eikä se jää vain hoitotoimijoille. Ja se on myös hyvin mielenkiintoista. Luulen, että on hyvä mahdollisuus laitteille, jotka eivät vain näytä käsiltä tai käytetä käsien tavoin, vaan laitteille, jotka vastaavat tarkasti henkilön tarpeita, jotka antavat heidän ilmaista itsensä tavalla, jolla he haluavat ilmaista itsensä, ja antavat heidän elää elämää, jota he haluavat elää, eivät vain sitä, miten me ajattelemme, että käsiä tulisi käyttää päivittäisessä elämässä.

Olet kirjoittanut yli 120 tutkimusartikkelia. Onko yksi, joka erottuu sinulle, jonka meidän tulisi tietää?

On yksi äskettäin julkaistu artikkeli Neural Computing and Applications -julkaisussa, joka edustaa ajattelun käännöstä, jonka olemme esittäneet yli kymmenen vuoden ajan, kehyksistä, joilla ihmiset ja koneet vuorovaikuttavat, erityisesti miten ihmiset ja proteesit vuorovaikuttavat. Se on ajatus “viestintäpääoma”. Ja se on artikkeli, jonka äskettäin julkaisimme.

Ja se esittää näkemyksemme siitä, miten ennustukset, jotka oppivat ja ylläpitävät reaaliajassa proteesin ja henkilön vuorovaikutuksessa, voivat muodostaa pääoman, voivat muodostaa resurssin, jota molemmat osapuolet voivat tukeutua. Muistan, että aiemmin sanoin, että voimme tehdä jotain todella upeaa, kun meillä on sekä palautereitti että ohjausreitti, molemmat järjestelmät rakentavat malleja toisistaan, sopeutuvat toisiinsa ja alkavat välittää tietoa kaksisuunnaisessa kanavassa.

Se on kuin magia. Jos mennään takaisin ajattelijoihin kuten Ashby, W. Ross Ashby, 1960-luvulla ja hänen kirjassaan “Johdanto kybernetiikkaan” puhui siitä, miten voimme vahvistaa ihmisen älymystä. Ja hän sanoi, että se tulee ihmisen kyvystä valita yksi useista vaihtoehdoista. Ja se on mahdollista järjestelmissä, joissa ihminen vuorovaikuttaa koneen kanssa, jossa on avoin viestintäkanava heidän välillään.

Ja jos meillä on se viestintäkanava auki, jos se on kaksisuuntainen, ja jos molemmat järjestelmät rakentavat pääomaa ennustusten ja muiden asioiden muodossa, voit alkaa nähdä, miten ne alkavat sopeutua toisiinsa ja muodostaa yhteistyötä, joka on enemmän kuin yksittäisten osien summa. Voit saada enemmän ulos kuin mitä sinne panet. Ja luulen, että se on miksi pidän tätä yhtenä mielenkiintoisimmista artikkeleistamme, koska se edustaa ajattelun muutosta. Se edustaa ajattelun muutosta kohti näkemistä neuroproteesilaitteita järjestelminä, joilla on toimijuus, järjestelminä, joille emme vain anna toimijuutta, vaan järjestelminä, joista voimme riippua, jotta voimme sopeutua yhdessä ja rakentaa ylös näitä resursseja, viestintäpääomaa, joka antaa meille mahdollisuuden moninkertaistaa kykymme vuorovaikuttaa maailman kanssa ja antaa meille elää elämää, jonka haluamme elää, eikä vain laitteen avulla, joka auttaa meitä elämään elämäämme.

Mitkä ovat sovellukset aivo-kone-liittymille, mitä juuri mainitsit?

Yksi suosikeistani on jotain, mitä olemme esittäneet yli 10 vuoden ajan, on teknologia, jota kutsutaan sopeutuvaksi vaihtamiseksi. Sopeutuva vaihtaminen perustuu tietoon, että monissa järjestelmissä, joilla vuorovaikutamme päivittäin, on useita tiloja tai toimintoja, joita me vaihdamme. Vaihdanko sovelluksia puhelimessani, yritänkö selvittää oikean asetuksen porakoneessani, vai yritänkö sovittaa muita työkaluja elämässäni, me vaihdamme usein tiloja tai toimintoja. Sopeutuva vaihtaminen käyttää ajallisten erojen oppimista, jotta keinotekoinen raaja voi oppia, minkä toiminnon henkilö haluaa käyttää ja milloin. Lähtökohta on hyvin yksinkertainen: ojennan käteni kuppia kohti ja suljen käteni.

Järjestelmä voi kokemuksensa perusteella oppia ennustamaan, että tässä tilanteessa käytän todennäköisesti käden avaamis- ja sulkemistoimintoa. Tulevissa samanlaisissa tilanteissa se pystyy ennakoimaan tämän. Kun siirryn erilaisten tilojen ja toimintojen välillä, järjestelmä voi tarjota haluamani vaihtoehdot ilman, että minun täytyy käydä niitä kaikkia läpi. Tämä on yksinkertainen esimerkki viestintäpääoman rakentamisesta. Järjestelmä oppii vuorovaikutuksessa ennusteita ihmisestä, koneesta ja niiden suhteesta kyseisessä tilanteessa ja ajankohdassa. Tämä yhteinen resurssi mahdollistaa ohjausliittymän muuttamisen lennossa niin, että ihminen saa haluamansa toiminnon silloin, kun sitä tarvitsee. Jos järjestelmä on hyvin varma halutusta motorisesta toiminnosta, se voi myös valita sen valmiiksi.

Ihminen voi silti aina sanoa: ”Tätä minä oikeastaan halusin”, ja vaihtaa toiseen motoriseen toimintoon. Robottikäden tapauksessa kyse voi olla erilaisista otteista: ovenkahvaan tarttumisesta, avaimen nostamisesta tai kättelemisestä. Nämä ovat eri toimintatiloja ja otetyyppejä. Järjestelmä voi oppia ymmärtämään, mikä sopii mihinkin tilanteeseen. Molempien osapuolten hyödynnettävissä oleva pääoma auttaa toimimaan maailmassa nopeammin ja pienemmällä kognitiivisella kuormituksella.

Kiitos tästä upeasta haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla seuraavilla verkkosivuilla:

• Tohtori Patrick M. Pilarski Albertan yliopiston sivu.
• Upper Bound AI -konferenssi.
• Amii (Alberta Machine Intelligence Institute)