Mikä on vahvistusoppiminen?

Mikä on vahvistusoppiminen?

Yksinkertaisesti sanottuna vahvistusoppiminen on koneoppimisen tekniikka, jossa koulutetaan tekoälyagentti toistamalla toimintoja ja liittämällä niihin palkintoja. Vahvistusoppimisen agentti kokeilee ympäristössä, tekee toimintoja ja saa palkintoja, kun oikeat toiminnat tehdään. Ajan myötä agentti oppii tekemään toimintoja, jotka maksimoivat palkintonsa. Tämä on nopea määritelmä vahvistusoppimiselle, mutta tarkastelemalla tarkemmin vahvistusoppimisen taustoja, voit saada paremman, intuitiivisemman ymmärryksen siitä.

Vahvistusoppimisen termi on sovellettu psykologisesta käsitteestä vahvistuksesta. Siksi tarkastellaan psykologista vahvistus-käsitettä. Psykologisessa mielessä vahvistus tarkoittaa jotain, joka lisää tietyssä toiminnassa tai vastauksessa ilmenemisen todennäköisyyttä. Tämä vahvistuksen käsite on keskeinen ajatus operantin ehdollistamisen teoriassa, jonka psykologi B.F. Skinner esitti alun perin. Tässä yhteydessä vahvistus on mitä tahansa, joka lisää tietyn käyttäytymisen esiintymisen. Jos ajattelemme mahdollisia vahvistuksia ihmisille, nämä voivat olla esimerkiksi ylistys, palkankorotus työssä, makeisia ja hauskoja toimintoja.

Perinteisessä, psykologisessa mielessä on kaksi tyyppiä vahvistusta. On positiivinen vahvistus ja negatiivinen vahvistus. Positiivinen vahvistus on jonkin asian lisääminen käyttäytymisen lisäämiseksi, kuten antaa koiralle makeinen, kun se on hyvässä käytöksessä. Negatiivinen vahvistus käsittää ärsykkeen poistamisen käyttäytymisen aiheuttamiseksi, kuten melun sammuttaminen, jotta ujo kissa tulee esiin.

Positiivinen ja negatiivinen vahvistus

Positiivinen vahvistus lisää käyttäytymisen esiintymisen, kun taas negatiivinen vahvistus vähentää sitä. Yleensä positiivinen vahvistus on yleisin vahvistusoppimisessa käytetty vahvistustyyppi, koska se auttaa malleja maksimoimaan suorituskykyä tietyn tehtävän suhteen. Positiivinen vahvistus johtaa myös mallin kestäviin muutoksiin, muutoksiin, jotka voivat muodostua jatkuviksi käyttäytymismalleiksi ja säilyä pitkään.

Toisaalta negatiivinen vahvistus tekee käyttäytymisen todennäköisemmäksi, mutta sitä käytetään enemminkin vähimmäistason suorituskyvyn ylläpitämiseen kuin mallin maksimaalisen suorituskyvyn saavuttamiseen. Negatiivinen vahvistus vahvistusoppimisessa auttaa mallin pysymään pois ei-toivottavista toiminnista, mutta se ei voi tehdä mallista toimintaa, joka etsii toivottuja toimintoja.

Vahvistusoppimisen agentin koulutus

Kun vahvistusoppimisen agenttia koulutetaan, on neljä erilaista ainesosaa tai tilaa käytössä koulutuksessa: alkutilat (Tila 0), uusi tila (Tila 1), toiminnat ja palkinnot.

Kuvitellaan, että koulutamme vahvistusoppimisen agenttia pelaamaan tasohyppely-peliä, jossa tekoälyllä on tavoitteena päästä pelin loppuun liikkuessa oikealle ruudun yli. Pelin alkutila piirretään ympäristöstä, mikä tarkoittaa, että pelin ensimmäinen ruutu analysoidaan ja annetaan mallille. Tämän tiedon perusteella malli on tehtävä toimintapäätös.

Koulutuksen alkuvaiheessa nämä toiminnat ovat satunnaisia, mutta kun malli vahvistetaan, tietyt toiminnat tulevat yleisemmiksi. Toiminnan tekemisen jälkeen pelin ympäristö päivitetään ja uusi tila tai ruutu luodaan. Jos agentin tekemä toiminta tuotti toivottavan tuloksen, esimerkiksi agentti on edelleen elossa eikä ole osunut viholliseen, agentille annetaan palkinto, ja se tulee todennäköisemmäksi toimimaan samalla tavalla tulevaisuudessa.

Tämä perusjärjestelmä toistetaan jatkuvasti, ja jokaisella kerralla agentti yrittää oppia hieman enemmän ja maksimoida palkintonsa.

Jaksoittaiset ja jatkuvat tehtävät

Vahvistusoppimisen tehtävät voidaan yleensä luokitella kahteen eri kategoriaan: jaksoittaisiin tehtäviin ja jatkuviin tehtäviin.

Jaksoittaiset tehtävät suorittavat oppimis-/koulutussilmukan ja parantavat suorituskykyään, kunnes tietyt lopetusehdot täyttyvät ja koulutus lopetetaan. Pelissä tämä voi olla esimerkiksi pelin loppuun pääseminen tai vaaran, kuten piikkien, aiheuttama kuolema. Toisaalta jatkuvat tehtävät eivät ole lopetusehtoja, ja ne jatkavat koulutusta loputtomiin, kunnes insinööri päättää lopettaa koulutuksen.

Monte Carlo ja Temporaalinen Ero

On kaksi pääasiallista tapaa opettaa, tai kouluttaa, vahvistusoppimisen agenttia. Monte Carlo -menetelmässä palkinnot annetaan agentille (sen pisteet päivitetään) vain koulutusjakson lopussa. Toisin sanoen vasta kun lopetusehto täyttyy, malli oppii, miten hyvin se suoriutui. Se voi sitten käyttää tätä tietoa päivittääkseen ja kun seuraava koulutusjakso alkaa, se toimii uuden tiedon mukaisesti.

Temporaalisen eron menetelmä poikkeaa Monte Carlo -menetelmästä siinä, että arviointi, tai pisteiden arviointi, päivitetään koulutusjakson aikana. Kun malli siirtyy seuraavaan aikaskaalaan, arvot päivitetään.

Tutkiminen ja hyödyntäminen

Vahvistusoppimisen agentin koulutus on tasapainoilua, jossa tasapainotetaan kahta eri mittaria: tutkimista ja hyödyntämistä.

Tutkiminen on tietojen kerääminen ympäristöstä, kun taas hyödyntäminen tarkoittaa jo tiedossa olevan tiedon käyttämistä palkintopisteiden ansaitsemiseen. Jos agentti tutkii vain ja ei koskaan hyödyntäisi ympäristöä, toivottuja toimintoja ei koskaan tehdä. Toisaalta, jos agentti hyödyntää vain ja ei koskaan tutki, se oppii vain yhden toiminnan ja ei löydä muita strategioita palkintopisteiden ansaitsemiseen. Siksi tutkimisen ja hyödyntämisen tasapainottaminen on kriittistä vahvistusoppimisen agentin luomisessa.

Vahvistusoppimisen soveltamisalueet

Vahvistusoppimista voidaan käyttää laajasti eri rooleissa, ja se on parhaiten sovellettavissa sovelluksiin, joissa tehtävät vaativat automaatiota.

Teollisten robottien automaatio tehtävissä, joita ne suorittavat, on yksi alue, jossa vahvistusoppiminen osoittaa olevansa hyödyllinen. Vahvistusoppimista voidaan myös käyttää ongelmien kuten tekstin kaivamisen ratkaisemiseen, jossa luodaan malleja, jotka pystyvät tiivistämään pitkiä tekstejä. Tutkijat ovat myös kokeilleet vahvistusoppimisen käyttämistä terveydenhuoltoalalla, jossa vahvistusoppimisen agentit hoitavat tehtäviä kuten hoidon politiikkojen optimointi. Vahvistusoppimista voidaan myös käyttää räätälöidyn opetusmateriaalin luomiseen opiskelijoille.

Vahvistusoppimisen yhteenveto

Vahvistusoppiminen on voimakas menetelmä tekoälyagenttien rakentamiseen, joka voi johtaa vaikuttaviin ja joskus yllättäviin tuloksiin. Agentin koulutus vahvistusoppimisen avulla voi olla monimutkainen ja haasteellinen, koska se vaatii monia koulutusjaksoja ja hienoa tasapainoa tutkimisen ja hyödyntämisen välillä. On kuitenkin, jos se onnistuu, agentti, joka on luotu vahvistusoppimisen avulla, voi suorittaa monimutkaisia tehtäviä laajassa valikoimassa eri ympäristöjä.