Mikä on vahvistusoppiminen?

Vahvistusoppiminen (RL) on koneoppimisen kehys, jossa agentti oppii toimimaan vuorovaikutuksessa ympäristön kanssa. Jokaisen toiminnon jälkeen ympäristö muuttuu ja voi palauttaa palkinnon. Agentin tavoitteena on oppia politiikka, joka maksimoi odotetun kumulatiivisen palkinnon, ei pelkästään seuraavan siirron palkintoa.

RL:ää käytetään, kun päätökset toteutuvat ajan myötä ja yksi toiminto vaikuttaa siihen, mitä seuraavaksi tapahtuu. Se on käsitteellisesti erilainen kuin valvottu oppiminen, jossa datajoukko tarjoaa tavoitevastauksen jokaiselle harjoitusesimerkillä.

Keskeiset havainnot

• RL-ongelma sisältää agentin, ympäristön, tilat, toiminnot, palkinnot ja politiikan.
• Positiivinen ja negatiivinen vahvistus lisäävät käyttäytymistä; rangaistus vähentää käyttäytymistä.
• Agentin on tasapainotettava tuntemattomien toimintojen tutkiminen ja jo tiedossa olevien toimintojen hyödyntäminen.
• Arvopohjaiset, politiikkapohjaiset, toimija‑kriitikko, mallipohjaiset ja offline‑menetelmät ratkaisevat erilaisia RL-tilanteita.

Vahvistusoppimisen komponentit

Monet RL-ongelmat mallinnetaan Markovin päätösprosessina (MDP). MDP sisältää:

• State: tieto, joka kuvaa nykytilannetta.
• Action: agentille tarjottava valinta.
• Transition: miten tila muuttuu toiminnon jälkeen.
• Reward: välittömät palautteet, jotka syntyvät siirtymästä.
• Policy: agentin strategia toimintojen valitsemiseen.
• Discount factor: kuinka vahvasti tulevat palkinnot lasketaan suhteessa välittömiin palkintoihin.

Tilan ei tarvitse paljastaa kaikkea maailmasta. Jos tärkeä tieto on piilotettu, ongelma voi olla osittain havaittavissa, ja agentti saattaa tarvita muistia tai uskomustilaa.

Vahvistus ei ole sama kuin rangaistus

Terminologia on peräisin käyttäytymispsykologiasta. Positiivinen vahvistus lisää seurauksen, joka tekee käyttäytymisestä todennäköisempää. Negatiivinen vahvistus poistaa epämiellyttävän olosuhteen ja tekee käyttäytymisestä myös todennäköisempää. Rangaistus, jonka tarkoitus on tehdä toiminnosta vähemmän todennäköinen, ei ole negatiivinen vahvistus, vaan rangaistus.

Koneoppimisessa toimijat puhuvat useammin suoraan positiivisista palkinnoista, negatiivisista palkinnoista, kustannuksista ja rangaistuksista. Keskeinen kysymys on, miten nämä signaalit muokkaavat tuottoa, jonka agentti pyrkii maksimoimaan.

Tuotto, arvo ja ansaintojen kohdistus

Palkinto kuvaa yhtä siirtymää. Tuotto yhdistää palkinnot ajan myötä, yleensä alennamalla palkintoja, jotka saapuvat kauemmin tulevaisuudessa. Tila-arvotoiminto arvioi odotetun tuoton tilasta, kun taas toimintoarvotoiminto arvioi odotetun tuoton tietyn toiminnon suorittamisen jälkeen kyseisessä tilassa.

Tämä luo ansaintojen kohdistusongelman: jos hyödyllinen tulos saapuu paljon myöhemmin, mitkä aikaisemmat toiminnot ansaitsevat ansaitun? RL-algoritmit eroavat siinä, miten ne arvioivat tämän suhteen.

Monte Carlo- ja aikadiferenssimenetelmät

Monte Carlo -menetelmät oppivat täydellisistä näytetyistä tuotoista, yleensä jakson päätyttyä. Aikadiferenssi (TD) -menetelmät päivittävät arviota ennen lopullista tulosta yhdistämällä havaittua palkintoa seuraavan arvion kanssa. TD-oppiminen siis käynnistyy nykyisistä arvoarvioistaan.

Kumpikaan perhe ei ole yleisesti parempi. Monte Carlo -tavoitteet ovat harhatonta otetun politiikan alla, mutta niillä voi olla suuri varianssi ja ne vaativat jakson päättymisen. TD-menetelmät voivat oppia verkossa ja jatkuvista tehtävistä, mutta niiden käynnistystavoitteet tuovat harhaa.

Tutkiminen vs. hyödyntäminen

Tutkiminen kerää tietoa kokeilemalla toimintoja, joiden arvo on epävarma. Hyödyntäminen valitsee toiminnon, jonka uskotaan tällä hetkellä tarjoavan parhaan tuoton. Agentti, joka ei koskaan tutki, voi tyytyä huonoon strategiaan; agentti, joka ei koskaan hyödynnä, ei saa hyötyä oppimastaan.

Yksinkertaisia strategioita ovat epsilon‑haitallinen toiminnon valinta, luottamuspohjainen tutkiminen, entropian bonukset ja sisäiset palkintomenetelmät. Turvallisuuskriittisissä ympäristöissä rajoittamaton tutkiminen voi olla epäkelpo, joten simulointi, rajoitteet, offline‑data tai ihmisen valvonta nousevat tärkeiksi.

Keskeiset vahvistusoppimisen lähestymistavat

Arvopohjaiset menetelmät

Q‑opiskelu ja siihen liittyvät algoritmit oppivat toimintoarvot ja johdattavat politiikan valitsemalla korkean arvon toiminnot. Syvä vahvistusoppiminen käyttää neuroverkkoja arvofunktioiden tai politiikkojen approksimoimiseen, kun tilavälit ovat liian suuria taulukolle.

Politiikkagradienttimetodit

Politiikkagradienttimetodit säätävät suoraan parametrisoitua politiikkaa odotetun tuoton parantamiseksi. Ne ovat hyödyllisiä jatkuville toimille ja stokastisille politiikoille, mutta voivat tuottaa korkean varianssin gradienttiarvioita.

Toimija‑kriitikko -menetelmät

Toimija valitsee toiminnot, kun kriitikko arvioi arvoa ja tarjoaa oppimissignaalin. Tämä yhdistää suoran politiikan optimoinnin arviontiin.

Mallipohjainen ja mallivapaa RL

Mallipohjaiset järjestelmät oppivat tai käyttävät siirtymä‑ ja palkkimallia, jotta ne voivat suunnitella. Mallivapaat järjestelmät oppivat arvoja tai politiikkoja ilman, että ympäristöä mallinnetaan eksplisiittisesti. Mallipohjaiset menetelmät voivat käyttää kokemusta tehokkaasti, mutta opitun mallin virheet voivat harhauttaa suunnittelua.

Offline‑vahvistusoppiminen

Offline RL oppii kiinteästä datajoukosta sen sijaan, että keräisi uusia vuorovaikutuksia koulutuksen aikana. Se voi vähentää tutkimisen kustannuksia tai riskejä, mutta agentin on vältettävä toimintojen yliarviointia, jotka ovat huonosti edustettuja datassa.

RLHF ja ihmisen mieltymykset

Ihmisen palautteesta opittu vahvistusoppiminen (RLHF) käyttää mieltymysdataa palkkisignaalin kouluttamiseen tai suoraan politiikan optimointiin. Sitä on käytetty kielenmallien käyttäytymisen sovittamiseen ihmisen arvioihin. Mieltymyksen optimointi ei takaa totuutta tai turvallisuutta: tulokset riippuvat siitä, kuka palautteen antoi, mitä heitä pyydettiin arvioimaan ja miten tavoite suunniteltiin.

Rajoitukset

RL voi vaatia valtavan määrän vuorovaikutuksia, käyttäytyä epävakaasti koulutuksen aikana ja hyödyntää tahattomia oikotieita palkkifunktiossa. Arviointi on vaikeaa, koska tulokset voivat vaihdella satunnaisten siementen ja ympäristön yksityiskohtien mukaan. Hyvä käytäntö sisältää useita suorituksia, läpinäkyvät perusvertailut, rajoitettuja tavoitteita, jakautumisen ulkopuolisia testejä ja palkkijärjestelmän manipuloinnin seurantaa.

RL-ongelman suunnittelu: tila, toiminto, palkkio ja horisontti

Vahvistusoppiminen mallintaa peräkkäisiä päätöksiä. Ympäristö tuottaa havainnon, agentti valitsee toiminnon politiikan alla, ja siirtymä tuottaa palkkion ja seuraavan havainnon. Markovin päätösprosessi olettaa, että tila sisältää tiedon, joka tarvitaan tulevien siirtymien ja palkkioiden ennustamiseen; osittainen havaittavuus vaatii muistia, uskomustilan tai toistuvat esitykset. Alennus säätelee viivästettyjen tulosten painoa, kun taas episodiset ja jatkuvat tehtävät vaativat erilaisia tuottomääritelmiä. Huono tilan tai toiminnon suunnittelu voi tehdä ratkaistavasta tavoitteesta oppimattoman.

Palkkion suunnittelu määrittelee käyttäytymisen epäsuorasti ja on merkittävä epäonnistumisen lähde. Välillistä voidaan käyttää väärin: agentti, jolle palkitaan nopeudesta, saattaa jättää turvallisuuden huomiotta, kun taas agentti, joka saa palkkion vain tehtävän valmistuttua, voi saada liian vähän oppimismerkkiä. Lisää rajoitteita ja lopetussääntöjä todellisten vaatimusten perusteella, testaa palkkion herkkyyttä ja tarkastele trajektioita ei-toivottujen strategioiden varalta. Tutkimismenetelmät tasapainottavat tiedon keräämistä nykyisen tiedon hyödyntämisen kanssa. Off-policy-data voi parantaa näytteen tehokkuutta, mutta käyttäytymisen ja tavoitepolitiikan välinen epäsuhta vaatii siihen suunniteltuja algoritmeja.

Arviointi, simulointi ja turvallinen käyttöönotto

Arvopohjaiset menetelmät arvioivat odotetun tuoton tiloille tai toimille; politiikkagradienttimetodit optimoivat parametrisoitua politiikkaa; toimija‑kriitikko -menetelmät oppivat molempia. Mallipohjainen RL oppii tai käyttää siirtymädynamiikkaa suunnitteluun. Sopiva perhe riippuu toiminnon tyypistä, datasta, simulaattorin tarkkuudesta, horisontista ja vakausvaatimuksista. Vertaa heuristisiin, valvottuihin ja säätöteorian perusvertailuihin. Arvioi keskimääräinen ja pahimman tapauksen tuotto, rajoitteiden rikkominen, näytteen tehokkuus, kestävyys ympäristön muutoksille ja varianssi siementen välillä sen sijaan, että valitsisit suorituksen parhaan oppimiskäyrän perusteella.

Verkko‑tutkiminen voi olla epäkelpo terveydenhuollossa, rahoituksessa, robotiikassa ja infrastruktuurissa. Kouluta simuloinnissa tai kirjatuissa tiedoissa mahdollisuuksien mukaan, kvantifioi simulaattorin ja todellisuuden välinen ero, ja käytä off-policy -arviointia huolellisesti, koska näkemättömillä toimilla ei ole tukea. Käyttöönotto tulisi rajoittaa toimintoja, nopeutta, resursseja ja toiminta‑aluetta; sisällyttää ihmisen hyväksyntä merkittäville valinnoille; ja tarjota turvallinen ohjain tai sammutus. Seuraa palkkioita yhdessä todellisten tulosten kanssa, koska agentti voi parantaa pistettään vahingoittaen samalla tavoiteltua päämäärää. Vahvista uudelleen ympäristön, politiikan tai palkkion muutosten jälkeen.

Käytännön esimerkki: energian ohjaus vahvistusoppimisella

Rakennuksen operoija mallintaa lämpötilan, käyttöasteen, sään, laitteiden tilan ja sähkön hinnan, ja toiminnot rajoittuvat turvallisiin asetusarvojen säätöihin. Palkkio yhdistää mukavuuden, energian, kysyntämaksut ja laitteiden rajoitteet, mutta todelliset mukavuusrikkomukset arvioidaan erikseen, jotta palkkiooptimointi ei voi piilottaa vahinkoa. Historian ohjaus ja mallipohjainen ennustava ohjaus tarjoavat perusvertailut. Koulutus käyttää kalibroitua simulaattoria satunnaistetulla säällä, anturien melulla ja laitteiden tehokkuudella.

Ennen rakennuksen vaikuttamista politiikka ajetaan elävien havaintojen kanssa ilman toimia. Insinöörit tarkastavat trajektorit, rajoitteiden marginaalit ja käyttäytymisen lomien, helleaaltojen, katkosten ja puuttuvien antureiden aikana. Käyttöönotto rajoittaa toimintasuhdetta ja -aluetta sekä säilyttää olemassa olevan turvallisuusohjaimen. Ihminen voi ohittaa sen milloin tahansa. Seuranta vertaa energiaa ja mukavuutta vastaaviin jaksoihin, kirjaa puuttumiset ja peruuttaa, jos rikkomukset, odottamattomat syklit tai mallin epäsopivuus ylittävät määritellyt kynnysarvot.

Toteutustodisteet ja operatiivinen valmius

Tuotantopäätös vaatii enemmän kuin onnistuneen demonstraation. Määritä kohdekäyttäjät, käyttöympäristö, syötteet, tulosteet, riippuvuudet, omistaja ja jokaisen tärkeän vian seuraukset. Perusta toistettavissa oleva perusvertailu ja versionoitua arviointijoukkoa ennen säätöä. Testaa tavallisia tapauksia, reunaehtoja, virheellisiä tai puuttuvia syötteitä, jakautumisen muutosta, riippuvuuksien katkoja, väärinkäyttöä sekä ryhmiä tai ympäristöjä, joille palvelu todennäköisesti puuttuu. Mittaa tehtävän laatua yhdessä kalibroinnin tai epävarmuuden, viiveen, läpimenoajan, resurssikustannusten, saavutettavuuden, yksityisyyden ja turvallisuuden kanssa. Tallenna jokainen muunnos ja kynnysarvo, jotta riippumaton tarkastaja voi toistaa tuloksen ja erottaa todisteet houkuttelevasta prototyypistä.

Ennen lanseerausta määritä vastuuhenkilöt julkaisulle, poikkeuksille, muutoksille, palautukselle ja elinkaaren lopettamiselle. Käytä vaiheistettua käyttöönottoa, säilytä turvallinen varajärjestelmä ja varmista seuranta tarkoituksellisesti injektoiduilla vioilla. Operatiivisen telemetrian tulisi paljastaa syötteen laatu, tulosteen käyttäytyminen, mallin tai säännön versio, riippuvuuksien tila, ihmisen ohitukset ja vahvistetut tulokset keräämättä tarpeettomia arkaluontoisia tietoja. Määritä hälytyskynnysarvot ja vastaavan omistaja, tarkastele sitten todellisia todisteita käyttöönoton jälkeen sen sijaan, että oletetaan offline‑suorituskyvyn jatkuvan. Arvioi uudelleen aina, kun tietolähteet, käyttäjät, mallit, toimittajat, politiikat, laitteisto tai tavoitteet muuttuvat. Ylläpidettävä järjestelmä tarvitsee myös dokumentoidun palautumisen, tapaustiedon oppimisen, poistamisen ja säilyttämisen menettelytavat sekä selkeän pisteen, jossa se tulee poistaa tai korvata.

Ensisijaiset viitteet

• Sutton and Barto: Reinforcement Learning—An Introduction
• Mnih et al.: Playing Atari with Deep Reinforcement Learning