Vuonna 2018 esiteltiin ensimmäisen kerran vahvistusoppimisen käsite neuroverkkojen maailmanmallinnuksessa, ja pian tämä periaate sovellettiin maailmanmalleihin. Joitakin merkittäviä malleja, jotka käyttävät vahvistusoppimista, olivat Dreamer-kehyksessä, joka esitteli vahvistusoppimisen latentin avaruuden rekurrentin tila-avaruusmallin avulla. DreamerV2 osoitti, että diskreettisten latenttien käyttö voi johtaa vähemmän kertautuvien virheiden syntymiseen, ja DreamerV3-kehyksessä saavutettiin ihmismäinen suorituskyky useissa tehtävissä eri aloilla kiinteillä hyperparametreillä.

Lisäksi voidaan piirtää yhtäläisyyksiä kuvanluontimallien ja maailmanmallien välillä, mikä osoittaa, että generatiivisten visiomallien edistysaskelten hyödyt voidaan soveltaa maailmanmalleihin. Kun transformerit saivat suosiota luonnollisen kielen prosessoinnissa, DALL-E- ja VQGAN-kehykset syntyivät. Nämä kehykset toteuttivat diskreettiset autoenkooderit muuttaakseen kuvat diskreeteiksi tokeneiksi ja pystyivät rakentamaan erittäin voimakkaita ja tehokkaita teksti-kuvageneraattoreita hyödyntämällä autoregressiivisten transformerien järjestelmällisiä ominaisuuksia. Samaan aikaan diffuusiomallit saivat jalansijaa, ja nykyään diffuusiomallit ovat vakiinnuttaneet itsensä johtavaksi paradigman korkearesoluutioisen kuvanluontiin. Diffuusiomallien ja vahvistusoppimisen tarjoamien mahdollisuuksien ansiosta on tehty yrityksiä yhdistää nämä lähestymistavat hyödyntääkseen diffuusiomallien joustavuutta traektorimallina, palkkiomallina, suunnittelijana ja politiikkana datan täydentämiseksi offline-vahvistusoppimisessa.

Maailmanmallit tarjoavat lupaavan menetelmän vahvistusoppimisen agenttien turvalliseen ja tehokkaaseen koulutukseen. Perinteisesti nämä mallit käyttävät diskreettisten latenttisten muuttujien sarjoja ympäristön dynamiikan simuloimiseen. Kuitenkin tämä pakkaus voi ohittaa visuaaliset yksityiskohdat, jotka ovat tärkeitä vahvistusoppimiselle. Samaan aikaan diffuusiomallit ovat saaneet suosiota kuvanluontiin, haastamalla perinteiset menetelmät, jotka käyttävät diskreettisiä latentteja. Tästä vaikutuksesta lähtien tässä artikkelissa käsitellään DIAMONDia (DIffusion As a Model Of eNvironment Dreams), vahvistusoppimisen agenttia, joka on koulutettu diffuusiomaailmanmallissa. Tarkastelemme tarvittavia suunnitteluratkaisuja, jotta diffuusiosta voidaan tehdä soveltuva maailmanmallinnukseen, ja osoitamme, että parannetut visuaaliset yksityiskohdat johtavat parempaan agentin suorituskykyyn. DIAMOND asettaa uuden vertailukohdan kilpailukykyisellä Atari 100k -testillä, saavuttaen keskimääräisen ihmisen normaaloidun pisteytyksen 1,46, korkeimman agenteille, jotka on koulutettu kokonaan maailmanmallissa. Toimimalla kuvatilassa DIAMONDin diffuusiomaailmanmalli voi vaihtaa ympäristön vaivattomasti, tarjoten syvemmän ymmärryksen maailmanmallin ja agentin käyttäytymisestä. Merkittävästi parannettu suorituskyky tietyissä peleissä voidaan attribuoida paremmaksi visuaalisten yksityiskohtien mallinnukseksi.

DIAMOND: Visuaaliset yksityiskohdat ovat tärkeitä Atari- ja diffuusioprosessien maailmanmallinnuksessa

Maailmanmallit eli generatiiviset ympäristömallit ovat kehittyneet yhdeksi tärkeimmistä komponenteista generatiivisille agenteille, jotta ne voivat suunnitella ja päätellä ympäristöistään. Vaikka vahvistusoppimisen käyttö on saavuttanut merkittävää menestystä viime vuosina, vahvistusoppimisen toteuttavat mallit ovat tunnettuja siitä, että ne ovat näyte-ineffisiä, mikä rajoittaa niiden soveltamista merkittävästi. Toisaalta maailmanmallit ovat osoittaneet kykynsä kouluttaa vahvistusoppimisen agenteja tehokkaasti erilaisissa ympäristöissä ja parantaa näytemäärää, mikä mahdollistaa mallin oppimisen todellisista kokemuksista. Viimeaikaiset maailmanmallikehykset mallintavat yleensä ympäristön dynamiikkaa diskreettisten latenttisten muuttujien sarjana, ja malli diskretisoi latentin avaruuden välttääkseen kertautuvat virheet monivaiheisilla aikahorisonteilla. Vaikka lähestymistapa voi tuottaa merkittäviä tuloksia, se on myös liitetty tietojen menetykseen, josta seuraa rekonstruktio-laadun ja yleisyyden menetys. Tietojen menetys voi muodostua merkittäväksi esteeksi todellisissa tilanteissa, joissa tieto on hyvin määritelty, kuten esimerkiksi itseohjautuvien ajoneuvojen koulutuksessa. Näissä tehtävissä pienet muutokset tai visuaaliset yksityiskohdat, kuten liikennevalon väri tai edessä olevan ajoneuvon suunnanmuutos, voivat muuttaa agentin politiikkaa. Vaikka diskreettisten latenttien määrän lisääminen voi auttaa välttämään tietojen menetyksen, se lisää laskennallisia kustannuksia merkittävästi.

Lisäksi viime vuosina diffuusiomallit ovat saaneet jalansijaa korkealaatuisissa kuvageneraattorikehyksissä, koska ne oppivat kääntämään häikäisprosessin ja kilpailevat joistakin vakiintuneista lähestymistavoista, jotka mallintavat diskreettisiä tokenia, ja tarjoavat lupaavan vaihtoehdon diskretisaation poistamiseksi maailmanmallinnuksesta. Diffuusiomallit ovat tunnettuja kyvystään ehdollistaa helposti ja mallintaa monimutkaisia, monimodalisia jakaumia ilman moodin romahdusta. Nämä ominaisuudet ovat tärkeitä maailmanmallinnukselle, koska ehdollistaminen mahdollistaa maailmanmallin heijastaa agentin toimia tarkasti, johtaen luotettavampaan hyödyn määritykseen. Lisäksi monimodaalisten jakaumien mallinnus tarjoaa suuremman monimuotoisuuden koulutusenarioita agentille, parantaen sen kokonaisuuden suorituskykyä.

Rakentamalla näiden ominaisuuksien varaan, DIAMOND (DIffusion As a Model Of eNvironment Dreams) on vahvistusoppimisen agentti, joka on koulutettu diffuusiomaailmanmallissa. DIAMOND-kehyksessä tehdään huolellisia suunnitteluratkaisuja, jotta diffuusiomaailmanmalli pysyy tehokkaana ja vakaana pitkillä aikahorisonteilla. Kehyksessä esitetään laadullinen analyysi, joka osoittaa näiden suunnitteluratkaisujen tärkeyden. DIAMOND asettaa uuden vertailukohdan Atari 100k -benchmarkilla saavuttaen keskimääräisen ihmisen normaaloidun pisteytyksen 1,46, korkeimman agenteille, jotka on koulutettu kokonaan maailmanmallissa. Toimimalla kuvatilassa DIAMONDin diffuusiomaailmanmalli voi vaihtaa ympäristön vaivattomasti, tarjoten syvemmän ymmärryksen maailmanmallin ja agentin käyttäytymisestä. Merkittävästi parannettu suorituskyky tietyissä peleissä voidaan attribuoida paremmaksi visuaalisten yksityiskohtien mallinnukseksi. DIAMOND-kehyksessä ympäristö mallinnetaan standardina POMDP:na eli osittain havaittavissa olevana Markovin päätöksenteon prosessina, jossa on joukko tiloja, joukko diskreettisiä toimia ja joukko kuvahavaintoja. Siirtymäfunktiot kuvaavat ympäristön dynamiikkaa, ja palkkiofunktiot kuvaavat siirtymien skalaariset palkkiot.

DIAMOND: Menetelmä ja Arkkitehtuuri

Diffuusiomallit ovat luonteeltaan generatiivisia malleja, jotka generoivat näytteen kääntämällä häikäisprosessin, ja ne ovat vahvasti inspiroituja epätasapainotilojen termodynamiikasta. DIAMOND-kehyksessä tarkastellaan diffuusioprosessia, joka on indeksoitu jatkuvalla aikamuuttujalla, ja siihen liittyvät marginaalit ja reunaehdot, joilla on helppo ymmärtää etenemisjakauma. Lisäksi, jotta voidaan saada generatiivinen malli, joka kartoittaa melusta dataan, DIAMOND-kehyksessä on käännettävä prosessi, ja kääntäminen on myös diffuusioprosessi, joka suoritetaan taaksepäin ajassa. Lisäksi kullakin hetkellä ei ole helppoa arvioida pistefunktiota, koska DIAMOND-kehyksessä ei ole pääsyä todelliseen pistefunktiota, ja malli ylittää tämän esteen toteuttamalla pistefunktion sopimisen, joka on lähestymistapa, joka mahdollistaa pistemallin kouluttamisen ilman, että todellinen pistefunktiota tunnetaan. Pisteperäinen diffuusiomalli tarjoaa ehdottoman generatiivisen mallin. Kuitenkin ehdollinen generatiivinen malli ympäristön dynamiikasta vaaditaan toimimaan maailmanmallina, ja tätä tarkoitusta varten DIAMOND-kehyksessä tarkastellaan yleistä tapauksessa POMDP-lähestymistapaa, jossa kehyksessä voidaan hyödyntää aiempia havaintoja ja toimia arvioimaan tuntematonta Markovin tilaa. Kuten kuvassa 1 on havaittavissa, DIAMOND-kehyksessä hyödynnetään tätä historiaa ehdollistamaan diffuusiomallia arvioimaan ja generoimaan seuraavan havainnon suoraan. Vaikka DIAMOND-kehyksessä voidaan käyttää teoriassa mitä tahansa SDE- tai ODE-ratkaisijaa, on tasapaino NFE:n (Funktiokutsujen määrä) ja näytteen laadun välillä, mikä vaikuttaa diffuusiomallien inferencekustannuksiin merkittävästi.

Rakentamalla edellä mainittujen oppimisten varaan, tarkastellaan nyt DIAMOND-kehyksen käytännön toteutusta diffuusiopohjaisesta maailmanmallista, mukaan lukien drift- ja diffuusiokertoimet, jotka liittyvät tiettyyn diffuusiolähestymistapaan. Sen sijaan, että valittaisiin DDPM, joka on luonnollinen ehdokas tehtävään, DIAMOND-kehyksessä rakennetaan EDM-formulaation varaan, ja tarkastellaan häikäisykernelia, jossa on reaaliarvoinen diffuusioprosessin aikafunktiota kutsutaan häikäisajaksi. Kehyksessä valitaan esikäsitellyt, jotta syötteen ja tulosteen varianssi voidaan pitää samana millä tahansa äänitasolla. Verkon koulutus yhdistää signaalin ja melun adaptiivisesti häikäisasteen mukaan, ja kun melu on alhainen, kohde on ero clean- ja häikäistyssignaalin välillä, eli lisätty gaussian-melu. Intuitiivisesti tämä estää koulutuskohteen muuttumisen triviaaliksi alhaisessa melualueessa. Käytännössä tämä kohde on korkean varianssin omistaja äärilaitojen lähellä, joten malli ottaa melun tason log-normaalijakaumasta, joka on valittu empiirisesti, jotta koulutus voidaan koota keskimmäisissä melualueissa. DIAMOND-kehyksessä käytetään standard U-Net 2D -komponenttia vektorikentälle, ja säilytetään puskuria aiemmista havainnoista ja toimista, joita kehyksessä käytetään ehdollistamiseen. Sitten kehyksessä yhdistetään nämä aiemmat havainnot seuraavaan häikäistyyn havaintoon ja syötetään toimet adaptiivisesti ryhmittäin normalisointiluokissa U-Netin jäännöksellisissä osissa.

DIAMOND: Kokeet ja Tulokset

Perusteellisen arvioinnin vuoksi DIAMOND-kehyksessä valitaan Atari 100k -benchmark. Atari 100k -benchmark koostuu 26 pelistä, jotka on suunniteltu testaamaan laajan joukon agenttien kykyjä. Jokaisessa pelissä agentti on rajoitettu 100 000 toimintaan ympäristössä, mikä vastaa noin kahden tunnin ihmispeliä, jotta se voi oppia peliä ennen arviointia. Vertailun vuoksi rajoittamattomat Atari-agentit koulutetaan yleensä 50 miljoonalla askeleella, mikä edustaa 500-kertaista kokemuslisäystä. Koulutimme DIAMONDin alusta lähtien käyttäen viittä satunnaista siementä kullekin pelille. Jokainen koulutussuoritus vaati noin 12 GB VRAM:ia ja kesti noin 2,9 päivää yhdellä Nvidia RTX 4090:llä, mikä vastaa 1,03 GPU-vuotta yhteensä. Seuraava taulukko esittää pisteytyksen kaikille peleille, keskimääräisen ja IHM:n (ihmisen normaaloidun pisteytyksen) keskiarvon.

Pisteytysarvioiden rajoitusten mukaisesti DIAMOND-kehyksessä esitetään stratifioitu bootstrap-luottamusväli keskimääräiselle ja IHM:lle, sekä suorituskykyprofiilit ja lisämetriikat, kuten yhteenvetona seuraavassa kuvassa.

Tulokset osoittavat, että DIAMOND suoriutuu erinomaisesti koko benchmarkilla, ylittäen ihmispelaajat 11 pelissä ja saavuttaen yli-ihmisen keskimääräisen IHM-pisteytyksen 1,46, asettaen uuden ennätyksen agenteille, jotka on koulutettu kokonaan maailmanmallissa. Lisäksi DIAMONDin IHM on vertailukelpoinen STORM:iin ja ylittää kaikki muut vertailukohteet. DIAMOND menestyy erityisesti ympäristöissä, joissa visuaalisten yksityiskohtien mallinnus on kriittistä, kuten Asterix, Breakout ja RoadRunner. Lisäksi, kuten aiemmin mainittiin, DIAMOND-kehyksessä on joustavuus toteuttaa mikä tahansa diffuusiomalli sen pipelineen, vaikka se valitsee EDM-lähestymistavan, se olisi luonnollinen valinta, koska se on jo toteutettu useissa kuvageneraattorisovelluksissa. Vertailemalla EDM-lähestymistapaa DDPM-toteutukseen, DIAMOND-kehyksessä koulutetaan molempia variantteja samalla verkkoarkkitehtuurilla samalla jaettulla staattisella tietojoukolla, joka sisältää yli 100 000 kehysää. DENOISING-kertojen määrä on suoraan liitetty maailmanmallin inferencekustannuksiin, ja vähemmän askelia vähentää koulutuksen kustannuksia. Pyrimme käyttämään korkeintaan kymmenen DENOISING-askelta, mieluummin vähemmän. Kuitenkin asettamalla DENOISING-askelten määrä liian alhaiseksi, visuaalinen laatu heikkenee, johtaen kertautuviin virheisiin. Arvioidaksemme eri diffuusiovarianttien stabiilisuutta, näytämme kuvitteellisia trajektoreita, jotka on generoitu autoregressiivisesti aina t = 1000 aikaskaalaan asti, käyttäen eri määrää DENOISING-askelia n ≤ 10, kuten seuraavassa kuvassa.

Havaitsemme, että käyttämällä DDPM:ää (a) tässä tilanteessa johtaa vakaviin kertautuvien virheiden syntymiseen, aiheuttaen maailmanmallin nopeaan poiskulkeutumiseen. Sen sijaan EDM-pohjainen diffuusiomaailmanmalli (b) säilyy paljon stabiilimmana pitkillä aikahorisonteilla, jopa yhdellä DENOISING-askelilla. Kuvitteelliset trajektoriat, jotka perustuvat diffuusiomaailmanmalleihin DDPM:ään (vasen) ja EDM:ään (oikea) on esitetty. Alkuperäinen havainto t = 0 on sama molemmille, ja jokainen rivi vastaa vähenevää DENOISING-askelten määrää n. Havaitsemme, että DDPM-pohjainen generointi kärsii kertautuvista virheistä, ja pienemmät DENOISING-askelten määrät johtavat nopeampaan virheen kertymiseen. Sen sijaan DIAMONDin EDM-pohjainen maailmanmalli säilyy paljon stabiilimmana, jopa kun n = 1. Ihannetapaus yhden askelen ennustetta on odotusarvo mahdollisista rekonstruktioista annetun häikäistyn havainnon kohdalla, mikä voi olla epätyypillinen, jos takaisinmaksujakauma on monimodaalinen. Vaikka joitakin pelejä, kuten Breakout, on deterministisiä siirtymiä, jotka voidaan mallintaa yhdellä DENOISING-askelilla, toisissa peleissä on osittain havaittavissa olevia siirtymiä, joissa havaintojen jakauma on monimodaalinen. Näissä tapauksissa iteratiivinen ratkaisija on tarpeen ohjata näyteprosessia tietyn moodin suuntaan, kuten kuvassa esitetään Boxing-pelissä. Seuraavassa kuvassa vertaillaan yhden askelen (ylärivi) ja monen askelen (alarivi) näytteiden ottamista Boxing-pelissä. Mustan pelaajan liikkeet ovat ennalta arvaamattomia, joten yhden askelen DENOISING-johtaa interpolointiin mahdollisten tuloksien välillä, johtaen epäselviin ennusteisiin. Sen sijaan monen askelen näytteiden ottaminen tuottaa selkeän kuvan ohjaten generointia tietyn moodin suuntaan. Mielenkiintoista kuitenkin on, että koska politiikka ohjaa valkoista pelaajaa, hänen toimintansa on maailmanmallille tunnettu, poistaa epävarmuuden. Siksi sekä yhden askelen että monen askelen näytteiden ottaminen ennustaa oikein valkoisen pelaajan sijainnin.

Yllä olevassa kuvassa näytetään trajektoriat, jotka on kuviteltu DIAMONDilla. Ne ovat yleensä visuaalisesti laadukkaampia ja uskollisempia todelliselle ympäristölle verrattuna IRIS:in kuvittelemiin trajektoreihin. IRIS:in generoimat trajektoriat sisältävät visuaalisia epäjohdonmukaisuuksia kehyksissä (korostettu valkoisilla ruuduilla), kuten vihollisten näyttäminen palkkioina ja päinvastoin. Vaikka nämä epäjohdonmukaisuudet voivat vaikuttaa vain muutamaan pikseliin, ne voivat merkittävästi vaikuttaa vahvistusoppimiseen. Esimerkiksi agentti yleensä pyrkii kohdistamaan palkkioita ja välttämään vihollisia, joten nämä pienet visuaaliset epäjohdonmukaisuudet voivat tehdä sen haasteelliseksi oppia optimaalista politiikkaa. Kuvassa on peräkkäisiä kehyksiä, jotka on kuviteltu IRIS:illä (vasen) ja DIAMONDilla (oikea). Valkoiset ruudut korostavat epäjohdonmukaisuuksia kehysissä, jotka esiintyvät vain IRIS:in generoimissa trajektoreissa. Asterix-pelissä (ylärivi) vihollinen (oranssi) muuttuu palkkioksi (punainen) toisessa kehyksessä, muuttuu takaisin viholliseksi kolmannessa kehyksessä ja jälleen palkkioksi neljännessä kehyksessä. Breakout-pelissä (keskirivi) tiilet ja pisteet ovat epäjohdonmukaisia kehysissä. Road Runner -pelissä (alarivi) palkkiot (pienet siniset pisteet tiellä) ovat epäjohdonmukaisesti renderöity kehysissä. Nämä epäjohdonmukaisuudet eivät esiinny DIAMONDilla. Breakout-pelissä pisteet päivitetään luotettavasti +7, kun punainen tiili rikkoontuu.

Johtopäätös

Tässä artikkelissa on käsitelty DIAMONDia, vahvistusoppimisen agenttia, joka on koulutettu diffuusiomaailmanmallissa. DIAMOND-kehyksessä tehdään huolellisia suunnitteluratkaisuja, jotta diffuusiomaailmanmalli pysyy tehokkaana ja vakaana pitkillä aikahorisonteilla. Kehyksessä esitetään laadullinen analyysi, joka osoittaa näiden suunnitteluratkaisujen tärkeyden. DIAMOND asettaa uuden vertailukohdan Atari 100k -benchmarkilla saavuttaen keskimääräisen ihmisen normaaloidun pisteytyksen 1,46, korkeimman agenteille, jotka on koulutettu kokonaan maailmanmallissa. Toimimalla kuvatilassa DIAMONDin diffuusiomaailmanmalli voi vaihtaa ympäristön vaivattomasti, tarjoten syvemmän ymmärryksen maailmanmallin ja agentin käyttäytymisestä. Merkittävästi parannettu suorituskyky tietyissä peleissä voidaan attribuoida paremmaksi visuaalisten yksityiskohtien mallinnukseksi. DIAMOND-kehyksessä ympäristö mallinnetaan standardina POMDP:na eli osittain havaittavissa olevana Markovin päätöksenteon prosessina, jossa on joukko tiloja, joukko diskreettisiä toimia ja joukko kuvahavaintoja. Siirtymäfunktiot kuvaavat ympäristön dynamiikkaa, ja palkkiofunktiot kuvaavat siirtymien skalaariset palkkiot.