Suurten kielimallien viime vuosien kehityksen vuoksi ei ole yllättävää, että ne toimivat hyvin semanttisina suunnittelijoina peräkkäisissä korkean tason päätöksentekotehtävissä. Niiden koko potentiaalin hyödyntäminen monimutkaisten matalan tason käsittelytaitojen oppimiseen on kuitenkin vaikeaa. Nykyiset mallit tarvitsevat huomattavaa alakohtaista asiantuntemusta yksinkertaistenkin taitojen opettamiseen tai tekstikehotteiden laatimiseen. Niiden suorituskyky jää siksi kauas ihmisen näppäryydestä.

Nvidian (NVDA ), Caltechin, Pennsylvanian yliopiston ja muiden organisaatioiden kehittäjät ovat esitelleet EUREKAn tämän eron kaventamiseksi. Se on kielimalliin perustuva algoritmi ihmistasoiseen palkkioiden suunnitteluun. Se yhdistää koodin kirjoittamisen, asiayhteydessä tapahtuvan parantamisen ja ilman esimerkkejä tapahtuvan generoinnin palkkiokoodin optimointiin. Vahvistusoppimiseen yhdistettynä koodi mahdollistaa monimutkaisten taitojen ja käsittelytehtävien oppimisen.

Tarkastelemme EUREKAn rakennetta, toimintaa ja tuloksia kehityksen näkökulmasta. Kehittäjien mukaan sen luomat palkkiofunktiot päihittävät ihmisten laatimat. Lisäksi tutkimme, miten gradientiton, asiayhteydessä tapahtuva oppiminen avaa uuden lähestymistavan ihmispalautteeseen perustuvaan vahvistusoppimiseen (RLHF).

EUREKA: johdanto

Edistyneet suuret kielimallit, kuten GPT-3 ja GPT-4, toimivat erinomaisesti korkean tason päätöksenteon semanttisina suunnittelijoina. Kehittäjät etsivät silti keinoja parantaa matalan tason käsittelytaitoja, kuten kynän pyörittämistä sormissa. Vahvistusoppiminen voi tuottaa hyviä tuloksia näppäryyttä vaativissa ja muissa tehtävissä, jos ihmiset suunnittelevat palkkiofunktiot huolellisesti. Funktiot antavat oppimissignaaleja toivotusta käyttäytymisestä. Harvat palkkiot vaikeuttavat oppimista käytännön tehtävissä, kun taas palkkion muotoilu tarjoaa asteittaisia oppimissignaaleja. Palkkiofunktioiden suunnittelu on kuitenkin erittäin vaikeaa, ja puutteelliset ratkaisut johtavat usein odottamattomaan käyttäytymiseen.

EUREKA, Evolution-driven Universal REward Kit for Agent, pyrkii vastaamaan näihin haasteisiin seuraavasti:

1. Saavuttamaan ihmistasoisen suorituskyvyn palkkiofunktioiden suunnittelussa.
2. Ratkaisemaan käsittelytehtäviä ilman palkkioiden käsin tehtävää suunnittelua.
3. Luomaan tehokkaampia ja ihmisen tavoitteisiin paremmin sopivia palkkiofunktioita gradientittomalla, asiayhteydessä tapahtuvalla oppimisella perinteisen RLHF-menetelmän sijaan.

Yleistettävyyttä tukee kolme algoritmista valintaa: evoluutiohaku, ympäristö asiayhteytenä ja palkkioiden arviointi palautteen avulla. Ensin ympäristön lähdekoodi annetaan mallille asiayhteydeksi, jotta se tuottaa suoritettavia palkkiofunktioita ilman esimerkkejä. Evoluutiohaku tuottaa jokaisella kierroksella joukon ehdokkaita ja jalostaa lupaavimpia. Lopuksi palkkioreflektio tehostaa parantamista: käytännön oppimistilastoista laadittu tekstiyhteenveto mahdollistaa palkkioiden kohdennetun automaattisen muokkaamisen. Seuraava kuva esittää kokonaisuuden, jonka toimintaa käsitellään tarkemmin jäljempänä.

EUREKA: mallin rakenne ja ongelman määrittely

Palkkion muotoilun tarkoitus on tuottaa muokattu palkkiofunktio alkuperäisen tavoitefunktion pohjalta silloin, kun tämän suora optimointi on vaikeaa esimerkiksi harvojen palkkioiden vuoksi. Suunnittelija voi käyttää alkuperäistä funktiota vain kyselyjen kautta. EUREKA lähestyy asiaa palkkioiden generointina: ohjelmasynteesitehtävänä, joka perustuu palkkion suunnitteluongelmaan (Reward Design Problem, RDP).

RDP on kokonaisuus, johon kuuluvat maailmanmalli tiloineen, palkkiofunktioiden avaruus, siirtymäfunktio ja toimintojen avaruus. Oppimisalgoritmi muodostaa toimintapolitiikan Markov-prosessissa. Politiikan laatua arvioidaan skalaarisella soveltuvuuspisteellä, jota voidaan käyttää politiikkakyselyjen avulla. Tavoitteena on löytää palkkiofunktio, jonka avulla opittu politiikka maksimoi tämän pisteen. EUREKAssa ongelman osat määritellään koodina. Kun tehtävä kuvataan merkkijonolla, palkkiogeneroinnin tavoitteena on kirjoittaa soveltuvuuden maksimoiva palkkiofunktion koodi.

Kolme keskeistä algoritmista osaa ovat evoluutiohaku, joka ehdottaa ja jalostaa palkkioita toistuvasti, ympäristön lähdekoodin käyttö asiayhteytenä suoritettavien palkkioiden tuottamiseen sekä palkkioreflektio yksityiskohtaiseen parantamiseen. Algoritmin pseudokoodi näkyy kuvassa.

Ympäristö asiayhteytenä

Tavallisesti kielimalli tarvitsee ympäristön kuvauksen palkkioiden suunnitteluun. EUREKA antaa suoraan ympäristön alkuperäisen lähdekoodin ilman palkkiokoodia, jolloin maailmanmalli toimii asiayhteytenä. Tästä on kaksi etua. Ensinnäkin koodia tuottavat kielimallit on koulutettu C:n, C++:n, Pythonin ja Javan kaltaisilla kielillä. Ne tuottavat paremmin koodia tutulla syntaksilla ja tyylillä. Toiseksi ympäristön lähdekoodi paljastaa ympäristön merkityksen ja muuttujat, joita tehtävään sopiva palkkiofunktio voi käyttää. Näin EUREKA voi pyytää suoraan suoritettavaa Python-koodia vain yleisten muotoilu- ja palkkiosuunnitteluohjeiden avulla.

Evoluutiohaku

Evoluutiohaku pyrkii ratkaisemaan heikkojen palkkioiden ja suoritusvirheiden ongelmat. Jokaisella kierroksella kielimalli tuottaa useita riippumattomia ehdokkaita. Jos näytteet ovat riippumattomia ja samoin jakautuneita, näytemäärän kasvu vähentää eksponentiaalisesti todennäköisyyttä, että kaikki ehdotetut palkkiofunktiot ovat virheellisiä.

Seuraavaksi EUREKA käyttää edellisen kierroksen suoritettavia funktioita ja muokkaa palkkiota asiayhteydessä tekstipalautteen perusteella. Kielimallien kyky parantaa tuloksia asiayhteydessä ja noudattaa ohjeita mahdollistaa muunnosoperaattorin määrittelyn tekstikehotteena. Toimintapolitiikan oppimisesta tehty tekstiyhteenveto ohjaa olemassa olevan palkkiokoodin muuttamista.

Palkkioreflektio

Muokkauksia varten palkkioiden laatua on arvioitava ja kuvattava sanallisesti. Pelkkä numeerinen soveltuvuuspiste antaa kokonaisarvion, mutta ei kerro, mistä onnistuminen tai epäonnistuminen johtuu. EUREKA käyttää automaattista palautetta, joka tiivistää toimintapolitiikan oppimisen tekstiksi ja auttaa tekemään kohdennetun diagnoosin. Palkkiofunktioita pyydetään lisäksi palauttamaan osatekijänsä erikseen, jotta kunkin komponentin skalaarisia arvoja voidaan seurata oppimisen tarkistuspisteissä koko koulutuksen ajan.

Menettely on yksinkertainen rakentaa mutta tärkeä, koska palkkion optimointi riippuu algoritmista. Palkkiofunktion tehokkuuteen vaikuttaa käytetty vahvistusoppimisalgoritmi, ja hyperparametrien muutos voi muuttaa tulosta samalla optimoijallakin. EUREKA voi siten muokata palkkioita valikoivasti ja tuottaa funktioita, jotka toimivat paremmin yhteen vahvistusoppimisen kanssa.

Oppiminen ja vertailumenetelmät

Kaksi keskeistä osaa ovat toimintapolitiikan oppiminen ja palkkioiden arviointimittarit.

Toimintapolitiikan oppiminen

Kunkin tehtävän lopullista palkkiofunktiota optimoidaan samalla vahvistusoppimisalgoritmilla ja samoilla hyperparametreilla, jotka on säädetty ihmisten suunnittelemille palkkioille sopiviksi.

Palkkioiden arviointimittarit

Koska tehtävien mittarit eroavat asteikoltaan ja merkitykseltään, EUREKA raportoi ihmistuloksiin normalisoidun pistemäärän. Se mahdollistaa vertailun asiantuntijoiden laatimiin palkkioihin varsinaisten tavoitemittarien perusteella.

Kolme pääasiallista vertailumenetelmää ovat L2R, Human ja Sparse.

L2R

L2R on kaksivaiheinen kielimalliin perustuva kehoteratkaisu mallipohjaisten palkkioiden luomiseen. Ensin malli täydentää luonnollisella kielellä annetun ympäristön ja tehtävän kuvausmallin. Toinen malli muuttaa tämän liikkeen kuvauksen koodiksi, joka muodostaa palkkiofunktion kutsumalla käsin kirjoitettuja palkkio-API:n perustoimintoja.

Human

Human-vertailuna ovat vahvistusoppimistutkijoiden alkuperäiset palkkiofunktiot, jotka edustavat korkeatasoista ihmisten tekemää palkkiosuunnittelua.

Sparse

Sparse-vertailun harvat palkkiot vastaavat soveltuvuusfunktioita, joita käytetään generoitujen palkkioiden laadun arviointiin.

Tulokset

Arviointi kattaa vertailun ihmisten palkkioihin, tulosten parantumisen kierrosten myötä, uusien palkkioiden luomisen, kohdennetun parantamisen ja ihmispalautteen hyödyntämisen.

EUREKA päihittää ihmisten suunnittelemat palkkiot

Kuva kokoaa eri testien tulokset. EUREKA saavuttaa ihmisten palkkioiden tason tai ylittää sen sekä Dexterity- että Isaac-tehtävissä. L2R yltää vastaavaan tulokseen matalaulotteisissa tehtävissä, mutta ero kasvaa selvästi korkeaulotteisissa tehtävissä.

Jatkuva parantuminen kierrosten myötä

EUREKAn tärkeä ominaisuus on tulosten jatkuva parantuminen jokaisella kierroksella, kuten kuva osoittaa.

Asiayhteydessä tapahtuva evoluutiohaku tuottaa kierros kierrokselta parempia palkkioita ja ylittää lopulta ihmisten palkkioiden suorituskyvyn.

Uudenlaisten palkkioiden luominen

Palkkioiden uutuusarvoa arvioidaan laskemalla ihmisten ja EUREKAn palkkioiden korrelaatio kaikissa Isaac-tehtävissä. Korrelaatiot esitetään hajontakuvassa suhteessa ihmistuloksiin normalisoituihin pisteisiin. Kukin piste vastaa yhden tehtävän EUREKA-palkkiota. Malli tuottaa pääosin heikosti ihmisten palkkioiden kanssa korreloivia funktioita, jotka kuitenkin päihittävät ne.

Kohdennettu parantaminen

Palkkioreflektion merkitystä tutkittiin poistamalla se järjestelmästä ja rajoittamalla palaute vain hetkellisiin lukuarvoihin. Isaac-tehtävissä keskimääräinen normalisoitu pistemäärä laski noin 29 % ilman reflektiota.

Ihmispalautteen hyödyntäminen

Automaattisen suunnittelun lisäksi EUREKA tarjoaa gradientittoman, asiayhteydessä tapahtuvan lähestymistavan ihmispalautteeseen perustuvaan vahvistusoppimiseen. Sen avulla voidaan yhdistää erilaisia palautteita tehokkaampien ja ihmisen tavoitteisiin sopivien palkkioiden luomiseksi. Kaksi tärkeää havaintoa olivat:

1. EUREKA hyötyy ihmisten laatimista palkkiofunktioista ja voi parantaa niitä.
2. Ihmispalautteen käyttö palkkioreflektiossa ohjaa käyttäytymistä ihmisen tavoitteiden mukaiseksi.

Kuva osoittaa, että ihmisen palkkion käyttäminen lähtökohtana parantaa tehokkuutta ja tuloksia riippumatta alkuperäisen palkkion laadusta. Lähtöpalkkion laatu ei siten vaikuta ratkaisevasti järjestelmän kykyyn parantaa palkkioita asiayhteydessä.

Jälkimmäinen kuva havainnollistaa, miten ihmispalaute auttaa sekä muokkaamaan palkkioita että tuottamaan paremmin ihmisen tavoitteisiin sopivia toimintapolitiikkoja.

Lopuksi

EUREKA hyödyntää kielimallien koodinkirjoituskykyä, asiayhteydessä tapahtuvaa parantamista ja generointia ilman esimerkkejä palkkiokoodin optimointiin. Vahvistusoppimiseen yhdistettynä koodi tukee monimutkaisten taitojen ja käsittelytehtävien oppimista. Järjestelmä luo ihmistasoisia palkkioita monenlaisiin tehtäviin ilman ihmisen puuttumista tai tehtäväkohtaista kehotesuunnittelua. Sen keskeinen vahvuus on monimutkaisten tehtävien oppiminen asteittain vaikeutuvan oppimisen avulla.

Suorituskyky ja monipuolisuus viittaavat siihen, että evoluutioalgoritmien ja suurten kielimallien yhdistelmä voi tarjota skaalautuvan, yleisen tavan suunnitella palkkioita. Sama havainto saattaa soveltua muihinkin avoimiin hakuongelmiin.