Mitä suora preferenssioptimointi (DPO) on? Yksinkertaisempi vaihtoehto RLHF:lle

Suorassa preferenssioptimoinnissa politiikkamallia koulutetaan vastauspareilla, joissa toinen vastaus on asetettu toisen edelle ja toinen hylätty. Koulutuksessa käytetään luokittelutyyppistä tavoitefunktiota, joka pohjautuu vertailumalliin.

Suora preferenssioptimointi ansaitsee täsmällisen selityksen, sillä sen nimi viittaa tiettyyn tiedonkulkuun, koulutusvalintaan, ajonaikaiseen mekanismiin tai hallinnan rajaan. Jos sitä pidetään ”edistyneen tekoälyn” synonyymina, väitteitä ei voi testata. Tässä oppaassa käsitettä tarkastellaan syötteestä ja oletuksista havaittavaan tulokseen asti, minkä jälkeen testataan sitä lähinnä oleva oikopolku, johon se sekoitetaan herkimmin.

Suora preferenssioptimointi: määritelmä, rajaus ja tarkoitus

Suorassa preferenssioptimoinnissa politiikkamallia koulutetaan vastauspareilla, joissa toinen vastaus on asetettu toisen edelle ja toinen hylätty. Koulutuksessa käytetään luokittelutyyppistä tavoitefunktiota, joka pohjautuu vertailumalliin. Määritelmä sisältää kolme käytännön sitoumusta: syöte on yksilöitävissä, suora preferenssioptimointi määrittää sille ominaisen muunnoksen tai päätöksen ja tulosta voidaan arvioida ilmoitetun tavoitteen perusteella. Jos jokin näistä osista puuttuu, nimitys voi kuvata tavoitetta eikä toteutettua mekanismia.

Nykyaikaisissa tekoälyjärjestelmissä abstraktiot rakentuvat toistensa päälle: esitysmuodot tukevat arkkitehtuureja, esikoulutus luo uudelleenkäytettäviä kyvykkyyksiä, mukauttaminen muuttaa toimintaa ja käyttöönoton optimoinnit määrittävät, mikä on käytännössä mahdollista. Suorassa preferenssioptimoinnissa tämä järjestelmänäkökulma on tärkeä, sillä suorituskykyyn voivat vaikuttaa ympäröivä data, rajapinnat, laitteisto, käyttöoikeudet ja ihmiset, vaikka itse malli pysyisi ennallaan. Siksi hyödyllisessä selityksessä erotetaan mallin oppima toiminta siitä tuotteesta, joka päättää, milloin ja missä toimintaa käytetään ja millaisin valtuuksin.

Lähin harhaanjohtava oikopolku on RLHF-putki, jossa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkamallia vahvistusoppimisella. Menetelmällä voi olla suoran preferenssioptimoinnin kanssa jokin näkyvä yhteinen piirre, mutta syy-seuraussuhteet ovat erilaiset: onnistumisen osoittamiseen tarvitaan erilaista näyttöä, kustannuksia määrittävät eri resurssit ja haittoja ehkäisevät eri hallintakeinot. Raja on siis toiminnallinen, ei terminologinen.

Suoran preferenssioptimoinnin viisivaiheinen toimintamalli

Kaavio on tiivis syy-seuraussuhteita kuvaava malli suorasta preferenssioptimoinnista, ei väite siitä, että jokaisessa toteutuksessa olisi viisi ohjelmistokomponenttia. Joissakin järjestelmissä vaiheet yhdistyvät, toisissa niitä toistetaan silmukassa. Malli on silti hyödyllinen, sillä se edellyttää, että jokaisella tiedon tai toimivallan muutoksella on vastuuhenkilö, syöte, tulos ja testi.

1. Kerää kehotteita ja niihin liittyviä paremmuusjärjestykseen asetettuja vastauspareja: suoran preferenssioptimoinnin syöte ja oletukset

Tässä suoran preferenssioptimoinnin vaiheessa järjestelmän on kerättävä kehotteita ja niihin liittyviä paremmuusjärjestykseen asetettuja vastauspareja. Olennaista ei ole vain se, tapahtuuko kyseinen vaihe, vaan myös se, mitä tietoa siinä käytetään, mitä tilaa muutetaan ja millä näytöllä muutoksen kelvollisuus osoitetaan. Arvioijan pitäisi pystyä erottamaan tämä vaihe RLHF-putkesta, jossa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkamallia vahvistusoppimisella, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Siirtyminen tähän suoran preferenssioptimoinnin vaiheeseen alkaa ilmoitetusta tavoitteesta, ja sen pitäisi päättyä tulokseen, jonka avulla voidaan pisteyttää politiikkamallin suhteellinen preferenssi. Kirjaa epävarmuus, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajalla sovelletut ihmisen tai ohjelmiston tekemät hallintatoimet. Tämän jäljen avulla tiimit voivat havaita, palkitseeko preferenssidata tyylikkyyttä, laveasanaisuutta tai arvioijan vinoumaa tosiasiallisen oikeellisuuden sijaan, ennen kuin sama heikkous päätyy merkitykselliseen lopputulokseen.

2. Pisteytä politiikkamallin suhteellinen preferenssi: suoran preferenssioptimoinnin esitysmuoto tai päätös

Tässä suoran preferenssioptimoinnin vaiheessa järjestelmän on pisteytettävä politiikkamallin suhteellinen preferenssi. Olennaista ei ole vain se, tapahtuuko kyseinen vaihe, vaan myös se, mitä tietoa siinä käytetään, mitä tilaa muutetaan ja millä näytöllä muutoksen kelvollisuus osoitetaan. Arvioijan pitäisi pystyä erottamaan tämä vaihe RLHF-putkesta, jossa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkamallia vahvistusoppimisella, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Tähän suoran preferenssioptimoinnin vaiheeseen siirrytään keräämällä kehotteita, joihin liittyy paremmuusjärjestykseen asetettuja vastauspareja. Vaiheen tuloksena pitäisi olla aineisto, jonka avulla vastauksia voidaan verrata vertailupolitiikkaan. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät ohjaukset. Näin dokumentoidun jäljen avulla tiimit voivat havaita, palkitseeko preferenssidata tyylin, pitkäsanaisuuden tai arvioijan vinouman sen sijaan, että se palkitsisi varsinaisesta oikeellisuudesta, ennen kuin sama heikkous päätyy merkittäviä seurauksia aiheuttavaan tulosteeseen.

3. Vertaaminen vertailupolitiikkaan: suoran preferenssioptimoinnin tunnusomainen muutos

Suoran preferenssioptimoinnin tässä vaiheessa järjestelmän on verrattava mallia vertailupolitiikkaan. Olennaista ei ole vain se, tapahtuuko vertailu, vaan myös se, mitä tietoa vertailussa käytetään, mihin tilaan se vaikuttaa ja millä näytöllä voidaan osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan tämä vaihe RLHF-putkista, joissa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkaa vahvistusoppimisella, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Tähän suoran preferenssioptimoinnin vaiheeseen siirrytään laskemalla politiikan suhteellinen preferenssi, ja vaiheen tuloksena pitäisi olla aineisto, jonka avulla malli voidaan päivittää suoraan preferenssitavoitteen pohjalta. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät ohjaukset. Näin dokumentoidun jäljen avulla tiimit voivat havaita, palkitseeko preferenssidata tyylin, pitkäsanaisuuden tai arvioijan vinouman sen sijaan, että se palkitsisi varsinaisesta oikeellisuudesta, ennen kuin sama heikkous päätyy merkittäviä seurauksia aiheuttavaan tulosteeseen.

4. Mallin päivittäminen suoraan preferenssitavoitteen pohjalta: suoran preferenssioptimoinnin rajoite- ja varmennusraja

Suoran preferenssioptimoinnin tässä vaiheessa järjestelmän on päivitettävä mallia suoraan preferenssitavoitteen pohjalta. Olennaista ei ole vain se, tapahtuuko päivitys, vaan myös se, mitä tietoa siinä käytetään, mihin tilaan se vaikuttaa ja millä näytöllä voidaan osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan tämä vaihe RLHF-putkista, joissa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkaa vahvistusoppimisella, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Tähän suoran preferenssioptimoinnin vaiheeseen siirrytään vertaamalla mallia vertailupolitiikkaan, ja vaiheen tuloksena pitäisi olla aineisto, jonka avulla voidaan arvioida hyödyllisyyttä ja tahattomia muutoksia. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät ohjaukset. Näin dokumentoidun jäljen avulla tiimit voivat havaita, palkitseeko preferenssidata tyylin, pitkäsanaisuuden tai arvioijan vinouman sen sijaan, että se palkitsisi varsinaisesta oikeellisuudesta, ennen kuin sama heikkous päätyy merkittäviä seurauksia aiheuttavaan tulosteeseen.

5. Hyödyllisyyden ja tahattomien muutosten arviointi: suoran preferenssioptimoinnin tuloste, palaute ja pysäytyssääntö

Suoran preferenssioptimoinnin tässä vaiheessa järjestelmän on arvioitava hyödyllisyyttä ja tahattomia muutoksia. Olennaista ei ole vain se, tapahtuuko arviointi, vaan myös se, mitä tietoa siinä käytetään, mihin tilaan se vaikuttaa ja millä näytöllä voidaan osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan tämä vaihe RLHF-putkista, joissa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkaa vahvistusoppimisella, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Tähän suoran preferenssioptimoinnin vaiheeseen siirrytään päivittämällä mallia suoraan preferenssitavoitteen pohjalta, ja vaiheen tuloksena pitäisi olla aineisto, jonka avulla voidaan seurata toimintaa tai tehdä lopullinen päätös. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät ohjaukset. Näin dokumentoidun jäljen avulla tiimit voivat havaita, palkitseeko preferenssidata tyylin, pitkäsanaisuuden tai arvioijan vinouman sen sijaan, että se palkitsisi varsinaisesta oikeellisuudesta, ennen kuin sama heikkous päätyy merkittäviä seurauksia aiheuttavaan tulosteeseen.

Lue suoran preferenssioptimoinnin kaaviota etenemissuunnassa ymmärtääksesi tuotantokäyttöä ja takaperin diagnosoidaksesi ongelmia. Etenemissuunnassa tarkastellaan, miten kukin vaihe tarjoaa lähtötiedot seuraavalle. Takaperin analyysi alkaa virheellisestä, hitaasta, kalliista tai turvattomasta tuloksesta ja jäljittää, mikä aiempi oletus mahdollisti sen. Usein juuri käänteistä polkua seuraamalla tiimi huomaa, että ratkaiseva virhe tapahtui jo ennen kuin malli tuotti mitään.

Esimerkki suoran preferenssioptimoinnin toiminnasta

Kun käytettävissä on kaksi vastausta, DPO kasvattaa suositun vastauksen suhteellista todennäköisyyttä käynnistämättä verkossa toimivaa palkkio-optimoinnin silmukkaa.

Tämä esimerkki on havainnollinen, koska suora preferenssioptimointi voidaan yhdistää havaittaviin syötteisiin, välitiloihin ja lopputulokseen sen sijaan, että sitä arvioitaisiin viimeistellyn demonstraation perusteella. Perusteellisessa testissä skenaarion ympärille laadittaisiin tavanomaisia, vaikeita ja tarkoituksella harhaanjohtavia tapauksia, säilytettäisiin vertailutaso ilman tätä tekniikkaa ja kirjattaisiin sekä keskimääräinen suorituskyky että yksittäisten virheiden vakavuus.

Muuta yhtä suoran preferenssioptimoinnin esimerkin oletusta ja toista analyysi. Poista vaadittu syöte, lisää ristiriitainen signaali, rajoita laskentatehoa, muuta käyttäjäjoukkoa tai pakota järjestelmä pidättäytymään vastaamasta. Mekanismin toimivuus ei ole osoitettu käytännön toimintaympäristössä, jos se onnistuu vain yhden tarkoin järjestetyn demonstraation olosuhteissa.

Suora preferenssioptimointi verrattuna sen yleisimpään oikopolkuun

Suora preferenssioptimointi pelkistetään usein RLHF-putkiksi, joissa ensin koulutetaan palkkiomalli ja sen jälkeen optimoidaan politiikkaa vahvistusoppimisella. Tällainen pelkistys häivyttää juuri sen rajan, joka määrittää käsitteen. Se voi johtaa ostajia vertailemaan keskenään erilaisia tuotteita, tutkijoita liioittelemaan sitä, mitä koe osoittaa, ja ylläpitäjiä seuraamaan käyttöönoton jälkeen väärää signaalia.

Vertailussa pitäisi myös määritellä analyysin kohde. Suoraa preferenssioptimointia käsittelevässä tutkimuksessa voidaan tarkastella erikseen mallia tai algoritmia, kun taas käyttöön otettu palvelu sisältää lisäksi tiedonhakua, reititystä, välimuistitusta, käytäntöjä, identiteetinhallintaa, käyttöliittymiä ja seurantaa. Kaksi tuotetta voi käyttää samaa näkyvää termiä mutta toteuttaa pinon eri osia. Selvitä, mikä komponentti suorittaa määrittävän muunnoksen ja mitkä muut komponentit ovat välttämättömiä raportoidun tuloksen saavuttamiseksi.

Miksi suoralla preferenssioptimoinnilla on merkitystä nykyisissä tekoälyjärjestelmissä

Suoralla preferenssioptimoinnilla on nyt merkitystä, koska tekoälyjärjestelmille annetaan laajempia konteksteja, enemmän modaliteetteja, enemmän laskentatehoa käytön aikana, laajempi pääsy työkaluihin ja syvempi yhteys organisaatioiden päätöksentekoon. Näissä oloissa aiemmin pelkältä tutkimuksen yksityiskohdalta vaikuttanut asia voi ratkaista viiveen, tietoturvan, saavutettavuuden, ympäristökustannukset, tuotteen laadun tai oikeudellisen vastuun.

Olennaista ei ole se, pystyykö suora preferenssioptimointi tuottamaan yhden vaikuttavan tuloksen. Olennaista on, parantaako menetelmä merkityksellistä tulosta edustavissa olosuhteissa ja tekeekö se sen yksinkertaista vertailutasoa tehokkaammin. Raportoi jakaumat, virheluokat, viivejakauman häntäpään, resurssien käytön ja vaikutuksen alaiset alaryhmät sen sijaan, että tiivistäisit kaikki tulokset yhdeksi keskiarvoksi.

Oikea tekninen valinta riippuu työkuormasta ja laitteistosta. Vertaa yksinkertaiseen vertailutasoon, mittaa laatua edustavissa osajoukoissa ja seuraa muistinkäyttöä, viivettä, kustannuksia ja ylläpidettävyyttä vertailutestin tarkkuuden rinnalla. Kun tätä toimintatapaa sovelletaan nimenomaan suoraan preferenssioptimointiin, tulokset ovat siirrettävissä: toinen tiimi voi arvioida, säilyykö väitetty hyöty todennäköisesti käytettäessä toista mallia, kieltä, laitteistoalustaa, tietojoukkoa tai käyttäjäryhmää tai sovellettaessa erilaista riskinsietoa.

Suoralla preferenssioptimoinnilla saavutettavat hyödyt

Vahvin peruste käyttää suoraa preferenssioptimointia on se, että sillä voidaan puuttua suoraan siihen pullonkaulaan, jota varten menetelmä on tarkoitettu. Toteutuksesta riippuen hyöty voi näkyä parempana ankkuroitumisena lähteisiin, uskollisempana esityksenä, parempana yleistämiskykynä, pienempänä viiveenä, vähäisempinä muistisiirtoina, selkeämpänä vastuunjakona tai turvallisempana rajana mallin ehdotuksen ja todellisen toiminnan välillä.

Hyödyt pitäisi ilmaista päätöksinä ja mittareina. ”Älykkäämpi” ei ole suoran preferenssioptimoinnin hyväksymiskriteeri. Hyödyllinen tavoite voisi määritellä virheasteen vaikeissa tapauksissa, palautumisen ristiriitaisten todisteiden jälkeen, kustannukset tietyssä liikenteen prosenttipisteessä, ihmisen tekemään tarkastukseen kuluvan ajan, kalibroinnin tai niiden toimien prosenttiosuuden, jotka pysyvät määritellyn toimivaltarajan sisällä.

Suoran preferenssioptimoinnin määrittävä epäonnistumistapa

Keskeinen rajoite on se, että preferenssidata voi palkita tyyliä, runsassanaisuutta tai arvioijien vinoumia varsinaisen oikeellisuuden sijaan. Tämä epäonnistumistapa ei ole jälkikäteen lisättävä huomio, joka kirjataan vasta kehitystyön valmistuttua. Sen pitäisi ohjata suoran preferenssioptimoinnin tiedonkeruuta, arkkitehtuuria, käyttöoikeuksia, arviointia, julkaisun hyväksymiskriteerejä ja seurantaa alusta alkaen.

Suoran preferenssioptimoinnin kontrollista on hyötyä vain, jos se vaikuttaa ennen kallista tai peruuttamatonta seurausta. Tunnista ensimmäinen havaittavissa oleva merkki, joka ennakoi epäonnistumista, aseta kynnysarvo tai sääntö, nimeä vastuuhenkilö ja testaa palautuminen. Käyttötapauksesta riippuen palautuminen voi tarkoittaa pidättäytymistä, siirtymistä yksinkertaisempaan järjestelmään, lisänäytön pyytämistä, asian siirtämistä ihmiselle, mallin aiemman version palauttamista tai toiminnon pysäyttämistä kokonaan.

Suoran preferenssioptimoinnin arviointisuunnitelma

Aloita suoran preferenssioptimoinnin arviointi kirjaamalla, mitä päätöstä näytön on tarkoitus tukea. Määrittele käyttötilanteiden joukko, väärän tuloksen seuraukset, päätöshetkellä tosiasiassa käytettävissä olevat tiedot ja yksinkertaisin uskottava vaihtoehto. Näin vertailutestistä ei tule itsetarkoitusta vain siksi, että se on helppo toteuttaa.

Käytä kontrolloiduissa vertailuissa testijoukkoa, jota ei ole käytetty aiemmin, ja validoi sen jälkeen suora preferenssioptimointi vaiheittain todellisessa toimintaympäristössä. Offline-arviointi mahdollistaa menetelmäversioiden vertailun; varjotila, rajattu pilotti, käyttörajoitukset tai hyväksyntäportit paljastavat, miten todellinen liikenne, palautekytkennät ja ihmiset muuttavat toimintaa. Käyttöönoton vaiheelle on määritettävä selkeä pysäytysehto sen sijaan, että oletettaisiin jokaisen parannuksen oikeuttavan täysimittaisen käyttöönoton.

Versioi kaikki suoran preferenssioptimoinnin toistamiseen tarvittavat syötteet: lähdedata, esikäsittely, tokenisoija tai kooderi, mallin painot, asetukset, kehote tai käytäntö, hakuindeksi, arviointijoukko, laitteistoa koskevat oletukset ja tarjoilukoodi soveltuvin osin. Ilman alkuperätietoja tiimi ei voi tietää, johtuiko muuttunut tulos menetelmästä, ympäristöstä vai huomaamatta jääneestä putkiston muutoksesta.

Kysy lopuksi, mikä havainto kumoaisi väitteen siitä, että suora preferenssioptimointi auttaa. Jos mikään tulos ei voisi muuttaa käyttöönottopäätöstä, arviointi on markkinointia. Ennalta määritetyt hyväksymiskynnykset ja koskemattomana säilytetty vahvistusjoukko tekevät harjoituksesta näyttöön perustuvan.

Kysymyksiä ennen suoran preferenssioptimoinnin käyttöönottoa

• Tavoite: Minkä mitattavissa olevan pullonkaulan suora preferenssioptimointi on tarkoitus ratkaista?
• Menetelmä: Missä viidestä vaiheesta tapahtuu menetelmälle ominainen muunnos?
• Vertailutaso: Miten se vertautuu RLHF-menetelmäketjuihin, joissa ensin opetetaan palkkiomalli ja sen jälkeen optimoidaan politiikkaa vahvistusoppimisella, tai johonkin muuhun yksinkertaisempaan vaihtoehtoon?
• Näyttö: Mitä tavanomaisia, vaikeita, vastakkaisasetteluun perustuvia ja alaryhmiä koskevia tapauksia testattiin?
• Toiminta: Millaisia viive-, muisti-, laskenta-, energia-, ylläpito- ja tarkistuskustannuksia syntyy suuressa mittakaavassa?
• Riski: Miten tiimi havaitsee, että preferenssidata voi palkita tyyliä, runsassanaisuutta tai arvioijien vinoumia sen sijaan, että se palkitsisi varsinaisesta oikeellisuudesta?
• Palautuminen: Voiko järjestelmä pidättäytyä toiminnasta, siirtyä varajärjestelmään, palautua aiempaan versioon tai siirtää asian eteenpäin ennen kuin vahinkoa syntyy?

Suoran preferenssioptimoinnin tutkimisen keskeiset lähteet

Suoran preferenssioptimoinnin ympärillä olevan tekoälyn teknologiapinon osaa käsittelevän työn luotettavia lähtökohtia ovat Attention Is All You Need, LoRA-tutkimusartikkeli ja suora preferenssioptimointi. Tutustu niihin rinnakkain käytössä olevan mallin, tietojoukon, laitteiston ja lainkäyttöalueen dokumentaation kanssa. Yleinen lähde voi selittää menetelmän, mutta vain käyttöönottoa koskeva näyttö voi osoittaa, soveltuuko tietty toteutus tarkoitukseensa.

Mitä suoran preferenssioptimoinnin yhteydessä kannattaa muistaa

Suora preferenssioptimointi on tarkasti määritelty menetelmä osana laajempaa sosioteknistä järjestelmää. Sen arvo perustuu tietyn tuloksen parantamiseen selkeästi määritellyissä olosuhteissa, ei itse nimitykseen. Viisivaiheinen jäsennys tekee tiedonkulun näkyväksi, vertailu osoittaa, mitä menetelmä ei ole, ja kontrollipolku näyttää, missä vastuullinen toimija voi puuttua tilanteeseen.

Suoran preferenssioptimoinnin käytännön nyrkkisääntö on määritellä tavoite, verrata menetelmää uskottavaan vertailutasoon, testata tärkein epäonnistumistilanne ja säilyttää muutosten seurantaan tarvittava näyttö. Kun nämä asiat ovat kunnossa, menetelmästä tulee suunnittelu- ja hallintavalinta, jota voidaan arvioida. Ilman niitä se jää lupaavaksi nimeksi, johon liittyvää toiminnallista riskiä ei tunneta.