De mange ansiktene til forsterkingslæring: Forming av store språkmodeller

I de senere år har store språkmodeller (LLM) betydelig omdefinert feltet kunstig intelligens (AI), og gjort det mulig for maskiner å forstå og generere menneske-lignende tekst med bemerkelsesverdig dyktighet. Dette suksessen tilskrives i stor grad fremgang i maskinlæringsmetodologier, inkludert dyp læring og forsterkingslæring (RL). Mens overvåket læring har spilt en avgjørende rolle i trening av LLM, har forsterkingslæring vist seg å være et kraftfullt verktøy for å finjustere og forbedre deres evner utenfor enkel mønstergjenkjenning.

Forsterkingslæring gjør det mulig for LLM å lære fra erfaring, og optimaliserer deres atferd basert på belønninger eller straffer. Forskjellige varianter av RL, som for eksempel Forsterkingslæring fra menneskelig tilbakemelding (RLHF), Forsterkingslæring med verifiserbare belønninger (RLVR), Gruppe-relativ politi-optimisering (GRPO) og Direkte preferanse-optimisering (DPO), er blitt utviklet for å finjustere LLM, og sikre at de er i samsvar med menneskelige preferanser og forbedre deres resonnerings-evner.

Denne artikkelen utforsker de forskjellige forsterkingslærings-tilnærmingene som former LLM, og undersøker deres bidrag og innvirkning på AI-utvikling.

Forståelse av forsterkingslæring i AI

Forsterkingslæring (RL) er en maskinlæringsparadigme hvor en agent lærer å ta beslutninger ved å samhandle med en omgivelse. I stedet for å bare basere seg på merket datasets, tar agenten handlinger, mottar tilbakemelding i form av belønninger eller straffer, og justerer strategien sin deretter.

For LLM, sikrer forsterkingslæring at modellene genererer svar som er i samsvar med menneskelige preferanser, etiske retningslinjer og praktisk resonnering. Målet er ikke bare å produsere syntaktisk korrekte setninger, men også å gjøre dem nyttige, meningsfulle og i samsvar med samfunnsnormer.

Forsterkingslæring fra menneskelig tilbakemelding (RLHF)

En av de mest brukte RL-teknikkene i LLM-trening er RLHF. I stedet for å bare basere seg på forhåndsdefinerte datasets, forbedrer RLHF LLM ved å inkorporere menneskelige preferanser i treningssyklusen. Denne prosessen omfatter vanligvis:

1. Samling av menneskelig tilbakemelding: Menneskelige evaluatorene vurderer modell-genererte svar og rangerer dem basert på kvalitet, kohesjon, nyttighet og nøyaktighet.
2. Trening av en belønningsmodell: Disse rangeringene brukes deretter til å trene en separat belønningsmodell som forutsier hvilket utgang mennesker ville foretrekke.
3. Finjustering med RL: LLM trenes deretter ved å bruke denne belønningsmodellen til å finjustere svarene basert på menneskelige preferanser.

Denne tilnærmingen er blitt brukt til å forbedre modeller som ChatGPT og Claude. Mens RLHF har spilt en avgjørende rolle i å gjøre LLM mer i samsvar med brukerpreferanser, reducere fordommer og forbedre deres evne til å følge komplekse instruksjoner, er det ressurskrevende og krever en stor mengde menneskelige annotatorer for å evaluere og finjustere AI-utgangene. Dette ledet forskerne til å utforske alternative metoder, som Forsterkingslæring fra AI-tilbakemelding (RLAIF) og Forsterkingslæring med verifiserbare belønninger (RLVR).

RLAIF: Forsterkingslæring fra AI-tilbakemelding

I motsetning til RLHF, baserer RLAIF seg på AI-genererte preferanser for å trene LLM, i stedet for menneskelig tilbakemelding. Den opererer ved å bruke et annet AI-system, vanligvis en LLM, til å evaluere og rangere svar, og skaper en automatisert belønnings-system som kan guide LLMs læringsprosess.

Denne tilnærmingen adresserer skalerbarhets-problemer forbundet med RLHF, hvor menneskelig annotering kan være dyrt og tidskrevende. Ved å bruke AI-tilbakemelding, forbedrer RLAIF konsistensen og effisiensen, og reduserer variasjonen introdusert av subjektive menneskelige meninger. Selv om RLAIF er en verdifull tilnærming for å finjustere LLM på skala, kan den noen ganger forsterke eksisterende fordommer som er til stede i et AI-system.

Forsterkingslæring med verifiserbare belønninger (RLVR)

Mens RLHF og RLAIF baserer seg på subjektiv tilbakemelding, bruker RLVR objektive, programmerbare belønninger for å trene LLM. Denne metoden er spesielt effektiv for oppgaver som har et klart korrekthetskriterium, som:

• Matematisk problemløsing
• Kode-generering
• Strukturert data-prosessering

I RLVR, vurderes modellens svar ved å bruke forhåndsdefinerte regler eller algoritmer. En verifiserbar belønningsfunksjon bestemmer om svaret møter de forventede kriteriene, og tildeler en høy score til korrekte svar og en lav score til feil svar.

Denne tilnærmingen reduserer avhengigheten av menneskelig merking og AI-fordommer, og gjør treningen mer skalerbar og kostnadseffektiv. For eksempel, i matematisk resonnering-oppgaver, har RLVR blitt brukt til å finjustere modeller som DeepSeek’s R1-Zero, og har gjort det mulig for dem å selv-forbedre uten menneskelig inngripen.

Optimisering av forsterkingslæring for LLM

I tillegg til ovennevnte teknikker som guider hvordan LLM mottar belønninger og lærer fra tilbakemelding, er en like viktig del av RL hvordan modellene adopterer (eller optimaliserer) deres atferd (eller politikker) basert på disse belønningsene. Dette er hvor avanserte optimeringsteknikker kommer inn i bildet.

Optimisering i RL er essensielt prosessen med å oppdatere modellens atferd for å maksimere belønninger. Mens tradisjonelle RL-tilnærminger ofte lider av ustabilitet og ineffisiens når de finjusterer LLM, er nye tilnærminger blitt utviklet for å optimalisere LLM. Her er ledende optimeringsstrategier som brukes for å trene LLM:

• Proximal Policy Optimization (PPO): PPO er en av de mest brukte RL-teknikkene for å finjustere LLM. En stor utfordring i RL er å sikre at modell-oppdateringer forbedrer ytelsen uten plutselige, drastiske endringer som kunne reducere svarkvaliteten. PPO adresserer dette ved å introdusere kontrollerte politi-oppdateringer, og finjusterer modell-svarene inkrementelt og trygt for å opprettholde stabilitet. Det balanserer også utforskning og utnytting, og hjelper modellene å oppdage bedre svar mens de forsterker effektive atferder. I tillegg er PPO prøve-effektiv, og bruker mindre data-batch for å redusere treningstiden mens den opprettholder høy ytelse. Denne metoden er vidt brukt i modeller som ChatGPT, og sikrer at svarene forblir nyttige, relevante og i samsvar med menneskelige forventninger uten å over-justere til bestemte belønnings-signaler.
• Direkte preferanse-optimisering (DPO): DPO er en annen RL-optimeringsteknikk som fokuserer på å direkte optimalisere modellens utgang til å være i samsvar med menneskelige preferanser. I motsetning til tradisjonelle RL-algoritmer som baserer seg på komplekse belønnings-modellering, optimaliserer DPO modellen direkte basert på binær preferanse-data – det vil si at den bare bestemmer om ett utgang er bedre enn et annet. Tilnærmingen baserer seg på menneskelige evaluatorene som rangerer multiple svar generert av modellen for en gitt prompt. Den finjusterer deretter modellen for å øke sannsynligheten for å produsere høyere-rangerte svar i fremtiden. DPO er spesielt effektiv i scenarier hvor det er vanskelig å oppnå detaljerte belønnings-modeller. Ved å forenkle RL, gjør DPO det mulig for AI-modellene å forbedre utgangene uten den komputasjonelle byrden som er forbundet med mer komplekse RL-teknikker.
• Gruppe-relativ politi-optimisering (GRPO): En av de nyeste utviklingene i RL-optimeringsteknikker for LLM er GRPO. Mens typiske RL-teknikker, som PPO, krever en verdi-modell for å estimere fordelen av forskjellige svar, som krever høy beregningskraft og betydelig minne-resurs, eliminerer GRPO behovet for en separat verdi-modell ved å bruke belønnings-signaler fra forskjellige generasjoner på samme prompt. Dette betyr at i stedet for å sammenligne utgang med en statisk verdi-modell, sammenligner den dem med hverandre, og reduserer betydelig den komputasjonelle overhodet. En av de mest bemerkelsesverdige anvendelsene av GRPO var sett i DeepSeek R1-Zero, en modell som ble trent helt uten overvåket finjustering og klarte å utvikle avanserte resonnerings-evner gjennom selv-utvikling.

Bunnen av saken

Forsterkingslæring spiller en avgjørende rolle i å finjustere store språkmodeller (LLM) ved å forbedre deres samsvar med menneskelige preferanser og optimalisere deres resonnerings-evner. Teknikker som RLHF, RLAIF og RLVR gir forskjellige tilnærminger til belønnings-basert læring, mens optimeringsmetoder som PPO, DPO og GRPO forbedrer treningseffisiensen og stabiliteten. Mens LLM fortsetter å utvikle seg, blir rollen til forsterkingslæring kritisk i å gjøre disse modellene mer intelligente, etiske og rimelige.