De mange ansigter af forstærket læring: Formning af store sprogmodeller

I de seneste år har store sprogmodeller (LLM’er) betydeligt omdefineret feltet for kunstig intelligens (AI), så maskiner kan forstå og generere menneske-lignende tekst med bemærkelsesværdig dygtighed. Denne succes skyldes i høj grad fremskridt i maskinlæringsmetoder, herunder dyb læring og forstærket læring (RL). Mens overvåget læring har spillet en afgørende rolle i træning af LLM’er, er forstærket læring blevet en kraftfuld værktøj til at raffinere og forbedre deres evner ud over enkeltniveau-genkendelse.

Forstærket læring giver LLM’er mulighed for at lære fra erfaring, optimerer deres adfærd baseret på belønninger eller straffe. Forskellige varianter af RL, såsom Forstærket Læring fra Menneskelig Feedback (RLHF), Forstærket Læring med Verificerbare Belønninger (RLVR), Gruppe-relativ Politikoptimering (GRPO) og Direkte Præferenceoptimering (DPO), er blevet udviklet til at finjustere LLM’er, sikrer deres tilpasning til menneskelige præferencer og forbedrer deres resonemeringsevner.

Denne artikel udforsker de forskellige forstærkede læringstilgange, der former LLM’er, og undersøger deres bidrag og indvirkning på AI-udviklingen.

Forståelse af Forstærket Læring i AI

Forstærket læring (RL) er en maskinlæringsparadigme, hvor en agent lærer at træffe beslutninger ved at interagere med en omgivelse. I stedet for at kun afhænge af mærkede datasæt, tager agenten handlinger, modtager feedback i form af belønninger eller straffe, og justerer sin strategi derefter.

For LLM’er sikrer forstærket læring, at modellerne genererer svar, der er i overensstemmelse med menneskelige præferencer, etiske retningslinjer og praktisk resonemering. Målet er ikke kun at producere syntaktisk korrekte sætninger, men også at gøre dem nyttige, meningsfulde og i overensstemmelse med samfundsnormer.

Forstærket Læring fra Menneskelig Feedback (RLHF)

En af de mest bredt anvendte RL-teknikker i LLM-træning er RLHF. I stedet for at kun afhænge af foruddefinerede datasæt, forbedrer RLHF LLM’er ved at inkorporere menneskelige præferencer i træningsløkken. Denne proces omfatter typisk:

1. Indsamling af Menneskelig Feedback: Menneskelige evaluatorer vurderer modellens genererede svar og rangerer dem efter kvalitet, kohærens, nyttighed og præcision.
2. Træning af en Belønningsmodel: Disse rangeringer bruges derefter til at træne en separat belønningsmodel, der forudser, hvilket output mennesker ville foretrække.
3. Finejustering med RL: LLM’en trænes herefter ved hjælp af denne belønningsmodel til at raffinere sine svar baseret på menneskelige præferencer.

Denne tilgang er blevet anvendt i forbedring af modeller som ChatGPT og Claude. Mens RLHF har spillet en vital rolle i at gøre LLM’er mere i overensstemmelse med brugerpræferencer, reducere bias og forbedre deres evne til at følge komplekse instruktioner, er det ressourcekrævende og kræver en stor mængde menneskelige annotatorer til at evaluere og finejustere AI-outputs. Denne begrænsning har ført forskere til at udforske alternative metoder, såsom Forstærket Læring fra AI-Feedback (RLAIF) og Forstærket Læring med Verificerbare Belønninger (RLVR).

RLAIF: Forstærket Læring fra AI-Feedback

I modsætning til RLHF afhænger RLAIF af AI-genererede præferencer til at træne LLM’er i stedet for menneskelig feedback. Det fungerer ved at anvende et andet AI-system, typisk en LLM, til at evaluere og rangere svar, og skabe en automatiseret belønnings-system, der kan guide LLM’ens læringsproces.

Denne tilgang adresserer skalerbarhedsproblemerne forbundet med RLHF, hvor menneskelig annotation kan være dyrt og tidskrævende. Ved at anvende AI-feedback forbedrer RLAIF konsistens og effektivitet, og reducerer variabiliteten introduceret af subjektive menneskelige meninger. Selvom RLAIF er en værdifuld tilgang til at raffinere LLM’er i stor skala, kan det nogle gange forstærke eksisterende bias i et AI-system.

Forstærket Læring med Verificerbare Belønninger (RLVR)

Mens RLHF og RLAIF afhænger af subjektiv feedback, anvender RLVR objektive, programmerbart verificerbare belønninger til at træne LLM’er. Denne metode er særligt effektiv til opgaver, der har en klar korrektheds-kriterium, såsom:

• Matematisk problem-løsning
• Kode-generering
• Struktureret data-behandling

I RLVR vurderes modellens svar ved hjælp af foruddefinerede regler eller algoritmer. En verificerbar belønningsfunktion bestemmer, om et svar opfylder de forventede kriterier, og tildeler en høj score til korrekte svar og en lav score til forkerte svar.

Denne tilgang reducerer afhængigheden af menneskelig mærkning og AI-bias, og gør træningen mere skalerbar og kost-effektiv. For eksempel har RLVR blevet anvendt i matematisk resonemingsopgaver til at raffinere modeller som DeepSeek’s R1-Zero, og har tilladt dem at selv-forbedre uden menneskelig intervention.

Optimering af Forstærket Læring til LLM’er

Ud over de ovennævnte teknikker, der vejleder, hvordan LLM’er modtager belønninger og lærer fra feedback, er en lige så kritisk aspekt af RL, hvordan modellerne adopterer (eller optimerer) deres adfærd (eller politik) baseret på disse belønninger. Dette er, hvor avancerede optimeringsteknikker kommer ind i billedet.

Optimering i RL er essentieligt processen med at opdatere modellens adfærd for at maksimere belønninger. Mens traditionelle RL-tilgange ofte lider af ustabilitet og ineffektivitet, når det kommer til at finejustere LLM’er, er nye tilgange blevet udviklet til at optimere LLM’er. Her er førende optimeringsstrategier, der anvendes til at træne LLM’er:

• Proximal Policy Optimering (PPO): PPO er en af de mest bredt anvendte RL-teknikker til at finejustere LLM’er. En stor udfordring i RL er at sikre, at modellens opdateringer forbedrer præstationen uden pludselige, drastiske ændringer, der kunne reducere svarkvaliteten. PPO adresserer dette ved at introducere kontrollerede politik-opdateringer, der raffinerer modellens svar inkrementelt og sikkert for at opretholde stabilitet. Det balancerer også eksploration og udnyttelse, hvilket hjælper modellerne med at opdage bedre svar, mens de forstærker effektive adfærdsmønstre. Yderligere er PPO prøve-effektiv, og anvender mindre datamængder til at reducere træningstiden, mens den opretholder høj præstation. Denne metode anvendes bredt i modeller som ChatGPT, og sikrer, at svarene forbliver nyttige, relevante og i overensstemmelse med menneskelige forventninger uden at overjustere til bestemte belønnings-signaler.
• Direkte Præferenceoptimering (DPO): DPO er en anden RL-optimeringsteknik, der fokuserer på at optimere modellens output direkte for at tilpasse sig menneskelige præferencer. I modsætning til traditionelle RL-algoritmer, der afhænger af komplekse belønningsmodeller, optimerer DPO modellen direkte baseret på binær præferencedata – hvilket betyder, at den blot bestemmer, om ét output er bedre end et andet. Tilgangen afhænger af menneskelige evaluatorer til at rangere multiple svar genereret af modellen for en given prompt. Den finejusterer derefter modellen for at øge sandsynligheden for at producere højere-rangerede svar i fremtiden. DPO er særligt effektiv i scenarier, hvor det er svært at opnå detaljerede belønningsmodeller. Ved at simplificere RL, giver DPO AI-modellerne mulighed for at forbedre deres output uden den computermæssige byrde, der er forbundet med mere komplekse RL-teknikker.
• Gruppe-relativ Politikoptimering (GRPO): En af de seneste udviklinger i RL-optimeringsteknikker til LLM’er er GRPO. Mens typiske RL-teknikker, som PPO, kræver en værdimodel til at estimeere fordelen af forskellige svar, som kræver høj computermæssig kraft og betydelige hukommelsesressourcer, eliminerer GRPO behovet for en separat værdimodel ved at anvende belønnings-signaler fra forskellige generationer på samme prompt. Dette betyder, at i stedet for at sammenligne output med en statisk værdimodel, sammenligner den dem med hinanden, og reducerer betydeligt den computermæssige overhæng. En af de mest bemærkelsesværdige anvendelser af GRPO var set i DeepSeek R1-Zero, en model, der blev trænet helt uden overvåget finejustering, og lykkedes med at udvikle avancerede resonemeringsevner gennem selv-udvikling.

Bottom Line

Forstærket læring spiller en afgørende rolle i at raffinere store sprogmodeller (LLM’er) ved at forbedre deres tilpasning til menneskelige præferencer og optimere deres resonemeringsevner. Teknikker som RLHF, RLAIF og RLVR giver forskellige tilgange til belønningsbaseret læring, mens optimeringsmetoder som PPO, DPO og GRPO forbedrer træningseffektiviteten og stabiliteten. Mens LLM’er fortsætter med at udvikle sig, bliver rollen af forstærket læring kritisk i at gøre disse modeller mere intelligente, etiske og rimelige. LHF, RLAIF og RLVR giver forskellige tilgange til belønningsbaseret læring, mens optimeringsmetoder som PPO, DPO og GRPO forbedrer træningseffektiviteten og stabiliteten. Mens LLM’er fortsætter med at udvikle sig, bliver rollen af forstærket læring kritisk i at gøre disse modeller mere intelligente, etiske og rimelige.