AI-modeller og platforme

EUREKA: Menneske-niveau Belønningsdesign via Kodning af Store Sprogmodeller

Kunal Kejriwal
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterEUREKA bruger LLM'er til at generere belønningskode, der overgår menneskeskabte…
Vis mere
  • EUREKA bruger LLM'er til at generere belønningskode, der overgår menneskeskabte funktioner til robotmanipulationsopgaver.
  • Rammeverket anvender evolutionær søgning og miljø-som-kontekst promptning til iterativt at forbedre belønningsfunktioner uden manuel udvikling.
  • EUREKA introducerer en gradientfri in-context læringsmetode til RLHF, der muliggør menneskejusteret belønningsgenerering baseret på feedback.

De seneste års fremskridt i store sprogmodeller gør det naturligt, at modellerne fungerer godt som semantiske planlæggere til sekventielle beslutningsopgaver på højt niveau. Udviklere har dog stadig svært ved at udnytte dem fuldt ud til indlæring af komplekse manipulationsopgaver på lavt niveau. Selv simple færdigheder og tekstprompter kræver betydelig faglig ekspertise. Der er derfor fortsat stor afstand til menneskers fingerfærdighed.

For at mindske denne afstand har udviklere fra Nvidia (NVDA ), Caltech, University of Pennsylvania og andre organisationer introduceret EUREKA: en sprogmodelbaseret algoritme til design af belønninger på menneskeligt niveau. Den kombinerer kodegenerering, forbedring ud fra konteksten og generering uden eksempler for at optimere belønningskode. Sammen med forstærkningslæring kan koden bruges til at lære komplekse færdigheder og manipulationsopgaver.

Vi undersøger EUREKA fra et udviklingsperspektiv: opbygning, funktion og resultater ved generering af belønningsfunktioner, som ifølge udviklerne overgår menneskers. Vi ser også på, hvordan gradientfri læring ud fra konteksten åbner en ny tilgang til forstærkningslæring med menneskelig feedback (RLHF).

EUREKA: Introduktion

Avancerede store sprogmodeller som GPT-3 og GPT-4 leverer fremragende resultater som semantiske planlæggere til beslutninger på højt niveau. Udviklere søger dog stadig forbedringer i færdigheder på lavt niveau, eksempelvis at dreje en pen mellem fingrene. Forstærkningslæring kan give gode resultater i sådanne opgaver og andre domæner, når mennesker omhyggeligt konstruerer belønningsfunktionerne. Disse giver læringssignaler for ønsket adfærd. Sparsomme belønninger gør det svært at lære mønstre, mens belønningsformning giver gradvise signaler. Funktionerne er imidlertid meget vanskelige at designe, og dårlige design fører ofte til utilsigtet adfærd.

EUREKA, Evolution-driven Universal REward Kit for Agent, søger at løse udfordringerne gennem følgende bidrag:

  1. Design af belønningsfunktioner på menneskeligt niveau.
  2. Effektiv løsning af manipulationsopgaver uden manuel belønningsudvikling.
  3. Mere effektive belønninger, som stemmer bedre overens med menneskelige mål, gennem en gradientfri tilgang til læring ud fra konteksten frem for traditionel RLHF.

Tre algoritmiske valg understøtter alsidigheden: evolutionær søgning, miljøet som kontekst og refleksion over belønninger. Først bruges miljøets kildekode som kontekst til at generere eksekverbare belønningsfunktioner uden eksempler. Derefter foreslår evolutionær søgning grupper af kandidater i hver iteration og forbedrer de mest lovende. Endelig gør belønningsrefleksion forbedringerne mere målrettede: tekstlige opsummeringer af kvaliteten ud fra statistikker om policytræningen bruges til automatisk redigering. Figuren giver et overblik, og næste afsnit beskriver detaljerne.

EUREKA: Arkitektur og problemformulering

Belønningsformning skal skabe en tilpasset belønningsfunktion ud fra en egentlig målfunktion, som kan være svær at optimere direkte, eksempelvis på grund af sparsomme belønninger. Da designeren kun kan tilgå målfunktionen gennem forespørgsler, anvender EUREKA belønningsgenerering som et programsynteseproblem baseret på Reward Design Problem (RDP).

RDP består af en verdensmodel med tilstandsrum, et rum af belønningsfunktioner, en overgangsfunktion og et handlingsrum. En læringsalgoritme producerer en handlingsstrategi, en policy, i en Markov-proces. Policyens kvalitet bedømmes med en skalar fitnessværdi, der tilgås gennem policyforespørgsler. Målet er en belønningsfunktion, som får den lærte policy til at maksimere fitness. I EUREKA specificeres alle problemets dele med kode. Når opgaven beskrives i en tekststreng, skal systemet generere belønningskode, der maksimerer denne værdi.

De tre grundelementer er evolutionær søgning, der løbende foreslår og forbedrer kandidater, miljøet som kontekst til eksekverbare belønninger uden eksempler og belønningsrefleksion til detaljeret forbedring. Algoritmens pseudokode vises her.

Miljøet som kontekst

Normalt skal sprogmodeller have en specifikation af miljøet for at designe belønninger. EUREKA giver i stedet den rå miljøkode direkte som kontekst uden belønningskoden. Det har to fordele. For det første er kodemodeller trænet på programmeringssprog som C, C++, Python og Java og producerer derfor bedre kode i kendt syntaks og stil. For det andet afslører kildekoden miljøets betydning og de variable, som er relevante for en belønningsfunktion til den ønskede opgave. Derfor kan EUREKA bede modellen returnere eksekverbar Python-kode med blot generelle råd om formatering og belønningsdesign.

Evolutionær søgning

Evolutionær søgning håndterer utilstrækkelige belønninger og kørselsfejl. Hver iteration genererer flere uafhængige forslag fra sprogmodellen. Hvis forslagene er uafhængige og identisk fordelte, falder sandsynligheden for, at alle kandidater er fejlbehæftede, eksponentielt med antallet af prøver.

Derefter bruges eksekverbare funktioner fra den foregående iteration til at mutere belønningen ud fra konteksten og foreslå en forbedret funktion på baggrund af tekstlig feedback. Sprogmodellernes kontekstbaserede forbedring og evne til at følge instruktioner gør det muligt at beskrive mutationsoperatoren som en tekstprompt. En opsummering af policytræningen bruges til at ændre eksisterende belønningskode.

Refleksion over belønninger

Målrettede ændringer kræver, at belønningernes kvalitet vurderes og beskrives med ord. En numerisk fitnessværdi giver et helhedsmål, men forklarer ikke, hvorfor funktionen virker eller fejler. EUREKA bruger derfor automatisk feedback til tekstlige opsummeringer af træningsdynamikken. Funktionerne skal også vise deres enkelte belønningskomponenter, så systemet kan følge hver komponents skalarværdi ved kontrolpunkter gennem hele træningen.

Metoden er enkel at opbygge, men vigtig, fordi belønningsoptimering afhænger af algoritmen. En belønningsfunktions effektivitet påvirkes direkte af valget af forstærkningslæringsalgoritme. Ændrede hyperparametre kan give andre resultater selv med samme optimeringsalgoritme. EUREKA kan derfor redigere belønninger mere selektivt og skabe funktioner, som passer bedre sammen med læringsalgoritmen.

Træning og sammenligningsgrundlag

De to hoveddele er policylæring og måling af belønningernes kvalitet.

Policylæring

De endelige belønningsfunktioner til hver opgave optimeres med samme forstærkningslæringsalgoritme og de samme hyperparametre, som er tilpasset de menneskeskabte belønninger.

Mål for belønningskvalitet

Opgavernes målinger har forskellig skala og betydning. Derfor rapporterer EUREKA en score normaliseret i forhold til menneskelige resultater, så det samlede resultat kan sammenlignes med eksperters belønningsfunktioner ud fra de egentlige målkriterier.

De tre vigtigste sammenligningsgrundlag er L2R, Human og Sparse.

L2R

L2R er en todelt promptmetode med store sprogmodeller til skabelonbaserede belønninger. Først udfylder en model en naturlig sprogskabelon ud fra miljøet og opgaven. Dernæst omsætter en anden model bevægelsesbeskrivelsen til kode, der opbygger en belønningsfunktion med manuelt skrevne grundfunktioner i et belønnings-API.

Human

Human er de oprindelige funktioner skrevet af forskere i forstærkningslæring og repræsenterer avanceret menneskelig belønningsudvikling.

Sparse

Sparse svarer til fitnessfunktionerne og bruges til at vurdere kvaliteten af de genererede belønninger.

Resultater

Evalueringen omfatter sammenligning med menneskelige belønninger, forbedring over iterationer, nye belønninger, målrettede forbedringer og anvendelse af menneskelig feedback.

EUREKA overgår menneskeskabte belønninger

Figuren samler resultaterne fra forskellige benchmarks. EUREKA overgår eller matcher menneskeskabte belønninger på både Dexterity- og Isaac-opgaver. L2R klarer sig tilsvarende på lavdimensionelle opgaver, men forskellen er betydelig på højdimensionelle opgaver.

Løbende forbedring

En af systemets styrker er, at resultaterne forbedres med hver iteration, som figuren viser.

Den kontekstbaserede evolutionære søgning skaber stadig bedre belønninger og overgår til sidst de menneskeskabte funktioner.

Generering af nye belønninger

Belønningernes nyhed vurderes ved at beregne korrelationen mellem menneskers og EUREKAs belønninger på alle Isaac-opgaver. Korrelationerne vises i et punktdiagram over for de menneskenormaliserede scorer, hvor hvert punkt repræsenterer en EUREKA-belønning for en opgave. Systemet skaber hovedsageligt svagt korrelerede funktioner, der alligevel klarer sig bedre end de menneskeskabte.

Målrettet forbedring

For at måle betydningen af belønningsrefleksion fjernede udviklerne den i et ablationsforsøg og begrænsede feedbacken til øjebliksværdier. På Isaac-opgaver faldt den gennemsnitlige normaliserede score med omtrent 29 % uden refleksion.

Menneskelig feedback

Ud over automatisk design introducerer EUREKA en gradientfri, kontekstbaseret tilgang til RLHF. Forskellige input kan dermed bruges til mere effektive belønninger, der passer bedre til menneskelige mål. To væsentlige observationer var:

  1. EUREKA kan drage fordel af og forbedre menneskeskabte belønningsfunktioner.
  2. Menneskelig feedback i belønningsrefleksion fører til bedre tilpasset adfærd.

Figuren viser væsentligt bedre resultater og effektivitet, når en menneskeskabt belønning bruges som udgangspunkt, uanset dens kvalitet. Udgangsbelønningens kvalitet har derfor ikke afgørende betydning for systemets evne til kontekstbaseret forbedring.

Den sidste figur viser, hvordan menneskelig feedback både kan ændre belønninger og frembringe handlingsstrategier, der stemmer bedre overens med menneskelige ønsker.

Afsluttende overvejelser

EUREKA kombinerer sprogmodellernes kodegenerering, kontekstbaserede forbedring og generering uden eksempler for at optimere belønningskode. Sammen med forstærkningslæring understøtter det indlæring af komplekse færdigheder og manipulationsopgaver. Uden menneskelig indgriben eller opgavespecifik promptudvikling skaber systemet belønninger på menneskeligt niveau til mange opgaver. En vigtig styrke er indlæring af komplekse opgaver gennem gradvist sværere læringsforløb.

Resultaterne og alsidigheden peger på, at evolutionære algoritmer og store sprogmodeller tilsammen kan give en skalerbar, generel tilgang til belønningsdesign. Indsigten kan muligvis også bruges på andre åbne søgeproblemer.

Kunal Kejriwal er en backend-ingeniør med speciale i Python, PostgreSQL, Redis og cloud-infrastruktur på GCP og AWS. Med tre års erfaring i at bygge og skalere produktionssystemer skriver han om AI-infrastruktur, distribuerede systemer og arkitekturen bag implementering af maskinlæringsarbejdsbelastninger.