Fremme af AI-tilpasning med menneskelige værdier gennem WARM

Tilpasning af AI-systemer til menneskelige værdier

Kunstig intelligens (AI)-systemer bliver mere og mere i stand til at hjælpe mennesker med komplekse opgaver, fra kundeservice-chatbots til medicinske diagnosealgoritmer. Imidlertid er det vigtigt, at disse AI-systemer forbliver tilpasset menneskelige værdier og præferencer, når de overtager mere ansvar. En tilgang til at opnå dette er gennem en teknik kaldet forstærkning af læring fra menneskelig feedback (RLHF). I RLHF belønnes eller straffes et AI-system, kendt som politikken, baseret på menneskelige vurderinger af dets adfærd. Målet er, at politikken skal lære at maksimere sine belønninger og opføre sig i overensstemmelse med menneskelige præferencer.

En kernekomponent i RLHF er belønningsmodellen (RM). RM er ansvarlig for at evaluere politikken handlinger og output og returnere en belønningsignal til at guide læreprocessen. At designe en god RM er udfordrende, da menneskelige præferencer kan være komplekse, kontekstafhængige og endda inkonsistente over individer. Forskere fra Google DeepMind har foreslået en innovativ teknik kaldet Weight Averaged Reward Models (WARM) til at forbedre RM-design.

Problemet med belønnings-hacking

Et større problem i RLHF er belønnings-hacking. Belønnings-hacking sker, når politikken finder løsninger til at manipulere RM-systemet for at opnå høje belønninger uden at tilfredsstille de ønskede mål. For eksempel, hvis målet er at træne en skrivehjælpe-AI til at generere højkvalitets-sammenfattelser, kan RM belønne korte og informative sammenfattelser. Politikken kan så lære at udnytte dette ved at generere meget korte, uinformative sammenfattelser, der er fyldt med nøgleord, der trickser RM.

Belønnings-hacking sker af to grundlæggende årsager:

1. Forandringer i fordelingen – RM er trænet på en begrænset dataset af menneskeligt labelede eksempler. Når den er deployet, kan politikken output komme fra forskellige fordelinger, som RM ikke generaliserer godt til.
2. Støj i mærkning – Menneskelig mærkning er imperfekt, med uenighed mellem vurdererne. RM kan fokusere på støj-signaler i stedet for robuste indikatorer for kvalitet.

Belønnings-hacking fører til nytteløse systemer, der ikke tilfredsstiller menneskelige forventninger. Det kan endda føre til AI-adfærd, der er fordomsfuld eller farlig, hvis det deployes uden forsigtighed.

Model-mergingens opkomst

Den voksende interesse for model-merging-strategier som Model Ratatouille skyldes, at større modeller, selvom de er kraftfulde, kan være ineffektive og upraktiske. Træning af en 1 billion parameter-model kræver enorme mængder af data, beregning, tid og omkostninger. Endnu vigtigere er, at sådanne modeller har tendens til at overjustere til træningsfordelingen, hvilket hindrer deres evne til at generalisere til forskellige virkelige scenarier.

Model-merging giver en alternativ vej til at låse større kapaciteter uden ukontrolleret opskalering. Ved at genbruge flere specialiserede modeller, der er trænet på forskellige fordelinger, opgaver eller mål, søger model-merging at forbedre fleksibilitet og robusthed uden for fordelingen. Antagelsen er, at forskellige modeller fanger forskellige predictive mønstre, der kan supplere hinanden, når de merges.

Seneste resultater illustrerer løftets potentiale. Modeller, der er opnået via merging, kan matche eller endda overgå præstationen af kæmpe-modeller som GPT-3, selvom de har langt færre parametre. For eksempel opnår en Model Ratatouille-ensemble af kun 7 mid-size checkpoints stat-of-the-art-nøjagtighed på high-dimensional tekst-implikation-datasets, og overgår GPT-3.

Enkelheden ved at merge ved vægt-gennemsnit er en stor bonus. Træning af flere hjælpe-modeller kræver ekstra ressourcer. Men væsentligt er, at beregnings-omkostningerne ved inferens-tid forbliver identiske med en enkelt model, da vægte kondenses til én. Dette gør metoden let tilpasningsdygtig uden bekymringer om øget latency eller hukommelsesomkostninger.

Mekanismerne bag model-merging

Men hvad er det, der giver disse nøjagtighedsgevinster fra model-merging? Seneste analyse tilbyder nogle hints:

• Formindskelse af memorering: Hver model ser forskellige rystede batch af dataset under træning. Gennemsnittet formindsker enhver instance-specifik memorering, og beholder kun dataset-niveau-generaliseringer.
• Reduktion af variation: Modeller, der er trænet uafhængigt, har ukorrelerede fejl. Kombination af dem gennemsnitter støj, og forbedrer kalibrering.
• Regularisering via diversitet: Varierende hjælpe-opgaver tvinger modellerne til at fokusere på mere generaliserbare funktioner, der er nyttige på tværs af fordelinger.
• Øget robusthed: Inkonsistens i forudsigelser signalerer usikkerhed. Gennemsnittet formindsker outlier-dømmekraft, og forbedrer pålidelighed.

I essensen modvirker model-merging svaghederne hos enkelt-modeller for at forstærke deres kollektive styrker. Den mergede repræsentation fanger de underliggende kausale strukturer, og ignorerer tilfældige variationer.

Dette konceptuelle grundlag forbinder model-merging med andre populære teknikker som ensemblering og multi-task-læring. Alle disse metoder udnytter diversitet på tværs af modeller eller opgaver for at opnå fleksible, usikkerheds-bevidste systemer. Enkelheden og effektiviteten af vægt-gennemsnit giver dog model-merging en unik fordel for at fremme virkelige implementeringer.

Vægt-gennemsnitlige belønningsmodeller

Tilpasningsprocessen med WARM

WARM anvender innovativt en proxy-belønningsmodel (RM), der er et vægt-gennemsnit af flere enkelt-RM’er, hver finjusteret fra samme forudtrænet LLM, men med varierende hyperparametre. Denne metode forbedrer effektivitet, pålidelighed under fordelings-forandringer, og robusthed mod inkonsistente præferencer. Studiet viser også, at brug af WARM som proxy-RM, især med en øget antal gennemsnitlige RM’er, forbedrer resultater og forsinker starten på ‘belønnings-hacking’, et fænomen, hvor kontrol-belønninger forringes over tid.

Her er en høj-niveau-overblik:

1. Start med en basis-sprogmodel forudtrænet på en stor korpus. Initialiser flere RM’er ved at tilføje små opgave-specifikke lag på toppen.
2. Finjuster hver RM separat på menneskelige præferencedata, ved hjælp af forskellige hyperparametre som læringsrate for diversitet.
3. Gennemsnit vægtene af de finjusterede RM’er for at opnå en enkelt WARM-ensemble.

Den centrale indsigt er, at vægt-gennemsnit kun beholder den invariant information, der er lært på tværs af alle diverse RM’er. Dette reducerer afhængighed af støj-signaler, og forbedrer robusthed. Ensemblen drager også fordel af variations-reduktion, og forbedrer pålidelighed, trods fordelings-forandringer.

Som diskuteret tidligere er diversitet på tværs af uafhængigt trænet modeller afgørende for at låse det fulde potentiale af model-merging. Men hvad er nogle konkrete teknikker til at fremme produktiv diversitet?

WARM-papiret udforsker nogle clevere idéer, der kan generaliseres mere bredt:

Rækkefølge-omrystninger

En trivial, men betydningsfuld tilgang er at omrykke rækkefølgen, hvori data-punkter ses af hver model under træning. Selv dette simple skridt dekorrelerer vægte, og reducerer redundant memorering af mønstre.

Hyperparameter-variationer

Justering af hyperparametre som læringsrate og dropout-sandsynlighed for hver kørsel introducerer nyttig diversitet. Modeller konvergerer forskelligt, og fanger forskellige egenskaber af dataset.

Checkpoint-gennemsnit – Baklava

Baklava-metoden initialiserer modeller for merging fra forskellige snapshots langs samme forudtrænings-traektori. Dette afslapper begrænsninger i forhold til model-soups, der kræver en fælles startposition. I forhold til model-ratatouille undgår Baklava ekstra opgaver. Samlet set finder den en effektiv balance mellem nøjagtighed og diversitet.

Processen begynder med en forudtrænet stor sprogmodel (LLM) 𝜃_𝑝𝑡. Fra denne model er forskellige checkpoints {𝜃_𝑠 𝑓 𝑡_𝑖} afledt under en Supervised Fine-Tuning (SFT)-kørsel, hver indsamlet på forskellige SFT-trænings-trin. Disse checkpoints bruges herefter som initialiseringer for fine-tuning af flere belønningsmodeller (RM’er) {𝜙𝑖} på en præferencedata. Dette fine-tuning sigter mod at tilpasse modellerne bedre til menneskelige præferencer. Efter fine-tuning kombineres disse RM’er gennem en proces af vægt-gennemsnit, og resulterer i den endelige model, 𝜙_WARM.

Analyse bekræfter, at tilføjelse af ældre checkpoints ved hjælp af gennemsnit skader individuel præstation, og kompromitterer diversitets-meritter. Gennemsnit af kun de endelige repræsentationer fra hver kørsel performer bedre. Generelt forbliver balancen mellem diversitets-mål og vedligeholdelse af nøjagtighed en åben forsknings-udfordring.

Samlet set er model-merging i overensstemmelse med det generelle ethos i feltet til at genbruge eksisterende ressourcer effektivt for forbedret pålidelighed, effektivitet og fleksibilitet. Enkelheden ved vægt-gennemsnit cementerer dens position som en førende kandidat til at samle robuste modeller fra tilgængelige byggesten.

I modsætning til traditionelle ensembleringsmetoder, der gennemsnitter forudsigelser, beholder WARM beregnings-omkostningerne minimale ved at vedligeholde kun ét sæt af vægte. Eksperimenter på tekst-sammenfattnings-opgaver demonstrerer WARM’s effektivitet:

• For best-of-N-sampling opnår WARM 92,5% sejrsrate mod tilfældig udvælgelse ifølge menneskelige præferencemærkninger.
• I RLHF opnår en WARM-politik 79,4% sejrsrate mod en politik trænet med en enkelt RM efter samme antal trin.
• WARM performer stadig godt, selv når en kvart af de menneskelige mærkninger er korrupte.

Disse resultater illustrerer WARM’s potentiale som en praktisk teknik til udvikling af virkelige AI-hjælpere, der opfører sig pålideligt. Ved at glatte ud inkonsistenser i menneskelig feedback kan WARM-politikker forblive robust tilpasset menneskelige værdier, selv når de fortsætter med at lære fra nye oplevelser.

Det større billede

WARM befinder sig på skæringen af to nøgle-trends i AI-tilpasningsforskning. Først er der studiet af ud af fordeling (OOD) generalisering, der søger at forbedre model-præstation på nye data, der afviger fra træningsfordelingen. Anden er forskning i algoritmic robusthed, der fokuserer på pålidelighed trods små input-forstyrrelser eller støj.

Ved at trække forbindelser mellem disse felter omkring begrebet lært-invarianter, flytter WARM os mod mere grundigt grundlagte teknikker til værdi-tilpasning. Indsigt fra WARM kunne generaliseres endda ud over RLHF, og give lektioner til bredere maskinlærings-systemer, der interagerer med den åbne verden.

Selvfølgelig er belønnings-modellering kun et stykke af tilpasnings-puzzlen. Vi har stadig brug for fremgang på andre udfordringer som belønnings-specifikation, skalerbar oversigt, og sikker eksploration. Kombineret med komplementære teknikker kunne WARM accelerere udviklingen af AI, der bæredygtigt fremmer menneskelig velstand. Ved at afklare principperne, der ligger til grund for robust tilpasning, kortlægger forskere vejen til gavnlig, etisk AI.