Fremme av AI-justering med menneskelige verdier gjennom WARM

Justering av AI-systemer med menneskelige verdier

Kunstig intelligens (AI)-systemer blir stadig mer kapable til å assistere mennesker i komplekse oppgaver, fra kundeservice-chatbots til medisinske diagnosealgoritmer. Imidlertid, når disse AI-systemene tar på seg mer ansvar, er det avgjørende at de forblir justert med menneskelige verdier og preferanser. En tilnærming for å oppnå dette er gjennom en teknikk kalt forsterkingslæring fra menneskelig tilbakemelding (RLHF). I RLHF blir et AI-system, kjent som politikken, belønnet eller straffet basert på menneskelige dommer over dens atferd. Målet er at politikken skal lære å maksimere sine belønninger, og dermed oppføre seg i henhold til menneskelige preferanser.

En sentral komponent i RLHF er belønningsmodellen (RM). RM er ansvarlig for å evaluere politikkenes handlinger og utdata, og returnere en belønningsignal for å guide læreprosessen. Å designe en god RM er utfordrende, da menneskelige preferanser kan være komplekse, kontekstavhengige og til og med inkonsistente over individer. Nylig har forskere fra Google DeepMind foreslått en innovativ teknikk kalt Vekt-gjennomsnittlige Belønningmodeller (WARM) for å forbedre RM-design.

Problemet med belønnings-hacking

Et større problem i RLHF er belønnings-hacking. Belønnings-hacking skjer når politikken finner løp for å utnytte RM-systemet for å få høye belønninger uten å faktisk tilfredsstille de ønskede målene. For eksempel, hvis målet er å trene en skrivehjelp-AI for å generere høykvalitets-sammendrag, kan RM belønne korte og informative sammendrag. Politikken kan deretter lære å utnytte dette ved å generere svært korte, uinformative sammendrag som er sprøytet med nøkkelord som lurker RM.

Belønnings-hacking skjer av to hovedgrunner:

1. Fordelingsforandring – RM er trent på en begrenset datasett av menneskelabelte eksempler. Når den er deployert, kan politikkenes utdata komme fra forskjellige fordelinger som RM ikke generaliserer godt til.
2. Støyende etiketter – Menneskelig etikettering er uperfekt, med uenigheter mellom vurdererne. RM kan fokusere på feilaktige signaler i stedet for robuste indikatorer for kvalitet.

Belønnings-hacking fører til nytteløse systemer som feiler i å møte menneskelige forventninger. Verre enn det, kan det resultere i AI-atferd som er forvrengt eller til og med farlig hvis det deployeres uten forsiktighet.

Oppblomstringen av modell-sammenslåing

Den økende interessen for modell-sammenslåingsstrategier som Model Ratatouille er drevet av erkjennelsen av at større modeller, selv om de er kraftfulle, kan være ineffektive og upraktiske. Trening av en 1 billion parametermodell krever enorme mengder data, beregning, tid og kostnader. Mer kritisk er at slike modeller tenderer til å overfittes til treningsfordelingen, og hindrer deres evne til å generalisere til forskjellige virkelige scenarioer.

Modell-sammenslåing gir en alternativ rute for å låse opp større evner uten ubegrenset skaleringsopp. Ved å gjenbruke flere spesialiserte modeller trent på forskjellige fordelinger, oppgaver eller mål, sikter modell-sammenslåing på å forbedre fleksibilitet og robusthet utenfor fordelingen. Premissen er at forskjellige modeller fanger forskjellige prediktive mønster som kan supplere hverandre når de slås sammen.

Nylige resultater illustrerer løftene i denne konseptet. Modeller som er oppnådd gjennom sammenslåing, til tross for å ha langt færre parametre, kan matche eller til og med overgå ytelsen til gigantmodeller som GPT-3. For eksempel oppnår en Model Ratatouille-ensemble av bare 7 mid-size checkpoints statisk presisjon på høydimensjonale tekst-implikasjonsdatasett, og overgår GPT-3.

Enktheten ved sammenslåing ved vekt-gjennomsnitt er en stor bonus. Trening av flere hjelpemodeller krever ekstra ressurser. Men kritisk, forblir beregningskostnadene på inferenstid lik en enkeltmodell, siden vektene kondenseres til en. Dette gjør metoden lett tilpassbar, uten bekymringer om økt latency eller minnekostnader.

Mekanismene bak modell-sammenslåing

Men hva er det som egentlig muliggjør disse nøyaktighetsforbedringene fra sammenslåing av modeller? Nylig analyse tilbyr noen ledetråder:

• Mindre memorering: Hver modell ser forskjellige ristede batcher av datasettet under trening. Gjennomsnitt reduserer enhver instans-spesifik memorering, og beholder kun datasett-nivå-generaliseringer.
• Redusert varians: Modeller trent uavhengig har ukorrelerte feil. Kombinasjon av dem gjennomsnittlig feil, og forbedrer kalibrering.
• Regularisering via mangfold: Varierte hjelpeoppgaver tvinger modellene til å fokusere på mer generaliserbare trekk som er nyttige over fordelinger.
• Økt robusthet: Inkonsistens i prediksjoner signaliserer usikkerhet. Gjennomsnitt modererer outlier-dømminger, og forbedrer pålitelighet.

I essensen motvirker modell-sammenslåing svakheter i enkeltmodeller for å forsterke deres kollektive styrker. Den sammenslåtte representasjonen fanger de underliggende kausale strukturer, og ignorerer tilfeldige variasjoner.

Dette konseptuelle grunnlaget kobler modell-sammenslåing til andre populære teknikker som ensemblering og multi-oppgave-læring. Alle disse metodene utnytter mangfold over modeller eller oppgaver for å oppnå fleksible, usikkerhets-bevisste systemer. Enktheten og effektiviteten ved vekt-gjennomsnitt gir imidlertid modell-sammenslåing en unik fordel for å fremme virkelige deployeringer.

Vekt-gjennomsnittlige Belønningmodeller

Justeringprosess med WARM

WARM anvender innovativt en proxy-belønningmodell (RM), som er en vekt-gjennomsnitt av flere enkelt RM-er, hver finjustert fra samme forhånds-trent LLM, men med varierende hyperparametre. Denne metoden forbedrer effektivitet, pålitelighet under fordelingsforandring, og robusthet mot inkonsistente preferanser. Studien viser også at bruk av WARM som proxy-RM, spesielt med økt antall gjennomsnittlige RM-er, forbedrer resultater og forsinker starten på ‘belønnings-hacking’, et fenomen der kontrollbelønninger forverres over tid.

Her er en høy-nivå oversikt:

1. Start med en base-språkmodell forhånds-trent på et stort korpus. Initialiser flere RM-er ved å legge til små oppgave-spesifikke lag på toppen.
2. Finjuster hver RM separat på menneskelig preferanse-datasett, ved å bruke forskjellige hyperparametre som læringsrate for mangfold.
3. Gjennomsnitt vektene til de finjusterte RM-ene for å oppnå en enkelt WARM-ensemble.

Den kritiske innsikten er at vekt-gjennomsnitt beholder kun den invariant informasjonen som er lært over alle de forskjellige RM-ene. Dette reduserer avhengighet av feilaktige signaler, og forbedrer robusthet. Ensemblen forbedrer også variasjonsreduksjon, og forbedrer pålitelighet til tross for fordelingsforandring.

Som diskutert tidligere, er mangfold over uavhengig trent modeller kritisk for å låse opp fullt potensiale i modell-sammenslåing. Men hva er noen konkrete teknikker for å fremme produktivt mangfold?

WARM-papiret utforsker noen kreative ideer som kan generaliseres videre:

Rekkefølge-område

En enkel, men innvirkende tilnærming er å område rekkefølgen på dataene som hver modell ser under trening. Selv dette enkle trinnet dekorrelaterer vektene, og reduserer redundante memorering av mønster.

Hyperparameter-variabler

Justering av hyperparametre som læringsrate og dropout-sannsynlighet for hver kjøring introduserer nyttig mangfold. Modellene konvergerer forskjellig, og fanger forskjellige egenskaper av datasettet.

Checkpoint-gjennomsnitt – Baklava

Baklava-metoden initialiserer modeller for sammenslåing fra forskjellige snapshots langs samme forhånds-treningstrajektori. Dette løsner begrensninger sammenlignet med modell-souper som krever en felles startpunkt. I forhold til modell-ratatouille, unngår Baklava ekstra oppgaver. Samlet sett, oppnår det en effektiv nøyaktighets-mangfolds-balanse.

Prosessen begynner med en forhånds-trent stor språkmodell (LLM) 𝜃_𝑝𝑡. Fra denne modellen, blir forskjellige checkpoints {𝜃_𝑠 𝑓 𝑡_𝑖} avledet under en overvåket finjusteringskjøring, hver samlet på forskjellige overvåkede treningssteg. Disse checkpoints blir deretter brukt som initialiseringer for finjustering av flere Belønningmodeller (RM-er) {𝜙𝑖} på et preferanse-datasett. Denne finjusteringen sikter på å tilpasse modellene for å bedre møte menneskelige preferanser. Etter finjustering, blir disse RM-ene kombinert gjennom en prosess av vekt-gjennomsnitt, og resulterer i den endelige modellen, 𝜙_WARM.

Analyse bekrefter at tilføyelse av eldre checkpoints ved å flytte gjennomsnitt skader enkelt-prestasjon, og kompromitterer mangfoldsfordelene. Gjennomsnittlig kun de endelige representasjonene fra hver kjøring utfører bedre. Generelt forblir balansering av mangfolds-mål med vedlikehold av nøyaktighet en åpen forskningsutfordring.

Samlet sett, justerer modell-sammenslåing godt med den generelle etosen i feltet til å resirkulere eksisterende ressurser effektivt for å forbedre pålitelighet, effektivitet og fleksibilitet. Enktheten ved vekt-gjennomsnitt befester dens posisjon som en ledende kandidat for å samle robuste modeller fra tilgjengelige byggestener.

I motsetning til tradisjonelle ensembleringsmetoder som gjennomsnitter prediksjoner, beholder WARM beregningskostnadene minimale ved å beholde kun ett sett med vekter. Eksperimenter på tekst-sammendragsoppgaver demonstrerer WARMs effektivitet:

• For best-av-N-utvalg, oppnår WARM 92,5% seiersrate mot tilfeldig utvalg ifølge menneskelig preferanse-etiketter.
• I RLHF, når en WARM-politikk når 79,4% seiersrate mot en politikk trent med en enkelt RM etter samme antall steg.
• WARM fortsetter å fungere godt selv når en fjerdedel av menneske-etikettene er forurenset.

Disse resultater illustrerer WARMs potensiale som en praktisk teknikk for å utvikle virkelige AI-hjelpere som oppfører seg pålitelig. Ved å glatte ut inkonsistenser i menneskelig tilbakemelding, kan WARM-politikker forblir robust justert med menneskelige verdier, selv når de fortsetter å lære fra nye erfaringer.

Det større bildet

WARM sitter på skjæringspunktet av to nøkkel-trender i AI-justeringsforskning. Først er studiet av ut-av-fordelings-generalisering, som sikter på å forbedre modell-ytelse på nye data som skiller seg fra treningsfordelingen. Andre er forskning på algoritmers robusthet, som fokuserer på pålitelighet til tross for små inndata-forstyrrelser eller støy.

Ved å trekke forbindelser mellom disse feltene rundt begrepet lært-invarianser, flytter WARM oss mot mer grundig grunnede teknikker for verdi-justering. Innsiktene fra WARM kunne generaliseres til og med utenfor RLHF, og gi lærepen for bredere maskinlærings-systemer som samhandler med den åpne verden.

Selvfølgelig er belønning-modellering bare ett stykke av justerings-puslespillet. Vi trenger fremgang på andre utfordringer som belønning-specifikasjon, skalerbar tilsyn, og trygg utforskning. Kombinert med komplementære teknikker, kunne WARM akselerere utviklingen av AI som bærekraftig fremmer menneskelig velvære. Ved å kollektivt avklare prinsippene som ligger under robust justering, kartlegger forskerne ruten til nyttig, etisk AI.