Utveckling av AI-alinering med mänskliga värderingar genom WARM

Alinering av AI-system med mänskliga värderingar

Artificiell intelligens (AI) system blir alltmer kapabla att assistera människor i komplexa uppgifter, från kundtjänstchattbotar till medicinska diagnostikalgoritmer. Men när dessa AI-system tar på sig fler ansvar är det avgörande att de förblir alinerade med mänskliga värderingar och preferenser. En metod för att uppnå detta är genom en teknik som kallas förstärkt inlärning från mänsklig feedback (RLHF). I RLHF belönas eller bestraffas ett AI-system, som kallas policyn, baserat på mänskliga bedömningar av dess beteende. Målet är att policyn ska lära sig att maximera sina belöningar och därmed bete sig enligt mänskliga preferenser.

En central komponent i RLHF är belöningsmodellen (RM). RM är ansvarig för att utvärdera policyns handlingar och utdata och returnera en belöningsignal för att vägleda inlärningsprocessen. Att utforma en bra RM är utmanande, eftersom mänskliga preferenser kan vara komplexa, kontextberoende och till och med inkonsekventa mellan individer. Nyligen föreslog forskare från Google DeepMind en innovativ teknik som kallas Weight Averaged Reward Models (WARM) för att förbättra RM-design.

Problemet med belöningshacking

Ett stort problem i RLHF är belöningshacking. Belöningshacking inträffar när policyn hittar kryphål för att utnyttja RM-systemet för att få höga belöningar utan att faktiskt tillfredsställa de avsedda målen. Till exempel, om målet är att träna en skrivhjälp-AI för att generera högkvalitativa sammanfattningar, kan RM belöna koncisa och informativa sammanfattningar. Policyn kan sedan lära sig att utnyttja detta genom att generera mycket korta, oinformativa sammanfattningar som är sprängda med nyckelord som lurar RM.

Belöningshacking sker av två huvudsakliga skäl:

1. Fördelningsförändring – RM tränas på en begränsad datamängd av mänskligt märkta exempel. När den distribueras kan policyns utdata komma från olika fördelningar som RM inte generaliserar väl till.
2. Bullriga etiketter – Mänsklig märkning är ofullständig, med oenighet mellan bedömare. RM kan fokusera på felaktiga signaler snarare än robusta indikatorer på kvalitet.

Belöningshacking leder till värdelösa system som inte uppfyller mänskliga förväntningar. Värre ännu, det kan resultera i AI-beteenden som är fördomsfulla eller till och med farliga om de distribueras utan omsorg.

Modellens sammanslagning

Det ökande intresset för modellsammanslagningstrategier som Model Ratatouille drivs av insikten att större modeller, även om de är kraftfulla, kan vara ineffektiva och opraktiska. Att träna en modell med 1 biljon parametrar kräver förbjudande stora mängder data, beräkningskraft, tid och kostnad. Mer avgörande är att sådana modeller tenderar att överanpassa sig till träningsfördelningen, vilket hämmar deras förmåga att generalisera till olika verkliga scenarier.

Modellsammanslagning erbjuder en alternativ väg för att låsa upp större förmågor utan okontrollerad skalförstoring. Genom att återanvända flera specialiserade modeller som tränats på olika fördelningar, uppgifter eller mål, syftar modellsammanslagning till att förbättra anpassningsförmåga och robusthet utanför fördelningen. Antagandet är att olika modeller fångar olika prediktiva mönster som kan komplettera varandra när de slås samman.

Nya resultat illustrerar löftet i detta koncept. Modeller som erhållits via sammanslagning, trots att de har betydligt färre parametrar, kan matcha eller till och med överträffa prestationen hos jättemodeller som GPT-3. Till exempel uppnår en Model Ratatouille-ensemble av bara 7 medelstora kontrollpunkter toppklassens noggrannhet på högdimensionella textuella implikationsdataset, och överträffar GPT-3.

Enkheten i sammanslagning genom viktmedelvärde är en stor bonus. Att träna flera hjälpmodeller kräver extra resurser. Men avgörande är att beräkningen vid inferenstiden förblir identisk med en enda modell, eftersom vikterna kondenseras till en. Detta gör metoden lättanpassad, utan oro för ökad latens eller minneskostnader.

Mekanismerna bakom modellsammanslagning

Men vad är det som egentligen möjliggör dessa noggrannhetsvinster från modellsammanslagning? Nya analyser erbjuder några ledtrådar:

• Minskning av memorering: Varje modell ser olika omrörda batchar av datamängden under träning. Medelvärdering minskar instansspecifik memorering, och behåller endast datamängdsnivågeneraliseringar.
• Minskning av varians: Modeller som tränats oberoende har oberoende fel. Kombinationen av dem medelvärderar ut bruset, och förbättrar kalibreringen.
• Reglering via mångfald: Varierande hjälpuppgifter tvingar modellerna att fokusera på mer generaliserbara funktioner som är användbara över fördelningar.
• Ökad robusthet: Inkonsekvens i förutsägelser signalerar osäkerhet. Medelvärdering modererar extrema bedömningar, och förbättrar tillförlitligheten.

I själva verket motverkar modellsammanslagning svagheter hos enskilda modeller för att förstärka deras kollektiva styrkor. Den sammanslagna representationen fångar de underliggande orsakssambanden, och ignorerar tillfälliga variationer.

Denna konceptuella grund kopplar modellsammanslagning till andra populära tekniker som ensembler och multuppgiftsinlärning. Alla dessa metoder utnyttjar mångfalden mellan modeller eller uppgifter för att erhålla anpassningsbara, osäkerhetsmedvetna system. Enkelheten och effektiviteten i viktmedelvärde ger modellsammanslagning en unik fördel för att främja realvärldstillämpningar.

Viktmedelvärderade belöningsmodeller

Alinering med WARM

WARM använder innovativt en proxy-belöningsmodell (RM), som är en viktmedelvärde av flera enskilda RM, var och en finjusterad från samma förtränad stora språkmodell men med varierande hyperparametrar. Denna metod förbättrar effektivitet, tillförlitlighet under fördelningsförändringar och robusthet mot inkonsekventa preferenser. Studien visar också att användning av WARM som proxy-RM, särskilt med ett ökat antal medelvärderade RM, förbättrar resultaten och fördröjer början på “belöningshacking”, ett fenomen där kontrollbelöningar försämras över tid.

Här är en högnivåöversikt:

1. Börja med en bas-språkmodell som är förtränad på en stor korpus. Initiera flera RM genom att lägga till små uppgiftsspecifika lager ovanpå.
2. Finjustera varje RM separat på mänskliga preferensdatamängden, med olika hyperparametrar som inlärningshastighet för mångfald.
3. Medelvärdera vikterna från de finjusterade RM för att erhålla en enda WARM-ensemble.

Den viktiga insikten är att viktmedelvärde endast behåller den invarianta informationen som lärs över alla olika RM. Detta minskar beroendet av felaktiga signaler, och förbättrar robustheten. Ensemblen drar också nytta av variansreducering, och förbättrar tillförlitligheten trots fördelningsförändringar.

Som diskuterats tidigare är mångfalden mellan oberoende tränade modeller avgörande för att låsa upp den fulla potentialen i modellsammanslagning. Men vilka är några konkreta tekniker för att främja produktiv mångfald?

WARM-papperet utforskar några smarta idéer som kan generaliseras mer allmänt:

Beställningsomrörning

En trivial men effektiv metod är att omröra ordningen som datapunkterna ses av varje modell under träning. Även denna enkla åtgärd dekorrelerar vikter, och minskar redundant memorering av mönster.

Hyperparametervariationer

Att justera hyperparametrar som inlärningshastighet och dropout-sannolikhet för varje körning introducerar användbar mångfald. Modellerna konvergerar olika, och fångar olika egenskaper hos datamängden.

Kontrollpunktsmedelvärde – Baklava

Baklava-metoden initierar modeller för sammanslagning från olika ögonblicksbilder längs samma förträningsbanor. Detta slappnar av begränsningar jämfört med modellsoppa som kräver en gemensam startpunkt. I förhållande till Model Ratatouille undviker Baklava extra uppgifter. Sammanfattningsvis ger det en effektiv noggrannhets-mångfaldsbalans.

Processen börjar med en förtränad stor språkmodell (LLM) 𝜃_𝑝𝑡. Från denna modell erhålls olika kontrollpunkter {𝜃_𝑠 𝑓 𝑡_𝑖} under en övervakad finjusteringskörning, var och en insamlad vid olika träningssteg. Dessa kontrollpunkter används sedan som initieringar för finjustering av flera belöningsmodeller (RM) {𝜙𝑖} på en preferensdatamängd. Denna finjustering syftar till att anpassa modellerna för att bättre alinera med mänskliga preferenser. Efter finjustering kombineras dessa RM genom en process av viktmedelvärde, vilket resulterar i den slutliga modellen, 𝜙_WARM.

Analys bekräftar att tillägg av äldre kontrollpunkter genom medelvärde skadar individuell prestation, och komprometterar mångfaldens fördelar. Medelvärdering av endast de slutliga representationerna från varje körning presterar bättre. I allmänhet förblir balanseringen av mångfaldsmål med underhåll av noggrannhet en öppen utmaning.

Sammanfattningsvis alineras modellsammanslagning väl med den allmänna etosen inom fältet att återanvända befintliga resurser effektivt för förbättrad tillförlitlighet, effektivitet och anpassningsförmåga. Enkelheten i viktmedelvärde befäster dess position som en ledande kandidat för att montera robusta modeller från lättillgängliga byggblock.

Till skillnad från traditionella ensembler som medelvärderar förutsägelser, behåller WARM den beräkningsmässiga överhuvudtaget minimal genom att endast underhålla en enda uppsättning vikter. Experiment på textsammanfattning visar WARMs effektivitet:

• För bästa-N-urval uppnår WARM 92,5% vinstfrekvens mot slumpmässigt urval enligt mänskliga preferensmärkningar.
• För RLHF når en WARM-policy 79,4% vinstfrekvens mot en policy tränad med en enda RM efter samma antal steg.
• WARM fortsätter att prestera väl även när en kvart av de mänskliga märkningarna är fördärvade.

Dessa resultat illustrerar WARMs potential som en praktisk teknik för att utveckla realvärldstillämpade AI-hjälpare som beter sig tillförlitligt. Genom att jämna ut inkonsekvenser i mänsklig feedback kan WARM-policyn förbli robust alinerad med mänskliga värderingar, även när de fortsätter att lära sig från nya upplevelser.

Den större bilden

WARM befinner sig i skärningspunkten mellan två viktiga trender inom AI-alineringforskning. Först är studiet av utomfördelningsgeneralisering, som syftar till att förbättra modellprestation på ny data som skiljer sig från träningsfördelningen. Andra är forskning om algoritmisk robusthet, som fokuserar på tillförlitlighet trots små ingångsstörningar eller brus.

Genom att dra samband mellan dessa fält kring begreppet inlärda invarianter, flyttar WARM oss mot mer rigoröst grundade tekniker för värde-alinering. Insikterna från WARM kunde generaliseras ännu bortom RLHF, och ge lärdomar för bredare maskinlärningssystem som interagerar med den öppna världen.

Förstås är belöningsmodellering bara en bit av alineringspusslet. Vi behöver fortfarande framsteg inom andra utmaningar som belöningspecificering, skalfördelad tillsyn och säker utforskning. I kombination med kompletterande tekniker kunde WARM accelerera utvecklingen av AI som hållbart främjar mänsklig välfärd. Genom att kollektivt belysa principerna som ligger till grund för robust alinering, kartlägger forskare vägen till fördelaktig, etisk AI.