AI lär av AI: Uppkomsten av socialt lärande bland stora språkmodeller

Sedan OpenAI presenterade ChatGPT 3.5 i slutet av 2022, har rollen för grundläggande stora språkmodeller (LLM) blivit alltmer framträdande inom artificiell intelligens (AI), särskilt inom naturlig språkbehandling (NLP). Dessa LLM, som är utformade för att bearbeta och generera mänskligt liknande text, lär sig från en omfattande mängd texter från internet, som sträcker sig från böcker till webbplatser. Denna lärandeprocess gör det möjligt för dem att fånga essensen av mänskligt språk, vilket gör LLM till allmänna problemlösare.

Medan utvecklingen av LLM har öppnat nya dörrar, medför metoden för att anpassa dessa modeller för specifika tillämpningar – känd som finjustering – sin egen uppsättning utmaningar. Finjustering av en modell kräver ytterligare utbildning på mer fokuserade datamängder, vilket kan leda till svårigheter som krav på märkt data, risken för modelldrift och överanpassning, samt behov av betydande resurser.

För att tackla dessa utmaningar har forskare från Google nyligen antagit idén om “socialt lärande” för att hjälpa AI att lära sig av AI. Den viktiga idén är att när LLM omvandlas till chattbotar, kan de interagera och lära sig av varandra på ett sätt som liknar mänskligt socialt lärande. Denna interaktion möjliggör för dem att lära sig av varandra, vilket förbättrar deras effektivitet.

Vad är socialt lärande?

Socialt lärande är inte en ny idé. Det bygger på en teori från 1970-talet av Albert Bandura, som föreslår att människor lär sig genom att observera andra. Denna koncept tillämpad på AI innebär att AI-system kan förbättras genom att interagera med varandra, lära sig inte bara från direkta upplevelser utan också från handlingar av kamrater. Denna metod lovar snabbare färdighetsförvärv och kan till och med låta AI-system utveckla sin egen “kultur” genom att dela kunskap.

Till skillnad från andra AI-lärande metoder, som trial-and-error förstärkt lärande eller imitativt lärande från direkta exempel, betonar socialt lärande lärande genom interaktion. Det erbjuder ett mer praktiskt och gemensamt sätt för AI att lära sig nya färdigheter.

Socialt lärande i LLM

En viktig aspekt av socialt lärande är att utbyta kunskap utan att dela original och känslig information. Som sådan har forskare använt en lärar-elev-dynamik där lärarmodeller underlättar lärandeprocessen för elevmodeller utan att avslöja några konfidentiella detaljer. För att uppnå detta mål genererar lärarmodeller syntetiska exempel eller instruktioner från vilka elevmodeller kan lära sig utan att dela den faktiska datan. Till exempel, överväg en lärarmodell som tränats på att skilja mellan skräppost och icke-skräppost textmeddelanden med hjälp av data märkt av användare. Om vi vill att en annan modell ska behärska denna uppgift utan att komma i kontakt med den ursprungliga, privata datan, kommer socialt lärande in i spel. Lärarmodellen skulle skapa syntetiska exempel eller ge insikter baserat på sin kunskap, vilket möjliggör för elevmodellen att identifiera skräppostmeddelanden korrekt utan direkt exponering för den känsliga datan. Denna strategi förbättrar inte bara lärandeeffektiviteten utan visar också potentialen för LLM att lära sig i dynamiska, anpassningsbara sätt, potentiellt bygga en kollektiv kunskapskultur. En livsviktig funktion i denna metod är dess beroende av syntetiska exempel och utformade instruktioner. Genom att generera nya, informativa exempel som skiljer sig från den ursprungliga datamängden kan lärarmodeller bevara sekretess samtidigt som de vägleder elevmodeller mot effektivt lärande. Denna metod har visat sig vara effektiv och uppnått resultat som är jämförbara med dem som erhållits med hjälp av den faktiska datan.

Hur socialt lärande hanterar utmaningar med finjustering?

Socialt lärande erbjuder ett nytt sätt att finslipa LLM för specifika uppgifter. Det hjälper till att hantera utmaningarna med finjustering på följande sätt:

1. Mindre behov av märkt data: Genom att lära sig från syntetiska exempel som delas mellan modeller, minskar socialt lärande beroendet av svårtillgänglig märkt data.
2. Undvikande av överspecialisering: Det håller modellerna mångsidiga genom att exponera dem för en bredare mängd exempel än de som finns i små, specifika datamängder.
3. Minskning av överanpassning: Socialt lärande breddar lärandeupplevelsen, vilket hjälper modellerna att generalisera bättre och undvika överanpassning.
4. Resursbesparing: Denna metod möjliggör en mer effektiv användning av resurser, eftersom modellerna lär sig av varandras erfarenheter utan att behöva direkt tillgång till stora datamängder.

Framtida riktningar

Potentialen för socialt lärande i LLM antyder olika intressanta och meningsfulla sätt för framtida AI-forskning:

1. Hybrid AI-kulturer: När LLM deltar i socialt lärande, kan de börja bilda gemensamma metoder. Studier kan genomföras för att undersöka effekterna av dessa framväxande AI-“kulturer”, med fokus på deras inverkan på mänskliga interaktioner och de etiska frågor som är involverade.
2. Korsmodalt lärande: Att utöka socialt lärande bortom text till att omfatta bilder, ljud och mer kan leda till AI-system med en rikare förståelse av världen, liknande hur människor lär sig genom flera sinnen.
3. Decentraliserat lärande: Idén om att AI-modeller lär sig av varandra över ett decentraliserat nätverk presenterar ett nytt sätt att skala upp kunskapsdelning. Detta skulle kräva att man hanterar betydande utmaningar i samordning, sekretess och säkerhet.
4. Mänsklig AI-interaktion: Det finns potential i att undersöka hur människor och AI kan ömsesidigt dra nytta av socialt lärande, särskilt i utbildnings- och samarbetsmiljöer. Detta kunde omdefiniera hur kunskapsöverföring och innovation sker.
5. Etisk AI-utveckling: Att lära AI att hantera etiska dilemman genom socialt lärande kunde vara ett steg mot mer ansvarsfull AI. Fokus skulle ligga på att utveckla AI-system som kan resonera etiskt och anpassa sig till samhällsvärderingar.
6. Självförbättrande system: Ett ekosystem där AI-modeller kontinuerligt lär sig och förbättrar sig från varandras erfarenheter kunde accelerera AI-innovation. Detta antyder en framtid där AI kan anpassa sig till nya utmaningar på ett mer självständigt sätt.
7. Sekretess i lärande: När AI-modeller delar kunskap, är det viktigt att säkerställa sekretessen för den underliggande datan. Framtida ansträngningar kan undersöka mer sofistikerade metoder för att möjliggöra kunskapsöverföring utan att kompromissa med datasäkerhet.

Slutsatsen

Forskare från Google har banat väg för en innovativ metod som kallas socialt lärande bland stora språkmodeller (LLM), inspirerad av människans förmåga att lära sig av att observera andra. Denna ramverk tillåter LLM att dela kunskap och förbättra sina förmågor utan att komma i kontakt med eller exponera känslig data. Genom att generera syntetiska exempel och instruktioner kan LLM lära sig effektivt, hantera nyckelutmaningar i AI-utveckling som behovet av märkt data, överspecialisering, överanpassning och resurskonsumtion. Socialt lärande förbättrar inte bara AI-effektivitet och anpassningsförmåga utan öppnar också möjligheter för AI att utveckla gemensamma “kulturer”, engagera sig i korsmodalt lärande, delta i decentraliserade nätverk, interagera med människor på nya sätt, hantera etiska dilemman och säkerställa sekretess. Detta markerar en betydande förändring mot mer samarbetsvilliga, mångsidiga och etiska AI-system, som lovar att omdefiniera landskapet för artificiell intelligensforskning och tillämpning.