AI lär av AI: Uppkomsten av socialt lärande bland stora språkmodeller

Sedan OpenAI presenterade ChatGPT 3.5 i slutet av 2022, har rollen för grundläggande stora språkmodeller (LLM) blivit alltmer framträdande inom artificiell intelligens (AI), särskilt inom naturlig språkbehandling (NLP). Dessa LLM, som är utformade för att bearbeta och generera mänskligt språk, lär sig från en omfattande samling texter från internet, allt från böcker till webbplatser. Denna inlärningsprocess gör det möjligt för dem att fånga essensen av mänskligt språk och göra LLM:erna till allmänna problemlösare.

Medan utvecklingen av LLM har öppnat nya dörrar, medför metoden för att anpassa dessa modeller för specifika tillämpningar – känd som finjustering – sina egna utmaningar. Finjustering av en modell kräver ytterligare utbildning på mer fokuserade datamängder, vilket kan leda till svårigheter som krav på märkt data, risken för modelldrift och överanpassning, samt behovet av betydande resurser.

För att tackla dessa utmaningar har forskare från Google (GOOGL ) nyligen antagit idén om “socialt lärande” för att hjälpa AI att lära sig av AI. Den viktigaste idén är att när LLM:er konverteras till chatbots, kan de interagera och lära sig av varandra på ett sätt som liknar mänskligt socialt lärande. Denna interaktion möjliggör för dem att lära sig av varandra, vilket förbättrar deras effektivitet.

Vad är socialt lärande?

Socialt lärande är inte en ny idé. Det bygger på en teori från 1970-talet av Albert Bandura, som föreslår att människor lär sig genom att observera andra. Denna koncept tillämpad på AI innebär att AI-system kan förbättras genom att interagera med varandra, lära sig inte bara från direkta upplevelser utan också från handlingar av kamrater. Denna metod lovar snabbare färdighetsutveckling och kan till och med låta AI-system utveckla sin egen “kultur” genom att dela kunskap.

Till skillnad från andra AI-lärande metoder, som till exempel förstärkt lärande eller imitationslärande från direkta exempel, betonar socialt lärande lärande genom interaktion. Det erbjuder en mer hands-on och gemensam väg för AI att lära sig nya färdigheter.

Socialt lärande i LLM

En viktig aspekt av socialt lärande är att utbyta kunskap utan att dela original och känslig information. Forskare har därför använt en lärar-elev-dynamik där lärarmodeller underlättar inlärningsprocessen för elevmodeller utan att avslöja några konfidentiella detaljer. För att uppnå detta mål genererar lärarmodellerna syntetiska exempel eller instruktioner som elevmodellerna kan lära sig från utan att dela den faktiska datan. Till exempel, om vi vill att en annan modell ska bemästra uppgiften att skilja på skräppost och icke-skräppost utan att direkt exponeras för den känsliga datan, kommer socialt lärande in i bilden. Lärarmodellen skulle skapa syntetiska exempel eller ge instruktioner baserade på sin kunskap, vilket möjliggör för elevmodellen att identifiera skräppost med stor noggrannhet utan direkt exponering för den känsliga datan. Denna strategi förbättrar inte bara inlärningseffektiviteten utan visar också potentialen för LLM att lära sig på dynamiska och anpassningsbara sätt, vilket kan bygga en kollektiv kunskapskultur. En avgörande funktion i denna metod är dess beroende av syntetiska exempel och konstruerade instruktioner. Genom att generera nya, informativa exempel som skiljer sig från den ursprungliga datamängden, kan lärarmodellerna bevara sekretessen samtidigt som de guidar elevmodellerna mot effektivt lärande.

Hur socialt lärande hanterar utmaningar med finjustering

Socialt lärande erbjuder en ny metod för att förbättra LLM för specifika uppgifter. Det hjälper till att hantera utmaningarna med finjustering på följande sätt:

1. Mindre behov av märkt data: Genom att lära sig från syntetiska exempel som delas mellan modeller, minskar socialt lärande beroendet av svåråtkomlig märkt data.
2. Undvikande av överspecialisering: Det håller modellerna flexibla genom att exponera dem för en bredare variation av exempel än de som finns i små, specifika datamängder.
3. Minskning av överanpassning: Socialt lärande breddar inlärningsupplevelsen, vilket hjälper modellerna att generalisera bättre och undvika överanpassning.
4. Resursbesparing: Denna metod möjliggör en mer effektiv användning av resurser, eftersom modellerna lär sig från varandras erfarenheter utan att behöva direkt tillgång till stora datamängder.

Framtida riktningar

Potentialen för socialt lärande i LLM antyder olika intressanta och meningsfulla riktningar för framtida AI-forskning:

1. Hybrida AI-kulturer: När LLM deltar i socialt lärande, kan de börja bilda gemensamma metoder. Studier kan genomföras för att undersöka effekterna av dessa framväxande AI-“kulturer”, med fokus på deras påverkan på mänskliga interaktioner och de etiska frågor som är involverade.
2. Korsmodalt lärande: Att utöka socialt lärande bortom text till att omfatta bilder, ljud och mer, kan leda till AI-system med en rikare förståelse av världen, liknande hur människor lär sig genom flera sinnen.
3. Decentraliserat lärande: Idén om att AI-modeller lär sig av varandra över ett decentraliserat nätverk presenterar en ny metod för att skala upp kunskapsdelning. Detta kräver hantering av betydande utmaningar i samordning, sekretess och säkerhet.
4. Mänsklig-AI-interaktion: Det finns potential i att undersöka hur människor och AI kan ömsesidigt dra nytta av socialt lärande, särskilt i utbildnings- och samarbetsmiljöer. Detta kan omdefiniera hur kunskapsöverföring och innovation sker.
5. Etisk AI-utveckling: Att lära AI att hantera etiska dilemman genom socialt lärande, kan vara ett steg mot mer ansvarsfull AI. Fokus kommer att ligga på att utveckla AI-system som kan resonera etiskt och anpassa sig till samhällsvärderingar.
6. Självförbättrande system: Ett ekosystem där AI-modeller kontinuerligt lär sig och förbättrar sig från varandras erfarenheter, kan accelerera AI-innovation. Det antyder en framtid där AI kan anpassa sig till nya utmaningar på ett mer autonomt sätt.
7. Sekretess i lärande: När AI-modeller delar kunskap, är det avgörande att säkerställa sekretessen för den underliggande datan. Framtida ansträngningar kan undersöka mer sofistikerade metoder för att möjliggöra kunskapsöverföring utan att kompromettera datasäkerhet.

Sammanfattning

Forskare från Google har banat väg för en innovativ metod som kallas socialt lärande bland stora språkmodeller (LLM), inspirerad av den mänskliga förmågan att lära sig av att observera andra. Denna ramverk tillåter LLM att dela kunskap och förbättra sina förmågor utan att behöva tillgång till eller exponera känslig data. Genom att generera syntetiska exempel och instruktioner, kan LLM lära sig effektivt, hantera nyckelutmaningar i AI-utveckling som behovet av märkt data, överspecialisering, överanpassning och resurskonsumtion. Socialt lärande förbättrar inte bara AI-effektivitet och anpassningsförmåga, utan öppnar också möjligheter för AI att utveckla gemensamma “kulturer”, engagera sig i korsmodalt lärande, delta i decentraliserade nätverk, interagera med människor på nya sätt, hantera etiska dilemman och säkerställa sekretess. Detta markerar en betydande förändring mot mer samarbetsvilliga, flexibla och etiska AI-system, som lovar att omdefiniera landskapet för artificiell intelligensforskning och tillämpning.