AI lærer af AI: Opkomsten af social læring blandt store sprogmodeller

Siden OpenAI præsenterede ChatGPT 3.5 i slutningen af 2022, er rollen af grundlæggende store sprogmodeller (LLM’er) blevet stadig mere fremtrædende i kunstig intelligens (AI), særligt i naturlig sprogbehandling (NLP). Disse LLM’er, designet til at behandle og generere menneske-lignende tekst, lærer af en omfattende række af tekster fra internettet, der spænder fra bøger til websteder. Dette læringsprocess tillader dem at fange essensen af menneskesprog, hvilket får LLM’er til at se ud som generelle problemløsere.

Mens udviklingen af LLM’er har åbnet nye døre, bringer metoden til at tilpasse disse modeller til bestemte anvendelser – kendt som fine-tuning – sin egen sæt af udfordringer med. Fine-tuning af en model kræver yderligere træning på mere fokuserede datasæt, hvilket kan føre til vanskeligheder som krav for mærket data, risikoen for model-drift og overfitting, og behov for betydelige ressourcer.

For at imødekomme disse udfordringer har forskere fra Google nyligt antaget ideen om ‘ social læring ‘ for at hjælpe AI med at lære af AI. Den centrale idé er, at når LLM’er konverteres til chatbots, kan de interagere og lære af hinanden på en måde, der ligner menneskelig social læring. Denne interaktion tillader dem at lære af hinanden, hvilket forbedrer deres effektivitet.

Hvad er Social Læring?

Social læring er ikke en ny idé. Det er baseret på en teori fra 1970’erne af Albert Bandura, som foreslår, at mennesker lærer af at observere andre. Denne koncept anvendt på AI betyder, at AI-systemer kan forbedre sig ved at interagere med hinanden, og lære ikke kun fra direkte erfaringer, men også fra handlinger af ligemænd. Denne metode lover en hurtigere færdigheds tilegnelse og kan endda lade AI-systemer udvikle deres egen “kultur” ved at dele viden.

I modsætning til andre AI-læringsmetoder, som prøve-og-fejl reinforcement learning eller imitation learning fra direkte eksempler, betoner social læring læring gennem interaktion. Det tilbyder en mere praktisk og fællesskabsorienteret måde for AI at tilegne sig nye færdigheder.

Social Læring i LLM’er

Et vigtigt aspekt af social læring er at udveksle viden uden at dele originale og følsomme oplysninger. Som sådan har forskere anvendt en lærer-elev dynamik, hvor lærermodeller faciliterer læringsprocessen for elevmodeller uden at afsløre nogen fortrolige detaljer. For at opnå dette mål genererer lærermodeller syntetiske eksempler eller retningslinjer, som elevmodeller kan lære fra uden at dele den faktiske data. For eksempel, hvis vi ønsker, at en anden model skal mestre opgaven med at skelne mellem spam- og ikke-spam tekster uden at røre den oprindelige, private data, kommer social læring i spil. Lærermodellen ville generere syntetiske eksempler eller give indsigt baseret på sin viden, hvilket tillader elevmodellen at identificere spam-tekster nøjagtigt uden direkte adgang til de følsomme data. Denne strategi forbedrer ikke kun lærings effektiviteten, men demonstrerer også potentialet for LLM’er til at lære på dynamiske, tilpasningsdygtige måder, potentielt opbyggende en fælles videnkultur. En vital funktion af denne tilgang er dens afhængighed af syntetiske eksempler og tilrettelagte instruktioner. Ved at generere nye, informative eksempler, der adskiller sig fra den oprindelige datasæt, kan lærermodellerne bevare privatlivets fred, samtidig med at de vejleder elevmodellerne mod effektiv læring. Denne tilgang har været effektiv og har opnået resultater på linje med dem, der er opnået ved at bruge den faktiske data.

Hvordan Social Læring Imødekommer Udfordringerne ved Fine-tuning?

Social læring tilbyder en ny måde at forfine LLM’er til bestemte opgaver. Det hjælper med at imødekomme udfordringerne ved fine-tuning på følgende måder:

1. Mindre Behov for Mærket Data: Ved at lære af syntetiske eksempler delte mellem modeller, reducerer social læring afhængigheden af svært tilgængelige mærkede data.
2. Undgå Over-specialisering: Det holder modellerne fleksible ved at udsætte dem for en bredere række af eksempler end dem i små, specifikke datasæt.
3. Reduktion af Overfitting: Social læring udvider læringsoplevelsen, hvilket hjælper modellerne med at generalisere bedre og undgå overfitting.
4. Besparelse af Ressourcer: Denne tilgang tillader en mere effektiv brug af ressourcer, da modellerne lærer af hinandens erfaringer uden at have direkte adgang til store datasæt.

Fremtidige Retninger

Potentialet for social læring i LLM’er antyder forskellige interessante og meningsfulde måder for fremtidig AI-forskning:

1. Hybrid AI-Kulturer: Da LLM’er deltager i social læring, kan de måske begynde at danne fælles metoder. Studier kan udføres for at undersøge effekterne af disse opkomne AI-“kulturer”, og undersøge deres indflydelse på menneskelige interaktioner og de etiske problemer, der er involveret.
2. TVærs-Modal Læring: At udvide social læring ud over tekst til at inkludere billeder, lyde og mere kan føre til AI-systemer med en rigere forståelse af verden, ligesom mennesker lærer gennem multiple sanser.
3. Decentral Læring: Ideen om, at AI-modeller lærer af hinanden over en decentral netværk, præsenterer en ny måde at skala op videnudveksling på. Dette ville kræve, at man løser betydelige udfordringer i koordination, privatliv og sikkerhed.
4. Menneske-AI-Interaktion: Der er potentiale i at udforske, hvordan mennesker og AI kan gensidigt forbedre sig gennem social læring, især i uddannelses- og samarbejds miljøer. Dette kunne omdefinere, hvordan vidensoverførsel og innovation sker.
5. Etisk AI-Udvikling: At lære AI til at tackle etiske dilemmær gennem social læring kunne være et skridt mod mere ansvarlig AI. Fokus ville være på at udvikle AI-systemer, der kan tænke etisk og tilpasse sig til samfunds værdier.
6. Selvforbedrende Systemer: Et økosystem, hvor AI-modeller kontinuerligt lærer og forbedrer sig af hinandens erfaringer, kunne accelerere AI-innovation. Dette antyder en fremtid, hvor AI kan tilpasse sig til nye udfordringer mere autonomt.
7. Privatliv i Læring: Da AI-modeller deler viden, er det afgørende at sikre privatlivets fred for den underliggende data. Fremtidige bestræbelser kan udforske mere avancerede metoder til at aktivere videnudveksling uden at kompromittere datasikkerheden.

Det Endelige Budskab

Forskere fra Google har banebrydende en innovativ tilgang kaldet social læring blandt store sprogmodeller (LLM’er), inspireret af menneskets evne til at lære af at observere andre. Denne ramme tillader LLM’er at dele viden og forbedre deres evner uden at få adgang til eller afsløre følsomme data. Ved at generere syntetiske eksempler og instruktioner kan LLM’er lære effektivt, og løse nøgleudfordringer i AI-udvikling, såsom behov for mærket data, over-specialisering, overfitting og ressourceforbrug. Social læring forbedrer ikke kun AI’s effektivitet og tilpasningsevne, men åbner også muligheder for, at AI kan udvikle fælles “kulturer”, deltage i tværs-modal læring, deltage i decentraliserede netværk, interagere med mennesker på nye måder, navigere i etiske dilemmær, og sikre privatliv. Dette markerer et betydeligt skift mod mere samarbejdende, fleksible og etiske AI-systemer, der lover at omdefinere landskabet for kunstig intelligens-forskning og -anvendelse.