AI lærer af AI: Opkomsten af social læring blandt store sprogmodeller

Siden OpenAI præsenterede ChatGPT 3.5 i slutningen af 2022, er rollen af grundlæggende store sprogmodeller (LLM’er) blevet mere fremtrædende i kunstig intelligens (AI), især i naturlig sprogbehandling (NLP). Disse LLM’er, der er designede til at behandle og generere menneske-lignende tekst, lærer af en omfattende samling af tekster fra internettet, der spænder fra bøger til websteder. Dette læringsprocess tillader dem at fange essensen af menneskesprog og gøre LLM’erne til at se ud som generelle problemløsere.

mens udviklingen af LLM’er har åbnet nye døre, indebærer metoden til at tilpasse disse modeller til bestemte anvendelser – kendt som fine-tuning – sine egne udfordringer. Fine-tuning af en model kræver yderligere træning på mere fokuserede datasæt, hvilket kan føre til vanskeligheder som krav om mærkede data, risikoen for model-drift og overfitning, og behov for betydelige ressourcer.

For at løse disse udfordringer har forskere fra Google (GOOGL ) nyligt taget ideen om ‘ social læring ‘ til at hjælpe AI med at lære af AI. Den centrale idé er, at når LLM’er konverteres til chatbots, kan de interagere og lære af hinanden på en måde, der ligner menneskelig social læring. Denne interaktion tillader dem at lære af hinanden og forbedre deres effektivitet.

Hvad er social læring?

Social læring er ikke en ny idé. Det er baseret på en teori fra 1970’erne af Albert Bandura, der foreslår, at mennesker lærer af at observere andre. Denne koncept anvendt på AI betyder, at AI-systemer kan forbedre sig ved at interagere med hinanden, og lære ikke kun fra direkte erfaringer, men også fra handlingerne af deres peers. Denne metode lover en hurtigere færdigheds tilegnelse og kan endda lade AI-systemer udvikle deres egen “kultur” ved at dele viden.

I modsætning til andre AI-læringsmetoder, som trial-and-error reinforcement learning eller imitation learning fra direkte eksempler, lægger social læring vægt på læring gennem interaktion. Det tilbyder en mere praktisk og fællesskabsbaseret måde for AI at tilegne sig nye færdigheder.

Social læring i LLM’er

En vigtig aspekt af social læring er at udveksle viden uden at dele originale og følsomme oplysninger. Som sådan har forskere anvendt en lærer-elev dynamik, hvor lærer-modeller faciliterer læringsprocessen for elev-modeller uden at afsløre nogen fortrolige detaljer. For at opnå dette mål genererer lærer-modeller syntetiske eksempler eller instruktioner, som elev-modeller kan lære fra uden at dele de faktiske data. For eksempel kan man overveje en lærer-model, der er trænet til at skelne mellem spam- og non-spam tekstbeskeder ved hjælp af data, der er markeret af brugere. Hvis man ønsker, at en anden model skal mestre denne opgave uden at berøre de originale, private data, kommer social læring i spil. Lærer-modellen ville generere syntetiske eksempler eller give indsigt baseret på sin viden, hvilket tillader elev-modellen at identificere spam-beskeder nøjagtigt uden direkte adgang til de følsomme data. Denne strategi forbedrer ikke kun lærings-effektiviteten, men viser også potentialet for LLM’er til at lære på dynamiske og tilpasningsdygtige måder, og potentielt bygge en fælles viden-kultur. En væsentlig funktion i denne tilgang er dens afhængighed af syntetiske eksempler og instruktioner. Ved at generere nye, informative eksempler, der er forskellige fra det originale datasæt, kan lærer-modellerne bevare privatlivets fred og samtidig guide elev-modellerne mod effektiv læring. Denne tilgang har været effektiv og har opnået resultater på niveau med dem, der er opnået ved hjælp af de faktiske data.

Hvordan løser social læring udfordringerne ved fine-tuning?

Social læring tilbyder en ny måde at forfine LLM’er til bestemte opgaver. Det hjælper med at løse udfordringerne ved fine-tuning på følgende måde:

1. Mindre behov for mærkede data: Ved at lære af syntetiske eksempler, der deles mellem modeller, reducerer social læring afhængigheden af sværtilgængelige mærkede data.
2. Undgå over-specialisering: Det holder modellerne fleksible ved at udsætte dem for en bredere række af eksempler end dem, der findes i små, specifikke datasæt.
3. Reducerer overfitning: Social læring udvider læringsoplevelsen og hjælper modellerne med at generalisere bedre og undgå overfitning.
4. Besparelse af ressourcer: Denne tilgang tillader en mere effektiv brug af ressourcer, da modellerne lærer af hinandens erfaringer uden at kræve direkte adgang til store datasæt.

Fremtidige retninger

Potentialet for social læring i LLM’er antyder forskellige interessante og meningsfulde måder for fremtidig AI-forskning:

1. Hybrid AI-kulturer: Da LLM’er deltar i social læring, kan de måske begynde at danne fælles metoder. Studier kan udføres for at undersøge effekterne af disse opkommende AI-“kulturer” og deres indflydelse på menneskelige interaktioner og de etiske spørgsmål, der er involveret.
2. TVÆR-modality-læring: At udvide social læring ud over tekst til at omfatte billeder, lyde og mere kan føre til AI-systemer med en rigere forståelse af verden, ligesom mennesker lærer gennem multiple sanser.
3. Decentraliseret læring: Ideen om, at AI-modeller lærer af hinanden på tværs af et decentraliseret netværk, præsenterer en ny måde at skala op viden-deling på. Dette vil kræve, at man løser betydelige udfordringer i koordination, privatliv og sikkerhed.
4. Menneske-AI-interaktion: Der er potentiale i at udforske, hvordan mennesker og AI kan gensidigt forbedre hinanden gennem social læring, især i uddannelses- og samarbejds-miljøer. Dette kan omdefinere, hvordan viden-overførsel og innovation sker.
5. Etisk AI-udvikling: At lære AI til at tackle etiske dilemmata gennem social læring kan være et skridt mod mere ansvarlig AI. Fokus vil være på at udvikle AI-systemer, der kan resonere etisk og være i overensstemmelse med samfunds-værdier.
6. Selv-forbedrende systemer: Et økosystem, hvor AI-modeller kontinuerligt lærer og forbedrer hinanden, kan accelerere AI-innovation. Dette antyder en fremtid, hvor AI kan tilpasse sig til nye udfordringer mere autonomt.
7. Privatliv i læring: Da AI-modeller deler viden, er det afgørende at sikre privatlivets fred for de underliggende data. Fremtidige bestræbelser kan udforske mere sofistikerede metoder til at enable viden-overførsel uden at kompromittere data-sikkerhed.

Bottom Line

Forskere fra Google har banet vejen for en innovativ tilgang kaldet social læring blandt store sprogmodeller (LLM’er), inspireret af menneskets evne til at lære af at observere andre. Denne ramme tillader LLM’er at dele viden og forbedre deres evner uden at få adgang til eller afsløre følsomme data. Ved at generere syntetiske eksempler og instruktioner kan LLM’er lære effektivt og løse nøgle-udfordringer i AI-udvikling, såsom behov for mærkede data, over-specialisering, overfitning og ressource-forbrug. Social læring forbedrer ikke kun AI-effektivitet og tilpasning, men åbner også muligheder for AI til at udvikle fælles “kulturer”, deltage i cross-modality-læring, deltage i decentraliserede netværk, interagere med mennesker på nye måder, navigere i etiske dilemmata og sikre privatliv. Dette markerer en betydelig skiftning mod mere samarbejdende, fleksible og etiske AI-systemer, der lover at omdefinere landskabet for kunstig intelligens-forskning og -anvendelse. Dette markerer en betydelig skiftning mod mere samarbejdende, fleksible og etiske AI-systemer, der lover at omdefinere landskabet for kunstig intelligens-forskning og -anvendelse, og åbner op for nye muligheder for AI til at udvikle fælles kulturer, deltage i cross-modality-læring, deltage i decentraliserede netværk, interagere med mennesker på nye måder, navigere i etiske dilemmata og sikre privatliv.