AI lærer av AI: Oppblomstringen av sosial læring blant store språkmodeller

Siden OpenAI avduket ChatGPT 3.5 i slutten av 2022, har rollen til grunnleggende store språkmodeller (LLM) blitt stadig mer fremtredende i kunstig intelligens (AI), særlig i naturlig språkbehandling (NLP). Disse LLM-ene, designet for å prosessere og generere menneske-lignende tekst, lærer fra en omfattende rekke tekster fra internettet, fra bøker til nettsider. Dette læringsprosessen gjør det mulig for dem å fange essensen av menneskelig språk og gjøre LLM-ene til å se ut som generelle problemløsere.

Mens utviklingen av LLM-er har åpnet nye dører, bringer metoden for å tilpasse disse modellene for spesifikke anvendelser – kjent som fine-tuning – sine egne utfordringer. Fine-tuning av en modell krever ekstra trening på mer fokuserte datasamlinger, som kan føre til vanskeligheter som behov for merket data, risikoen for modell-drift og over-tilpasning, og behov for betydelige ressurser.

For å møte disse utfordringene, har forskere fra Google nylig tatt i bruk ideen om «sosial læring» for å hjelpe AI å lære av AI. Hovedideen er at når LLM-er konverteres til chatbot-er, kan de interagere og lære av hverandre på en måte som ligner menneskelig sosial læring. Denne interaksjonen gjør det mulig for dem å lære av hverandre og forbedre deres effektivitet.

Hva er sosial læring?

Sosial læring er ikke en ny ide. Det er basert på en teori fra 1970-årene av Albert Bandura, som foreslår at mennesker lærer av å observere andre. Denne konseptet anvendt på AI betyr at AI-systemer kan forbedre seg ved å interagere med hverandre, lære ikke bare fra direkte erfaringer, men også fra handlinger av likestilte. Denne metoden lover raskere ferdighetstilvekst og kan tillate AI-systemer å utvikle sin egen “kultur” ved å dele kunnskap.

I motsetning til andre AI-læringsmetoder, som prøving-og-feil forsterkingslæring eller imitativ læring fra direkte eksempler, legger sosial læring vekt på læring gjennom interaksjon. Det tilbyr en mer praktisk og fellesskaps-orientert måte for AI å tilegne seg nye ferdigheter.

Sosial læring i LLM-er

En viktig aspekt av sosial læring er å utveksle kunnskap uten å dele originale og sensitive opplysninger. Som sådan, har forskere tatt i bruk en lærer-elev-dynamikk hvor lærermodeller faciliterer læringsprosessen for elevmodeller uten å avsløre noen konfidensielle detaljer. For å oppnå dette målet, genererer lærermodeller syntetiske eksempler eller instruksjoner som elevmodeller kan lære fra uten å dele den faktiske datan. For eksempel, betrakt en lærermodell som er trent på å skille mellom spam- og ikke-spam-tekstmeldinger ved hjelp av data merket av brukere. Hvis vi ønsker at en annen modell skal mestre denne oppgaven uten å berøre den originale, private datan, kommer sosial læring inn i bildet. Lærermodellen ville generere syntetiske eksempler eller gi instruksjoner basert på sin kunnskap, som gjør det mulig for elevmodellen å identifisere spam-meldinger nøyaktig uten direkte eksponering for sensitive data. Denne strategien ikke bare forbedrer lærings-effektiviteten, men demonstrerer også potensialet for LLM-er til å lære i dynamiske, tilpassende måter, potensielt bygge en kollektiv kunnskapskultur. En vital egenskap ved denne tilnærmingen er dens avhengighet av syntetiske eksempler og lagde instruksjoner. Ved å generere nye, informative eksempler som er forskjellige fra den originale datasa, kan lærermodeller bevare personvern samtidig som de guider elevmodeller mot effektiv læring. Denne tilnærmingen har vært effektiv, og har oppnådd resultater på linje med dem som er oppnådd ved hjelp av den faktiske datan.

Hvordan sosial læring møter utfordringene med fine-tuning?

Sosial læring tilbyr en ny måte å forfine LLM-er for spesifikke oppgaver. Det hjelper med å møte utfordringene med fine-tuning på følgende måter:

1. Mindre behov for merket data: Ved å lære fra syntetiske eksempler delt mellom modeller, reduserer sosial læring avhengigheten av vanskelig å få merket data.
2. Unngå over-spesialisering: Det holder modellerne fleksible ved å eksponere dem for en bredere rekke eksempler enn de som finnes i små, spesifikke datasamlinger.
3. Redusere over-tilpasning: Sosial læring utvider lærings-erfaringen, og hjelper modeller å generalisere bedre og unngå over-tilpasning.
4. Spare ressurser: Denne tilnærmingen gjør det mulig for modeller å lære fra hverandres erfaringer uten å trenger direkte tilgang til store datasamlinger.

Fremtidige retninger

Potensialet for sosial læring i LLM-er antyder flere interessante og meningsfulle måter for fremtidig AI-forskning:

1. Hybrid AI-kulturer: Ettersom LLM-er deltar i sosial læring, kan de begynne å danne felles metoder. Studier kan utføres for å undersøke effektene av disse nye AI-“kulturer”, og undersøke deres innvirkning på menneskelig interaksjon og de etiske problemene som er involvert.
2. Kryss-modus læring: Å utvide sosial læring beyond tekst til å inkludere bilder, lyder og mer, kan føre til AI-systemer med en rikere forståelse av verden, på samme måte som mennesker lærer gjennom flere sanser.
3. Desentralisert læring: Ideen om at AI-modeller lærer av hverandre over en desentralisert nettverk presenterer en ny måte å skalerer opp kunnskapsdeling. Dette vil kreve å møte betydelige utfordringer i koordinering, personvern og sikkerhet.
4. Menneske-AI interaksjon: Det er potensiale i å utforske hvordan mennesker og AI kan gjensidig forbedre seg gjennom sosial læring, særlig i utdannings- og samarbeidsmiljøer. Dette kan omdefinere hvordan kunnskaps-overføring og innovasjon skjer.
5. Etisk AI-utvikling: Å lære AI å møte etiske dilemmaer gjennom sosial læring kan være et skritt mot mer ansvarlig AI. Fokuset vil være på å utvikle AI-systemer som kan resonnere etisk og samsvare med samfunnets verdier.
6. Selv-forbedrende systemer: Et økosystem hvor AI-modeller kontinuerlig lærer og forbedrer seg gjennom hverandres erfaringer, kan akselerere AI-innovasjon. Dette antyder en fremtid hvor AI kan tilpasse seg nye utfordringer mer autonomt.
7. Personvern i læring: Med AI-modeller som deler kunnskap, er det viktig å sikre personvernet til den underliggende datan. Fremtidige anstrengelser kan utforske mer sofistikerte metoder for å muliggjøre kunnskaps-overføring uten å kompromittere datansikkerhet.

Bunnen av saken

Forskerne fra Google har banebrytende en innovativ tilnærming kalt sosial læring blant store språkmodeller (LLM-er), inspirert av menneskets evne til å lære av å observere andre. Denne rammen gjør det mulig for LLM-er å dele kunnskap og forbedre sine evner uten å få tilgang til eller eksponere sensitive data. Ved å generere syntetiske eksempler og instruksjoner, kan LLM-er lære effektivt, og møte nøkkel-utfordringer i AI-utvikling som behov for merket data, over-spesialisering, over-tilpasning og ressurs-forbruk. Sosial læring ikke bare forbedrer AI-effektivitet og tilpasning, men åpner også muligheter for AI å utvikle felles “kulturer”, engasjere i kryss-modus læring, delta i desentraliserte nettverk, interagere med mennesker på nye måter, navigere etiske dilemmaer og sikre personvern. Dette markerer en betydelig skift mot mer samarbeidende, fleksible og etiske AI-systemer, som lover å omdefinere landskapet av kunstig intelligens-forskning og anvendelse.