AI leert van AI: de opkomst van sociaal leren onder grote taalmodellen

Sinds OpenAI onthuld ChatGPT3.5 eind 2022 de rol van fundamenteel grote taalmodellen (LLM’s) zijn steeds prominenter geworden op het gebied van kunstmatige intelligentie (AI), met name in natuurlijke taalverwerking (NLP). Deze LLM's, ontworpen om mensachtige tekst te verwerken en te genereren, leren van een uitgebreid scala aan teksten van internet, variërend van boeken tot websites. Dit leerproces stelt hen in staat de essentie van menselijke taal vast te leggen, waardoor de LLM's lijken op probleemoplossers voor algemene doeleinden.

Hoewel de ontwikkeling van LLM's nieuwe deuren heeft geopend, is de methode om deze modellen aan te passen voor specifieke toepassingen bekend als scherpstellen– brengt zijn eigen reeks uitdagingen met zich mee. Het verfijnen van een model vereist aanvullende training op meer gerichte datasets, wat kan leiden tot problemen zoals de vereiste voor gelabelde data, het risico van de modelafwijking en overfittingen de behoefte aan aanzienlijke middelen.

Om deze uitdagingen aan te pakken, hebben onderzoekers van Google onlangs het idee overgenomen van 'sociaal leren' om AI te helpen leren van AI. Het belangrijkste idee is dat, wanneer LLM's worden omgezet in chatbots, ze met elkaar kunnen communiceren en van elkaar kunnen leren op een manier die vergelijkbaar is met menselijk sociaal leren. Door deze interactie kunnen ze van elkaar leren, waardoor hun effectiviteit toeneemt.

Wat is sociaal leren?

Sociaal leren is geen nieuw idee. Het is gebaseerd op een theorie uit de jaren zeventig van de vorige eeuw Albert Bandura, wat suggereert dat mensen leren door anderen te observeren. Dit concept toegepast op AI betekent dat AI-systemen kunnen verbeteren door met elkaar te communiceren, waarbij ze niet alleen leren van directe ervaringen, maar ook van de acties van collega's. Deze methode belooft een snellere verwerving van vaardigheden en kan AI-systemen zelfs hun eigen ‘cultuur’ laten ontwikkelen door kennis te delen.

In tegenstelling tot andere AI-leermethoden, zoals vallen en opstaan versterking van leren or imitatie leren Vanuit directe voorbeelden legt sociaal leren de nadruk op leren door interactie. Het biedt AI een meer praktische en gemeenschappelijke manier om nieuwe vaardigheden op te doen.

Sociaal leren in LLM's

Een belangrijk aspect van sociaal leren is het uitwisselen van kennis zonder originele en gevoelige informatie te delen. Als zodanig, onderzoekers hebben een leraar-leerling-dynamiek toegepast waarbij leraarmodellen het leerproces voor leerlingmodellen vergemakkelijken zonder vertrouwelijke details prijs te geven. Om dit doel te bereiken genereren lerarenmodellen synthetische voorbeelden of aanwijzingen waarvan leerlingmodellen kunnen leren zonder de daadwerkelijke gegevens te delen. Denk bijvoorbeeld aan een docentenmodel dat is getraind in het maken van onderscheid tussen spam- en niet-spam-sms-berichten, waarbij gebruik wordt gemaakt van door gebruikers gemarkeerde gegevens. Als we willen dat een ander model deze taak onder de knie krijgt zonder de originele, privégegevens aan te raken, komt sociaal leren om de hoek kijken. Het lerarenmodel zou synthetische voorbeelden creëren of inzichten bieden op basis van zijn kennis, waardoor het leerlingmodel spamberichten nauwkeurig kan identificeren zonder directe blootstelling aan de gevoelige gegevens. Deze strategie verbetert niet alleen de leerefficiëntie, maar demonstreert ook het potentieel voor LLM's om op dynamische, aanpasbare manieren te leren, waardoor mogelijk een collectieve kenniscultuur wordt opgebouwd. Een essentieel kenmerk van deze aanpak is de afhankelijkheid van synthetische voorbeelden en vervaardigde instructies. Door nieuwe, informatieve voorbeelden te genereren die verschillen van de oorspronkelijke dataset, kunnen lerarenmodellen de privacy behouden en tegelijkertijd leerlingmodellen naar effectief leren leiden. Deze aanpak is effectief geweest en heeft resultaten opgeleverd die vergelijkbaar zijn met de resultaten die zijn verkregen met behulp van de daadwerkelijke gegevens.

Hoe sociaal leren de uitdagingen van het afstemmen aanpakt?

Sociaal leren biedt een nieuwe manier om LLM's voor specifieke taken te verfijnen. Het helpt op de volgende manieren om te gaan met de uitdagingen van het afstemmen:

1. Minder behoefte aan gelabelde gegevens: Door te leren van synthetische voorbeelden die tussen modellen worden gedeeld, vermindert sociaal leren de afhankelijkheid van moeilijk te verkrijgen gelabelde gegevens.
2. Overspecialisatie vermijden: Het houdt modellen veelzijdig door ze bloot te stellen aan een breder scala aan voorbeelden dan die in kleine, specifieke datasets.
3. Overfitting verminderen: Sociaal leren verbreedt de leerervaring, waardoor modellen beter kunnen generaliseren en overfitting kunnen voorkomen.
4. Hulpbronnen besparen: Deze aanpak maakt een efficiënter gebruik van hulpbronnen mogelijk, omdat modellen van elkaars ervaringen leren zonder directe toegang tot grote datasets nodig te hebben.

Toekomstige richtingen

Het potentieel voor sociaal leren in LLM’s suggereert verschillende interessante en betekenisvolle manieren voor toekomstig AI-onderzoek:

1. Hybride AI-culturen: Naarmate LLM's deelnemen aan sociaal leren, kunnen ze gemeenschappelijke methodologieën gaan ontwikkelen. Er zouden studies kunnen worden uitgevoerd om de effecten van deze opkomende AI-‘culturen’ te onderzoeken, waarbij hun invloed op menselijke interacties en de ethische kwesties die daarbij betrokken zijn, worden onderzocht.
2. Cross-modaliteit leren: Het uitbreiden van sociaal leren tot voorbij tekst en het omvatten van afbeeldingen, geluiden en meer zou kunnen leiden tot AI-systemen met een rijker begrip van de wereld, net zoals mensen leren via meerdere zintuigen.
3. Gedecentraliseerd leren: Het idee dat AI-modellen van elkaar leren via een gedecentraliseerd netwerk biedt een nieuwe manier om kennisdeling op te schalen. Dit zou het aanpakken van aanzienlijke uitdagingen op het gebied van coördinatie, privacy en veiligheid vereisen.
4. Mens-AI-interactie: Er schuilt potentieel in het onderzoeken hoe mensen en AI wederzijds kunnen profiteren van sociaal leren, vooral in educatieve en samenwerkingsomgevingen. Dit zou een nieuwe definitie kunnen geven aan de manier waarop kennisoverdracht en innovatie plaatsvinden.
5. Ethische AI-ontwikkeling: AI leren ethische dilemma’s aan te pakken door middel van sociaal leren zou een stap kunnen zijn in de richting van meer verantwoorde AI. De nadruk zou liggen op de ontwikkeling van AI-systemen die ethisch kunnen redeneren en aansluiten bij maatschappelijke waarden.
6. Zelfverbeterende systemen: Een ecosysteem waarin AI-modellen voortdurend van elkaars ervaringen leren en verbeteren, zou AI-innovatie kunnen versnellen. Dit suggereert een toekomst waarin AI zich autonomer kan aanpassen aan nieuwe uitdagingen.
7. Privacy bij het leren: Nu AI-modellen kennis delen, is het waarborgen van de privacy van de onderliggende gegevens cruciaal. Toekomstige inspanningen zouden meer geavanceerde methoden kunnen onderzoeken om kennisoverdracht mogelijk te maken zonder de gegevensbeveiliging in gevaar te brengen.

The Bottom Line

Google-onderzoekers hebben pionierswerk verricht met een innovatieve aanpak die sociaal leren wordt genoemd onder Large Language Models (LLM's), geïnspireerd door het menselijk vermogen om te leren door anderen te observeren. Dit raamwerk stelt LLM's in staat kennis te delen en capaciteiten te verbeteren zonder toegang te krijgen tot gevoelige gegevens of deze openbaar te maken. Door synthetische voorbeelden en instructies te genereren, kunnen LLM's effectief leren en belangrijke uitdagingen in de AI-ontwikkeling aanpakken, zoals de behoefte aan gelabelde gegevens, overspecialisatie, overfitting en het verbruik van hulpbronnen. Sociaal leren verbetert niet alleen de efficiëntie en het aanpassingsvermogen van AI, maar opent ook mogelijkheden voor AI om gedeelde ‘culturen’ te ontwikkelen, deel te nemen aan cross-modality learning, deel te nemen aan gedecentraliseerde netwerken, op nieuwe manieren met mensen te communiceren, ethische dilemma’s te omzeilen en privacy te waarborgen. Dit markeert een belangrijke verschuiving naar meer collaboratieve, veelzijdige en ethische AI-systemen, die beloven het landschap van onderzoek en toepassing van kunstmatige intelligentie opnieuw te definiëren.