AI leert van AI: de opkomst van sociaal leren onder grote taalmodellen

Sinds OpenAI ChatGPT 3.5 eind 2022 heeft gelanceerd, is de rol van fundamentele grote taalmodellen (LLM’s) in de kunstmatige intelligentie (AI) steeds belangrijker geworden, vooral in natuurlijke taalverwerking (NLP). Deze LLM’s, die zijn ontworpen om menselijke tekst te verwerken en te genereren, leren van een uitgebreide reeks teksten van het internet, variërend van boeken tot websites. Dit leerproces stelt hen in staat om de essentie van de menselijke taal te vatten, waardoor de LLM’s lijken op algemene probleemoplossers.

Terwijl de ontwikkeling van LLM’s nieuwe deuren heeft geopend, brengt de methode van het aanpassen van deze modellen voor specifieke toepassingen – bekend als fine-tuning – zijn eigen set van uitdagingen met zich mee. Fine-tuning van een model vereist extra training op meer gefocuste datasets, wat kan leiden tot moeilijkheden zoals de behoefte aan gelabelde gegevens, het risico van modeldrift en overfitting, en de behoefte aan significante bronnen.

Door deze uitdagingen aan te pakken, hebben onderzoekers van Google (GOOGL ) onlangs het idee van ‘sociaal leren’ overgenomen om AI te laten leren van AI. Het belangrijkste idee is dat, wanneer LLM’s worden omgezet in chatbots, ze kunnen communiceren en leren van elkaar op een manier die lijkt op menselijk sociaal leren. Deze interactie stelt hen in staat om van elkaar te leren, waardoor hun effectiviteit verbetert.

Wat is sociaal leren?

Sociaal leren is geen nieuw idee. Het is gebaseerd op een theorie uit de jaren 70 van Albert Bandura, die suggereert dat mensen leren door anderen te observeren. Dit concept, toegepast op AI, betekent dat AI-systemen kunnen verbeteren door met elkaar te communiceren, waarbij ze niet alleen leren van directe ervaringen, maar ook van de acties van hun peers. Deze methode belooft snellere vaardigheidsovername en kan zelfs toelaten dat AI-systemen hun eigen “cultuur” ontwikkelen door kennis te delen.

In tegenstelling tot andere AI-leren methoden, zoals trial-and-error versterking leren of imitatie leren van directe voorbeelden, benadrukt sociaal leren leren door interactie. Het biedt een meer hands-on en gemeenschappelijke manier voor AI om nieuwe vaardigheden te leren.

Sociaal leren in LLM’s

Een belangrijk aspect van sociaal leren is het delen van kennis zonder originele en gevoelige informatie te delen. Daarom hebben onderzoekers een leraar-leerling dynamiek gebruikt waarbij leraar-modellen het leerproces voor leerling-modellen faciliteren zonder vertrouwelijke details te onthullen. Om dit doel te bereiken, genereren leraar-modellen synthetische voorbeelden of instructies waaruit leerling-modellen kunnen leren zonder de daadwerkelijke gegevens te delen. Bijvoorbeeld, als we een leraar-model hebben dat is getraind op het onderscheiden tussen spam- en niet-spam-tekstberichten met behulp van door gebruikers gemarkeerde gegevens, en we willen dat een ander model deze taak leert zonder de originele, privé-gegevens aan te raken, dan komt sociaal leren in beeld. Het leraar-model zou synthetische voorbeelden of instructies kunnen genereren op basis van zijn kennis, waardoor het leerling-model spam-berichten nauwkeurig kan identificeren zonder directe blootstelling aan de gevoelige gegevens. Deze strategie verhoogt niet alleen de leer-efficiëntie, maar toont ook het potentieel van LLM’s om dynamisch en aanpasbaar te leren, mogelijk een collectieve kennis-cultuur op te bouwen. Een vitaal kenmerk van deze benadering is de afhankelijkheid van synthetische voorbeelden en instructies. Door het genereren van nieuwe, informatieve voorbeelden die verschillen van de originele dataset, kunnen leraar-modellen de privacy bewaren en tegelijkertijd leerling-modellen naar effectief leren leiden. Deze aanpak heeft succesvol resultaten opgeleverd, gelijk aan die verkregen met behulp van de daadwerkelijke gegevens.

Hoe sociaal leren de uitdagingen van fine-tuning aanpakt

Sociaal leren biedt een nieuwe manier om LLM’s te verfijnen voor specifieke taken. Het helpt bij het aanpakken van de uitdagingen van fine-tuning op de volgende manieren:

1. Minder behoefte aan gelabelde gegevens: Door te leren van synthetische voorbeelden die tussen modellen worden gedeeld, vermindert sociaal leren de afhankelijkheid van moeilijk te verkrijgen gelabelde gegevens.
2. Voorkoming van over-specialisatie: Het houdt modellen flexibel door ze bloot te stellen aan een bredere reeks voorbeelden dan die in kleine, specifieke datasets.
3. Vermindering van overfitting: Sociaal leren verbreedt de leerervaring, waardoor modellen beter kunnen generaliseren en overfitting kunnen vermijden.
4. Besparing van bronnen: Deze benadering stelt modellen in staat om efficiënter gebruik te maken van bronnen, aangezien ze van elkaars ervaringen leren zonder direct toegang tot grote datasets nodig te hebben.

Toekomstige richtingen

Het potentieel van sociaal leren in LLM’s suggereert verschillende interessante en zinvolle manieren voor toekomstig AI-onderzoek:

1. Hybride AI-culturen: Naarmate LLM’s deelnemen aan sociaal leren, kunnen ze mogelijk gemeenschappelijke methodologieën vormen. Studies kunnen worden uitgevoerd om de effecten van deze opkomende AI-“culturen” te onderzoeken, waarbij de invloed op menselijke interacties en de ethische kwesties die hierbij betrokken zijn, worden onderzocht.
2. Cross-modale leren: Het uitbreiden van sociaal leren tot voorbij tekst, omvatting van beelden, geluiden en meer, kan leiden tot AI-systemen met een rijker begrip van de wereld, net zoals mensen leren door meerdere zintuigen.
3. Decentraal leren: Het idee van AI-modellen die van elkaar leren over een decentraal netwerk, presenteert een noviteit in het opschalen van kennisdeling. Dit zou het aanpakken van significante uitdagingen in coördinatie, privacy en beveiliging vereisen.
4. Menselijke AI-interactie: Er is potentieel in het onderzoeken van hoe mensen en AI wederzijds kunnen profiteren van sociaal leren, vooral in educatieve en collaboratieve omgevingen. Dit kan de manier waarop kennisoverdracht en innovatie plaatsvinden, herdefiniëren.
5. Ethische AI-ontwikkeling: Het leren van AI om ethische dilemma’s aan te pakken door middel van sociaal leren, kan een stap zijn naar meer verantwoorde AI. De focus zou liggen op het ontwikkelen van AI-systemen die ethisch kunnen redeneren en in overeenstemming zijn met maatschappelijke waarden.
6. Zelfverbeterende systemen: Een ecosysteem waarin AI-modellen voortdurend van elkaar leren en verbeteren, kan de AI-innovatie versnellen. Dit suggereert een toekomst waarin AI zich meer autonoom aan kan passen aan nieuwe uitdagingen.
7. Privacy in leren: Met AI-modellen die kennis delen, is het waarborgen van de privacy van de onderliggende gegevens cruciaal. Toekomstige inspanningen kunnen meer geavanceerde methoden onderzoeken om kennisoverdracht mogelijk te maken zonder de gegevensbeveiliging te compromitteren.

De bodemlijn

Onderzoekers van Google hebben een innovatieve benadering genaamd sociaal leren onder grote taalmodellen (LLM’s) ontwikkeld, geïnspireerd door de menselijke capaciteit om te leren door anderen te observeren. Dit kader stelt LLM’s in staat om kennis te delen en hun capaciteiten te verbeteren zonder toegang te hebben tot of gevoelige gegevens bloot te leggen. Door synthetische voorbeelden en instructies te genereren, kunnen LLM’s effectief leren, waarbij ze belangrijke uitdagingen in AI-ontwikkeling aanpakken, zoals de behoefte aan gelabelde gegevens, over-specialisatie, overfitting en bronnenverbruik. Sociaal leren verhoogt niet alleen de AI-efficiëntie en flexibiliteit, maar opent ook mogelijkheden voor AI om gedeelde “culturen” te ontwikkelen, cross-modale leren te engageren, deel te nemen aan decentrale netwerken, op nieuwe manieren met mensen te interacteren, ethische dilemma’s te navigeren en privacy te waarborgen. Dit markeert een significante verschuiving naar meer collaboratieve, flexibele en ethische AI-systemen, die de landschap van kunstmatige intelligentie-onderzoek en -toepassing beloven te herdefiniëren.