AI-modellen en platforms
Meta’s COCONUT: De AI-methode die denkt zonder taal
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Toen onderzoekers voor het eerst ontdekten dat grote taalmodellen (LLM’s) stap voor stap konden “denken” door middel van chain-of-thought prompting, was het een doorbraakmoment – eindelijk konden we een blik werpen in het redeneringsproces van deze black boxes. Maar stel dat ik je vertel dat het maken van AI-modellen die denken in natuurlijke taal hen mogelijk tegenhoudt?
Dat is wat onderzoekers bij Meta en UC San Diego hebben ontdekt met hun nieuwe COCONUT (Chain of Continuous Thought) methode.
Stel je voor dat je probeert een complex wiskundig probleem op te lossen terwijl je elke stap hardop moet uitspreken. Irritant, nietwaar? Nu begrijp je het kernprobleem dat taalmodellen tegenkomen.
Wanneer we AI-modellen laten redeneren door middel van natuurlijke taal:
- De meeste tokens die ze genereren zijn alleen linguïstische lijm – woorden zoals “dus”, “volgende” en “gevolg” die geen enkele redeneringswaarde toevoegen
- Critische beslissingspunten worden gebotteld door de noodzaak om specifieke woorden te kiezen
- Het model besteedt aanzienlijke computationele inspanning aan het behouden van grammaticale coherentie in plaats van daadwerkelijk probleemoplossing
De onderzoekers vonden iets interessants in hun neuroimaging-studies: wanneer mensen complexe redeneringstaken uitvoeren, blijven de taalcentra van onze hersenen vaak verrassend stil. Toch hebben we AI-systemen gebouwd die het tegenovergestelde doen – ze worden gedwongen om elke redeneringsstap in woorden om te zetten.
Denk aan hoe je een puzzel oplost. Je geest verkent waarschijnlijk meerdere mogelijkheden tegelijk, onderhoudt vage hypothesen en kristalliseert je gedachten pas in taal wanneer je de oplossing deelt. Maar traditionele chain-of-thought-benaderingen dwingen AI-modellen om elke tussenstap te verwoorden, waardoor een “linguïstische bottleneck” ontstaat.
Deze inzicht leidde tot een overtuigende vraag: wat als we AI-modellen konden laten redeneren in hun natuurlijke “taal” – de continue, hoge-dimensionale ruimte van hun verborgen staten – in plaats van ze te dwingen om alles in tokens om te zetten?
Het begrijpen van COCONUT’s innovatie
Stel je het verschil voor tussen het uitspreken van je gedachten en het daadwerkelijke mentale proces in je hersenen. Die kloof – tussen verwoorde gedachten en neurale activiteit – is precies waar Meta’s onderzoekers op ingespeeld hebben met COCONUT.
De echte doorbraak van COCONUT ligt in hoe het AI-modellen laat denken op twee verschillende manieren, net zoals mensen doen. Denk aan wanneer je een complexe puzzel oplost – je vertelt niet elke mogelijke zet in je hoofd, nietwaar? In plaats daarvan:
- Neem het probleem in je op: Je neemt de informatie in (zoals het lezen van de puzzelregels)
- Denk stil: Je brein verkent meerdere mogelijkheden zonder ze in woorden om te zetten
- Deel de oplossing: Pas dan leg je je denken uit aan anderen
COCONUT geeft AI-modellen deze zelfde natuurlijke flexibiliteit. In plaats van ze te dwingen om elke gedachte hardop uit te spreken (zoals traditionele methoden doen), laat het ze denken in hun natuurlijke neurale ruimte – wat onderzoekers de “latentie-ruimte” noemen.
Het model schakelt soepel tussen twee modi:
- Wanneer het vragen moet begrijpen of antwoorden moet geven, gebruikt het gewone taal
- Maar voor het daadwerkelijke denkproces? Het gebruikt pure neurale patronen, vrij van de beperkingen van woorden
Afbeelding: Meta
De trainingsreis
Een van de meest fascinerende aspecten van COCONUT is zijn trainingscurriculum. Wat dit speciaal maakt, is hoe het de natuurlijke leerprogressie weerspiegelt. Denk aan hoe we complexe vaardigheden onderwijzen – je gooit iemand niet meteen in het diepe. Je bouwt het geleidelijk op, met toenemende complexiteit naarmate ze elk niveau meester worden.
De onderzoekers namen precies deze aanpak met COCONUT:
Fase 1: De basis
Eerst leert het model net als elk ander AI – door middel van traditionele chain-of-thought redenering. Dit geeft het een solide basisbegrip.
Fase 2: De overgang
Hier wordt het interessant. Langzaam worden die uitgeschreven redeneringsstappen vervangen door continue gedachten. Stel je voor dat je langzaam de trainingwielen verwijdert, waardoor het model zijn eigen interne denkpatronen kan ontwikkelen.
Fase 3: De balans
Tenslotte leert het model om naadloos te schakelen tussen diep denken in latentie-ruimte en het communiceren van zijn inzichten in duidelijke taal.
Tijdens de training ontwikkelde het model vaardigheden die niemand expliciet had geprogrammeerd – zoals het overwegen van meerdere redeneringspaden tegelijk. Dit emergente gedrag is bijzonder spannend, omdat het suggereert dat we mogelijk dichter bij meer natuurlijke vormen van AI-redenering komen. Het zijn deze onverwachte ontwikkelingen die vaak tot de grootste doorbraken leiden.
Herinner je die neuroimaging-studies die ik eerder noemde? Die toonden aan dat de hersenen van mensen vaak complexe redeneringstaken verwerken zonder de taalcentra zwaar te belasten. COCONUT lijkt soortgelijke patronen te ontwikkelen – diep denken in zijn natuurlijke neurale ruimte en alleen omzetten in taal wanneer nodig voor communicatie.
De cijfers vertellen een verhaal
Een paar belangrijke bevindingen springen eruit in het onderzoek:
- Wiskundige woordproblemen (GSM8k): Hier behaalde COCONUT 34,1% nauwkeurigheid. Hoewel dit onder de traditionele Chain-of-Thought (42,9%) ligt, is het aanzienlijk beter dan basismethoden.
- Logische deductie (ProntoQA): COCONUT behaalde 99,8% nauwkeurigheid, net boven de 98,8% van traditionele Chain-of-Thought. Maar hier is het punt – het deed dit met slechts 9 tokens in vergelijking met CoT’s 92,5.
- Complex plannen (ProsQA): De meest indrukwekkende resultaten kwamen uit deze geavanceerde redeneringstest. COCONUT behaalde 97% nauwkeurigheid, terwijl traditionele methoden slechts 77,5% haalden. En opnieuw deed het dit met opvallende efficiëntie – 14,2 tokens versus 49,4.
Wat deze resultaten veelbelovend maakt, is niet alleen de brute cijfers – het is wat ze onthullen over verschillende soorten denken. Terwijl COCONUT mogelijk nog zijn voet vindt bij wiskundige redenering, blinkt het uit in taken die complexe logische planning en deductie vereisen.
COCONUT vertegenwoordigt een fundamentele heroverweging van hoe AI-systemen kunnen redeneren, en het brengt ons dichter bij meer natuurlijke, efficiënte en krachtige vormen van kunstmatige intelligentie. De reis van taalgebaseerde redenering naar continue gedachte is een stap naar meer capabele en efficiënte AI-systemen.
