De nieuwe intuïtie van AI: waarom slimmer denken belangrijker is dan langer denken

De vooruitgang in kunstmatige intelligentie (AI) is lange tijd gedreven door de overtuiging dat meer data en rekenkracht de prestaties kunnen verbeteren. Deze “brute force”-aanpak heeft indrukwekkende AI-systemen opgeleverd, zoals GPT-3, die in de loop der jaren opvallend goed hebben gepresteerd. Echter, deze paradigma bereikt zijn limiet. Naarmate AI-problemen complexer worden, wordt het duidelijk dat het simpelweg toevoegen van meer verwerkingskracht geen duurzame of effectieve oplossing is voor langetermijnvooruitgang. Deze realisatie heeft onderzoekers ertoe aangezet hun aanpak van AI-ontwikkeling te heroverwegen. In deze context introduceert Deep Cogito’s Cogito v2-model een nieuwe aanpak die de toekomst van AI-ontwikkeling kan veranderen. In plaats van te vertrouwen op meer verwerkingskracht of uitgebreid redeneren, ontwikkelt Cogito v2 interne “intuïtie” die het model leidt om de juiste paden te identificeren voordat het zoekproces zelfs maar begint. Dit is een paradigmaparadigmashift in de manier waarop AI wordt ontwikkeld door te focussen op slimmer denken, niet langer.

Een verschuiving in AI-ontwikkeling

Gedurende vele jaren was de drijvende kracht achter AI-vooruitgang de gedachte dat “meer beter is”. Deze aanpak heeft geleid tot AI-modellen die uitgebreide redeneringsketens genereren om complexe problemen op te lossen. OpenAI’s modellen, zoals GPT-3, zijn een voorbeeld van deze aanpak, waarbij langere denkketens hebben geleid tot indrukwekkende resultaten op moeilijke taken. Hoewel deze methode indrukwekkende resultaten heeft opgeleverd, heeft het significante nadelen. Langere redeneringsketens vereisen meer rekenkracht, wat resulteert in langzamere inferentietijden en hogere operationele kosten. Bovendien heeft onderzoek aangetoond dat deze uitgebreide processen vaak leiden tot afnemende rendementen, waarbij langere redenering leidt tot grotere bias en minder efficiëntie. Het fundamentele probleem is dat het vertrouwen op lange redeneringsketens en toenemende rekenkracht geen effectieve oplossing meer is voor het aanpakken van complexe AI-problemen. Deze benaderingen zijn beperkt door hun massive verwerkingstijd en geheugeneisen.

Waarom ‘intuïtie’ ertoe doet voor AI

In tegenstelling tot huidige AI-systemen die afhankelijk zijn van uitgebreid redeneren, vertrouwen mensen vaak op wat wordt genoemd “intuïtie” (een vorm van snelle, intuïtieve oordeelsvorming) om problemen op te lossen. Hoewel intuïtie een abstract concept kan lijken, is het vaak het resultaat van jarenlange ervaring, leren en contextverwerking die mensen in staat stelt om snelle beslissingen te nemen zonder elk detail volledig te analyseren. Het is deze vorm van intuïtie die ruwe berekening onderscheidt van menselijke redenering. Mensen bouwen deze ‘intuïtie’ op door patroonherkenning en opgedane ervaring en het stelt ons in staat om beslissingen te nemen zonder elk mogelijke optie uitputtend te onderzoeken. AI’s nieuwe “intuïtie” heeft als doel dit proces te repliceren.

Deze gedachte, ook wel de “intelligentieprior” genoemd, kan een sleutel zijn om AI-systemen te empoweren met menselijke redenering en ze efficiënter te maken. AI-modellen met een sterke intelligentieprior kunnen anticiperen welke oplossingen waarschijnlijk zullen slagen zonder uitgebreide berekening te hoeven uitvoeren. In plaats van te vertrouwen op uitputtende zoekmethoden, stelt intuïtie AI-systemen in staat om eerder verworven kennis te benutten, met een focus op de meest effectieve paden naar een oplossing.

Hoe Cogito v2 ‘intuïtie’ incorporeerde

Cogito heeft het concept van ‘intuïtie’ (meer technisch, intelligentieprior) geïncorporeerd in hun onlangs uitgebrachte model Cogito v2. Zij integreerden dit concept met behulp van een mechanisme genaamd Iterated Distillation and Amplification (IDA). Dit mechanisme stelt het model in staat om van zijn eigen redeneringsproces te leren en zijn probleemoplossende vaardigheden over tijd te verfijnen. In plaats van te vertrouwen op statische prompts of vaste leraren, stelt IDA het AI-model in staat om succesvolle redeneringspaden terug te distilleren in zijn kernmodelparameters. Dit zelfverbeteringsproces verfijnt de redeneringsvaardigheid van het model over tijd, waarbij niet alleen wordt geoptimaliseerd voor accurate antwoorden, maar ook voor de meest efficiënte methoden van denken.

• Iterated Distillation and Amplification (IDA)

Om te begrijpen hoe IDA werkt, kunnen we kijken naar dual-process-theorie, die menselijk denken verdeelt in twee systemen: Systeem 1 en Systeem 2. Systeem 1 verwijst naar snelle, intuïtieve besluitvorming, terwijl Systeem 2 trager is, met meer bewuste redenering. De theorie suggereert dat mensen voor de meeste taken vertrouwen op Systeem 1, maar overschakelen naar Systeem 2 wanneer ze worden geconfronteerd met complexere beslissingen.

IDA is een tweefasige cyclus: amplificatie en distillatie. In de amplificatiefase gebruikt het model intensieve berekeningsmethoden om hoge-kwaliteit oplossingen of redeneringssporen te genereren. Dit is vergelijkbaar met Systeem 2-denken, waar het AI-model de tijd neemt om zorgvuldig potentiële oplossingen te evalueren. In de distillatiefase internaliseert het model vervolgens de inzichten uit de amplificatiefase, waarbij het redeneringsproces van Systeem 2 naar Systeem 1 wordt getransformeerd. Net zoals een menselijke bestuurder meer intuïtief wordt naarmate hij meer ervaring opdoet, kan een AI-model met IDA snellere, efficiëntere beslissingen nemen over tijd.

Het sleutelidee achter IDA is om computationally intensieve redenering in de amplificatiefase te gebruiken, en vervolgens de verbeterde redenering terug te distilleren in de modelparameters. Dit proces stelt het model in staat om effectieve redeneringsstrategieën te internaliseren die zijn vermogen tot intuïtief denken bij het oplossen van problemen vergroten. Door deze cyclus te herhalen, verbetert het AI-systeem voortdurend zijn vermogen om beslissingen te nemen met minder rekenkracht.

Voordelen van het integreren van ‘intuïtie’ in AI

Een van de belangrijkste voordelen van AI’s intuïtie is de efficiëntie. Modellen zoals Cogito v2 demonstreren redeneringsketens die tot 60% korter zijn dan die van concurrerende modellen. Dit betekent dat ze tot antwoorden kunnen komen met minder interne stappen, waardoor de tijd en middelen die nodig zijn voor inferentie worden verminderd. Bijvoorbeeld, een probleem dat mogelijk meer dan 200 tokens nodig heeft om op te lossen met DeepSeek R1, kan worden opgelost door Cogito v2 in minder dan 100 tokens.

Bovendien is de kosten van het trainen van Cogito v2 aanzienlijk lager dan die van traditionele AI-modellen. Het hele trainingsproces voor Cogito v2, dat een breed scala aan parameters omvat, kostte minder dan 3,5 miljoen dollar, wat aanzienlijk minder is dan de uitgaven die gewoonlijk geassocieerd worden met grote modellen zoals GPT-4.

Cogito v2 heeft ook emergente capaciteiten getoond in gebieden waarvoor het niet expliciet getraind was. Bijvoorbeeld, ondanks dat het primair getraind was op tekst, kan Cogito v2 redeneren over afbeeldingen, waarbij het inzichten trekt over afbeeldingssamenstelling en habitats. Deze cross-modale redeneringscapaciteit is een belangrijke stap naar generaliseerde intelligentie, een belangrijke mijlpaal op de weg naar Artificiële Algemene Intelligentie (AGI).

AI-ontwikkeling opnieuw bezien

Het succes van de intelligentieprior suggereert dat AI-ontwikkelingsstrategieën een fundamentele verschuiving nodig hebben. In plaats van simpelweg het model te schalen of de rekenkracht te vergroten, zou AI-ontwikkeling moeten focussen op het bouwen van systemen die hun eigen cognitieve strategieën kunnen ontwikkelen en verfijnen. Deze verschuiving spiegelt menselijke cognitieve ontwikkeling, waar intelligentie niet het resultaat is van een groter brein of meer denktijd, maar van betere mentale modellen en redeneringsstrategieën. Deze verandering in aanpak kan langetermijnimplicaties hebben. Door te focussen op slimmer redeneren in plaats van brute rekenkracht, kan AI meer veelzijdig, adaptief en in staat worden om nieuwe uitdagingen aan te gaan. Deze verschuiving kan de toepassing van AI in industrieën zoals gezondheidszorg, cybersecurity en autonome transport versnellen, waardoor AI-systemen efficiënter, kostenefficiënter en impactvoller worden.

De bodemlijn

Het succes van Cogito v2 demonstreert dat de toekomst van AI niet ligt in het schalen van modellen of het vergroten van rekenkracht, maar in het verfijnen van redeneringsarchitecturen en het optimaliseren voor slimmer probleemoplossen. Deze verschuiving belooft een meer duurzame en toegankelijke toekomst voor AI, waar systemen voortdurend kunnen verbeteren en aanpassen met minder afhankelijkheid van uitgebreide rekenkracht. Door te focussen op intelligent redeneren in plaats van brute berekening, kan AI meer in staat worden om complexe, real-world problemen aan te pakken.