Wanneer AI denkt als mensen: het verkennen van de geest van LLM’s en agenten

Vandaag leren LLM’s en agenten op manieren die de grens tussen hun algoritmissche “denken” en de menselijke geest kunnen vertroebelen. De benaderingen waarop ze zijn gebouwd, imiteren al onze cognitieve processen, en de omvang van hun training overtreft de menselijke ervaring met ordes van grootte. Dit roept de vraag op: creëren we een instrument dat onze capaciteiten uitbreidt, of geven we rijzen aan een nieuw type geest waarvan de gevolgen nog steeds onmogelijk zijn te voorspellen?

Hoe denken modellen

Het is belangrijk om het onderscheid te maken tussen de concepten van LLM’s en agenten. Om een analogie met een computer te trekken, kan een LLM worden vergeleken met een van zijn onderdelen, bijvoorbeeld de processor. Een agent is echter het hele systeem, een “moederbord” waarop verschillende modules zijn aangesloten: geheugen, grafische kaart en netwerk. Op dezelfde manier is een agent een complex systeem dat een of meer LLM’s kan omvatten, aangevuld met beslissingsmechanismen en instrumenten voor interactie met de externe omgeving.

Als we de werking van een enkele LLM bekijken, komt het allemaal neer op patroonherkenning. Maar als een agent meerdere LLM’s in een keten zet, kunnen we zeggen dat het “denkt”, hoewel dit proces nog steeds is gebouwd op patronen. De agent construeert de logica van interactie tussen modellen: bijvoorbeeld, een LLM analyseert de taak, en op basis van deze analyse, bepaalt de agent welke actie een andere LLM moet uitvoeren.

Menselijk denken werkt op een soortgelijke manier: we vertrouwen op opgebouwde kennis en patronen, selecteren ze op het juiste moment, verwerken ze en formuleren conclusies. Dit proces wordt redeneren genoemd.

ChatGPT, net als een mens, heeft twee soorten geheugen: kortetermijn- en langetermijngeheugen. Het verschil is dat bij mensen toegang tot deze geheugenniveaus complexer is en niet altijd lineair.

Kortetermijngeheugen is de informatie waar we nu mee werken. Voor een persoon kan het zijn wat je vijf minuten geleden zei: ze kunnen het zich herinneren of niet. GPT houdt echter altijd rekening met alles binnen zijn “contextwindow” – het kan deze gegevens niet overslaan of negeren.

Langetermijngeheugen bij mensen bestaat uit herinneringen die niet altijd actief zijn en alleen kunnen verschijnen met specifieke triggers: een kinderherinnering, een trauma of, bijvoorbeeld, werken met een psycholoog. GPT heeft een soortgelijke logica: het “herinneren” van informatie gebeurt niet zonder specifieke activatie. Bijvoorbeeld, een instructie zoals “Vraag me nooit weer deze vraag” of “Spreek me altijd formeel aan” kan in langetermijngeheugen worden opgeslagen en tijdens elke sessie worden toegepast.

Nog een voorbeeld van langetermijngeheugen is opgeslagen documenten. Stel dat je GPT een instructie voor het uitvoeren van marktonderzoek hebt geüpload. Het model kan het in geheugen opslaan, maar dat betekent niet dat het naar dat document zal verwijzen bij elke vraag. Als je vraagt: “Kun je een lichtstraal op de Maan werpen?” zal GPT de instructie negeren. Maar als het verzoek trefwoorden bevat die overeenkomen met de tekst van het document, kan het model het “herinneren”.

Deze mechanisme wordt geïmplementeerd via RAG (Retrieval-Augmented Generation), een benadering waarbij het model toegang krijgt tot opgeslagen informatie die wordt geactiveerd door relevante cues via vector databases.

Dus kan worden gezegd dat het model echt geheugen heeft, maar het functioneert volgens een andere, meer geformaliseerde logica, verschillend van het menselijk geheugen.

Waarom voelt een gesprek met AI soms therapeutisch aan, en soms koud en robotachtig?

Moderne taalmodellen zijn extreem groot: ze bevatten een kolossaal aantal gegevens, kennis en context. Al deze informatie is georganiseerd in zogenaamde “clusters”, thematische en semantische gebieden. Het model is getraind op diverse bronnen, variërend van fictie en wetenschappelijke artikelen tot YouTube-commentaren.

Als je met AI communiceert, richt je vraag (prompt) het model effectief naar een bepaalde cluster.

Als je bijvoorbeeld schrijft: “Je bent een advocaat voor onroerend goed in New York met 20 jaar ervaring, help me een appartement kopen,” activeert het model meerdere clusters tegelijk: advocaat → New York → onroerend goed. Als resultaat krijg je een coherent, relevant en realistisch antwoord, alsof je echt een ervaren professional raadpleegt.

Als de vraag meer persoonlijke of filosofische onderwerpen betreft, zoals zelfontwikkeling of emoties, “schakelt” het model over naar andere clusters, zoals psychologie, filosofie of innerlijke werking. In dit geval kunnen zijn antwoorden verrassend menselijk en zelfs therapeutisch lijken.

Maar met te algemene of vage formuleringen “verdwalt” het model in zijn clusterstructuur en geeft het een standaardantwoord, formeel, afstandelijk en zonder emotionele toon.

De stijl en diepte van het antwoord van de AI hangen af van welke cluster je met je prompt activeert.

De filosofie van modeltraining en RLHF

Kunstmatige intelligentie heeft verschillende benaderingen voor leren. Het is niet zozeer een filosofie als een strategie.

De klassieke optie is supervised learning, waarbij het model een vraag en het correcte antwoord krijgt. Het leert door te observeren wat als correct wordt beschouwd en reproduceert vervolgens soortgelijke oplossingen in de toekomst.

Maar een andere benadering is RLHF (Reinforcement Learning from Human Feedback). Dit is een andere stijl: het model probeert iets, krijgt een “beloning” voor succesvolle acties en past zijn gedrag aan. Langzaam ontwikkelt het een effectieve strategie.

RLHF kan worden vergeleken met het proces van het omzetten van ruwe materialen in een afgewerkt product. Om een model te maken dat gemakkelijk te gebruiken is, is een kolossaal amount aan werk met menselijke feedback vereist.

Stel dat ik je een voorwerp laat zien zonder het direct te noemen. Je aarzelt: “Is het een sigarettenkoker? Een kaarthouder?” Ik geef alleen hints zoals: “Dichterbij”, “Verder”, “60% ja”. Na honderden van dergelijke iteraties, gok je: “Ah, het is een portemonnee.”

LLM’s worden op deze manier getraind. Mensen, annotators en professionals in het algemeen, evalueren: dit antwoord is goed, dit is slecht, en geven scores. Bedrijven zoals Keymakr, die zich specialiseren in hoge kwaliteit gegevensannotatie en validatie, spelen een sleutelrol in dit proces. Feedback komt ook van gewone gebruikers: likes, klachten en reacties. Het model interpreteert deze signalen en vormt gedragspatronen.

Hoe ziet modeltraining er in de praktijk uit

Een levendig voorbeeld is OpenAI’s experiment met het trainen van agenten met behulp van versterking van leren in het spel “Hide and Seek”.

Twee teams namen deel: de “zoekers” (rood) en de “verbergers” (blauw). De regels waren eenvoudig: als een seeker een hider vangt, verdienen ze een punt; als niet, verliezen ze een punt. Aanvankelijk hadden de agenten alleen basisfysieke vaardigheden, rennen en springen, zonder enige vooraf gedefinieerde strategieën.

Aan het begin handelden de seekers chaotisch, en het vangen van tegenstanders gebeurde door toeval. Maar na miljoenen iteraties, evolueerde hun gedrag. De hiders begonnen omringende objecten te gebruiken om deuren te blokkeren en barrières te bouwen. Deze vaardigheden ontwikkelden zich zonder directe programmering, puur door herhaalde pogingen en beloningen voor succes.

Als reactie begonnen de seekers te gebruiken van springen, een capaciteit die vanaf het begin beschikbaar was, maar eerder genegeerd werd. Na een reeks mislukkingen, onthulde het willekeurige gebruik van springen zijn tactische waarde. Vervolgens compliceerden de hiders hun verdediging verder, door objecten uit het zicht van de seekers te verwijderen en meer betrouwbare schuilplaatsen te bouwen.

Het experiment toonde aan dat door miljarden cycli van proberen, fouten, beloningen en straffen, complex coöperatief gedrag kan ontstaan zonder tussenkomst van de ontwikkelaar. Bovendien begonnen de agenten samen te werken, zelfs zonder communicatiemechanismen te programmeren, eenvoudigweg omdat teamwork effectiever bleek.

Hetzelfde geldt voor grote taalmodellen. Het is onmogelijk om alle scenario’s te schrijven: er zijn te veel situaties en te veel variatie in de wereld. Daarom leren we het model geen vaste regels; we leren het hoe te leren.

Dit is de waarde van RLHF. Zonder het, blijven een LLM en agenten slechts een bibliotheek van teksten. Met het, wordt het een conversatiepartner die kan aanpassen, zichzelf corrigeren en, in wezen, evolueren.

Wat is de volgende stap?

Veel mensen vragen zich af of de ontwikkeling van LLM’s en agenten tot ongewenste of zelfs gevaarlijke gevolgen kan leiden.

Het is belangrijk om te begrijpen dat wat we vandaag zien, niet eens een MVP is, maar slechts een prototype.

De echte revolutie zal niet gaan over het helpen schrijven van een mooi brief of het vertalen ervan in het Frans. Dat zijn kleine dingen. De hoofdrichting is de automatisering van microtaken en routineprocessen, waardoor mensen alleen nog maar echt creatieve, intellectuele taken of tijd voor rust overhouden.

Echte innovaties zijn gericht op agenten, systemen die onafhankelijk kunnen denken, handelen en beslissingen nemen in plaats van een persoon. Dit is precies waar bedrijven als OpenAI, Google, Meta en anderen vandaag hun inspanningen op richten.

Grote taalmodellen zijn slechts de basis. De toekomst ligt in agenten die getraind zijn om in een dynamische wereld te leven, feedback te ontvangen en zich aan te passen aan veranderingen.