De introductie en evolutie van generatieve AI zijn zo plotseling en intens geweest dat het eigenlijk best moeilijk is om volledig te waarderen hoeveel deze technologie onze levens heeft veranderd.

Zoom uit naar drie jaar geleden. Ja, AI werd steeds meer alomtegenwoordig, tenminste in theorie. Meer mensen wisten enkele dingen die het kon doen, hoewel er zelfs daarmee enorme misverstanden waren over de capaciteiten van AI. Op de een of andere manier kreeg de technologie tegelijkertijd niet genoeg en te veel krediet voor wat het eigenlijk kon bereiken. Toch kon de gemiddelde persoon naar ten minste één of twee gebieden wijzen waar AI aan het werk was, hooggespecialiseerde taken redelijk goed uitvoerde, in hooggestemde omgevingen. Alles daarbuiten was ofwel nog in een onderzoekslab, of bestond gewoon niet.

Vergelijk dat met vandaag. Met nul vaardigheden, behalve de mogelijkheid om een zin te schrijven of een vraag te stellen, ligt de wereld aan onze vingertoppen. We kunnen afbeeldingen, muziek en zelfs films genereren die echt uniek en verbazingwekkend zijn en de mogelijkheid hebben om hele industrieën te verstoren. We kunnen ons zoekproces superchargen, een eenvoudige vraag stellen die, als hij goed geformuleerd is, pagina’s met aangepaste inhoud kan genereren die goed genoeg zijn om door te gaan als een universitair opgeleide geleerde … of een gemiddelde derdeklasser als we het perspectief specificeren. Terwijl ze in een jaar of twee plotseling alledaags zijn geworden, werden deze capaciteiten enkele jaren geleden als absoluut onmogelijk beschouwd. Het veld van generatieve AI bestond, maar had nog niet echt van de grond gekomen.

Vandaag hebben veel mensen geëxperimenteerd met generatieve AI, zoals ChatGPT, Midjourney of andere tools. Anderen hebben ze al in hun dagelijks leven geïntegreerd. De snelheid waarmee deze zijn geëvolueerd is verbluffend tot het punt van bijna alarmerend. En gezien de vooruitgang van de afgelopen zes maanden, zullen we ongetwijfeld in de komende jaren keer op keer worden verrast.

Een specifiek instrument dat een rol speelt binnen generatieve AI is de prestatie van Retrieval-Augmented Generation (RAG)-systemen en hun vermogen om door complexe queries heen te denken. De introductie van de FRAMES-dataset, die in detail wordt uitgelegd in een artikel over hoe de evaluatiedataset werkt, laat zien waar de stand van de techniek nu is en waar hij naartoe gaat. Zelfs sinds de introductie van FRAMES eind 2024 hebben verschillende platforms al nieuwe records gebroken op hun vermogen om door moeilijke en complexe queries heen te denken.

Laten we eens kijken wat FRAMES moet evalueren en hoe goed verschillende generatieve AI-modellen presteren. We kunnen zien hoe zowel decentralisatie als open-source-platforms niet alleen hun mannetje staan (opvallend Sentient Chat), maar gebruikers ook een duidelijk beeld geven van de verbazingwekkende redenering die sommige AI-modellen kunnen bereiken.

FRAMES als een raam naar de GenAI-brein

De FRAMES-dataset en het evaluatieproces richten zich op 824 “multi-hop”-vragen die inferentie, logische connect-the-dots, het gebruik van verschillende bronnen om sleutelinformatie op te halen en de mogelijkheid om logisch alle stukjes samen te voegen om de vraag te beantwoorden, vereisen. De vragen vereisen tussen de twee en 15 documenten om ze correct te beantwoorden en bevatten ook bewust beperkingen, wiskundige berekeningen en deducties, evenals de mogelijkheid om tijdgebonden logica te verwerken. Met andere woorden, deze vragen zijn extreem moeilijk en vertegenwoordigen eigenlijk zeer realistische onderzoeksopdrachten die een mens op internet zou kunnen uitvoeren. We hebben te maken met deze uitdagingen de hele tijd en moeten naar de verspreide sleutelstukjes informatie zoeken in een zee van internetbronnen, informatie samenstellen op basis van verschillende sites, nieuwe informatie creëren door te berekenen en af te leiden, en begrijpen hoe we deze feiten in een correct antwoord op de vraag kunnen consolideren.

Wat onderzoekers vonden toen de dataset voor het eerst werd vrijgegeven en getest, is dat de top GenAI-modellen ongeveer 40% nauwkeurig waren toen ze met single-step-methoden moesten antwoorden, maar 73% nauwkeurig konden zijn als ze alle benodigde documenten konden verzamelen om de vraag te beantwoorden. Ja, 73% lijkt misschien niet op een revolutie. Maar als je precies begrijpt wat er moet worden beantwoord, wordt het getal veel indrukwekkender.

Bijvoorbeeld is een specifieke vraag: “In welk jaar is de bandleider van de groep die oorspronkelijk het nummer heeft uitgevoerd dat is gesampled in Kanye West’s nummer Power geboren?” Hoe zou een mens dit probleem oplossen? De persoon zou kunnen zien dat hij verschillende informatie-elementen moet verzamelen, zoals de songtekst van Kanye West’s nummer “Power”, en dan in staat moeten zijn om door de songtekst te bladeren en het punt in het nummer te identificeren waar een ander nummer wordt gesampled. Wij als mensen zouden het nummer kunnen luisteren (zelfs als we er niet mee vertrouwd zijn) en waarschijnlijk kunnen horen wanneer een ander nummer wordt gesampled.

Maar denk er eens over na: wat zou een GenAI moeten bereiken om een nummer te detecteren dat niet het origineel is terwijl het “luistert” naar het nummer? Dit is waar een basale vraag een excellente test van echt intelligente AI wordt. En als we in staat zouden zijn om het nummer te vinden, te luisteren en de songtekst te identificeren die is gesampled, is dat alleen stap 1. We moeten nog steeds uitzoeken wat de naam van het nummer is, wat de band is, wie de leider van die band is en dan wat het geboortejaar van die persoon is.

FRAMES laat zien dat voor het beantwoorden van realistische vragen een enorme hoeveelheid denkvermogen nodig is. Twee dingen komen hierbij in gedachten.

Ten eerste is het vermogen van gedecentraliseerde GenAI-modellen om niet alleen mee te concurreren, maar potentieel de resultaten te domineren, ongelofelijk. Een groeiend aantal bedrijven gebruikt de gedecentraliseerde methode om hun verwerkingsmogelijkheden te schalen en ervoor te zorgen dat een grote gemeenschap de software bezit, in plaats van een centraal zwart kistje dat zijn vooruitgang niet deelt. Bedrijven als Perplexity en Sentient leiden deze trend, elk met formidabele modellen die boven de eerste nauwkeurigheidsrecords presteren sinds FRAMES werd vrijgegeven.

Het tweede element is dat een kleinere aantal van deze AI-modellen niet alleen gedecentraliseerd zijn, maar ook open-source. Zo is Sentient Chat bijvoorbeeld zowel gedecentraliseerd als open-source, en laten vroege tests zien hoe complex zijn redenering kan zijn, dankzij de onmisbare open-source-toegang. De FRAMES-vraag hierboven wordt beantwoord met een soortgelijk denkproces als een mens zou gebruiken, met zijn redeneringsdetails beschikbaar voor beoordeling. Misschien nog interessanter is dat hun platform is gestructureerd als een aantal modellen die een bepaald perspectief en prestatie kunnen fijn afstemmen, zelfs als het fijn afstemmen in sommige GenAI-modellen resulteert in verminderde nauwkeurigheid. In het geval van Sentient Chat zijn verschillende modellen ontwikkeld. Zo is een recent model genaamd “Dobby 8B” in staat om zowel de FRAMES-benchmark te overtreffen als een duidelijke pro-crypto- en pro-vrijheidsattitude te ontwikkelen, die de perspectief van het model beïnvloedt terwijl het stukjes informatie verwerkt en een antwoord ontwikkelt.

Aan de horizon

De sleutel tot al deze verbazingwekkende innovaties is de razendsnelle snelheid die ons hier heeft gebracht. We moeten erkennen dat, zo snel als deze technologie is geëvolueerd, het alleen maar sneller zal evolueren in de nabije toekomst. We zullen kunnen zien, vooral met gedecentraliseerde en open-source GenAI-modellen, dat cruciale drempel waar de intelligentie van het systeem steeds meer de onze begint te overtreffen, en wat dat betekent voor de toekomst.