AI wordt slimmer; samenhang wordt moeilijker

Mijn hele carrière lang heb ik geprobeerd intelligentie te begrijpen. Ik ben neurowetenschappen gaan studeren omdat ik geïnteresseerd was in AI en dacht dat het een goed begin zou zijn om eerst te leren hoe de hersenen werken. Eerst intelligentie, vóór ‘kunstmatige’ intelligentie. Die opleiding heeft me een gewoonte bijgebracht. Wanneer er een nieuwe mogelijkheid of technologie opduikt, is mijn eerste vraag praktisch van aard. Wat kan dit nu echt, en voor welke soorten problemen in de praktijk is het geschikt?

Als AI-specialist juich ik AI-koppen zelden toe. Ik kijk voorbij de ophef om niet alleen de doorbraken, maar ook de beperkingen van de nieuwe mogelijkheden te begrijpen.

Van alledaagse hulpmiddelen naar betrouwbaarheid waar veel van afhangt

In 2020, toen het debat over AI-veiligheid bol stond van de hype, had ik een eenvoudig advies. Beschouw AI als een hulpmiddel: krachtig, maar nog steeds een hulpmiddel. Houd het bij de alledaagse toepassingen. Werk op taakniveau, waar de technologie betrouwbaar genoeg was om te helpen. Mijn optimistische scenario bestond uit gewone maar nuttige hulpmiddelen.

Toen een paar jaar later de opmars van agentische systemen begon, keek ik er met dezelfde blik naar en bleef ik niet overtuigd. De kracht van een agentisch systeem wordt bepaald door de taken waarop het is gebaseerd, en ik had nog niet gezien dat de betrouwbaarheid op taakniveau voldoende was om zulke systemen effectief te maken.

De hype nam echter toe. Toen ik begin vorig jaar RSA bijwoonde, was de kloof tussen woorden en inhoud nog steeds moeilijk te negeren. Er bestond zelfs geen gedeeld begrip van wat ‘agentisch’ betekende; iedereen had een andere definitie en een ander perspectief. Bovendien maakte ik me zorgen over een structureel probleem. Neem tien agents die elk ongeveer 95 procent nauwkeurig zijn. Schakel ze achter elkaar, zodat de uitvoer van de ene de invoer van de volgende wordt. Aan het einde van die keten is de nauwkeurigheid gedaald tot ongeveer 60 procent. Betrouwbaarheid blijft niet overeind wanneer je systemen op elkaar stapelt. Tegen die tijd begon ik na te denken over systemen van agents, al vroeg ik me nog steeds af of je erop kon vertrouwen dat ze goed werk zouden leveren en een betekenisvol verschil zouden maken.

Vervolgens veranderden de snelle verbeteringen van codeeragents mijn kijk op de zaak.

Binnen enkele maanden na mijn artikel over dit onderwerp maakte het ongelooflijke tempo van de vooruitgang me één ding duidelijk. Het was slechts een kwestie van tijd voordat de betrouwbaarheid voor verschillende praktijktaken op peil zou zijn. Betere modellen met betere technische infrastructuur eromheen zouden de kloof dichten waarover ik me zorgen had gemaakt. Het plafond waar ik tegenaan dacht te lopen, zou verdwijnen.

Toen kwam het werkelijke probleem in beeld, en dat was niet het probleem waarop ik had gelet. Zodra je de afzonderlijke agents kunt vertrouwen, houd je niet op nadat je de eerste hebt ingezet. Je zet er veel in. Hele zwermen, binnen alle functies, stuk voor stuk capabel en elk bezig met zijn eigen taak. En er diende zich een nieuwe vraag aan, die niets met betrouwbaarheid te maken had. Levert de hele zwerm nog steeds op wat de organisatie voor ogen had, als elke agent doet waarvoor hij is gebouwd?

De behoefte aan organisatorische proprioceptie

Een lichaam met capabele ledematen kan zich niet goed bewegen zonder proprioceptie: het voortdurende innerlijke besef van waar alle lichaamsdelen zich bevinden en wat ze doen. Het cerebellum reageert niet alleen op die terugkoppeling, maar doet ook voorspellingen. Wanneer de hersenen een bewegingsopdracht geven, vormen ze een verwachting van de gewaarwording die die beweging zou moeten opleveren. Vervolgens toetsen ze die verwachting aan wat er daadwerkelijk gebeurt. Het verschil daartussen levert het signaal dat de volgende beweging bijstuurt. Vaardig bewegen is een voortdurende cyclus van het voorspellen van het resultaat en het corrigeren van afwijkingen.

Een organisatie die met zwermen agents werkt, heeft hetzelfde besef van zichzelf nodig. Ze moet voortdurend weten waar haar systemen zich bevinden en in hoeverre die zijn afgedwaald van de beoogde toestand. Zonder dat innerlijke besef leiden capabele onderdelen niet tot gecoördineerd handelen. Dit is geen waarnemingsmechanisme dat je achteraf aan een lichaam toevoegt om het veiliger te maken. Het is nodig om het lichaam überhaupt te laten bewegen.

Er is een goed bestudeerd geval bekend van een man die Ian Waterman heette, die dit gevoel in het grootste deel van zijn lichaam verloor. Hij leerde weer bewegen, maar alleen door zichzelf in de gaten te houden en elke stap en reikbeweging met zijn ogen te sturen. Het werkt. Maar het is ook uitputtend en kwetsbaar. Doe het licht uit en hij kan helemaal niet meer coördineren. Een organisatie die haar agents aanstuurt met handmatige audits en periodieke evaluaties, bevindt zich in dezelfde situatie. Ze compenseert met voortdurende inspanning voor een besef dat ze nooit heeft opgebouwd, en die compensatie kost meer dan wat ervoor in de plaats komt. Het hele systeem stort in zodra de omstandigheden veranderen.

Er is nog een merkwaardiger vorm van falen die het vermelden waard is, beschreven in een fascinerend boek van neurowetenschapper V S Ramachandran. Wanneer een ledemaat wordt geamputeerd, vallen de hersenen niet stil. Ze blijven signalen voor het ontbrekende ledemaat afgeven, en de persoon voelt die heel duidelijk. Toezicht kan op dezelfde manier falen. Ontneem een toezichtsfunctie door een reorganisatie of verwaarlozing haar werkelijke beoordelingsvermogen, en de functie valt niet stil. Evaluaties worden nog steeds afgerond en meetgegevens worden nog steeds geproduceerd. De organisatie blijft de indruk hebben dat er toezicht is, terwijl het oordeelsvermogen erachter is uitgehold. Hier komt mijn advies uit 2020 over transparantie weer naar voren. Zonder transparantie is er geen toezicht, en in een systeem dat alleen de indruk wekt dat het wordt gecontroleerd, is geen sprake van transparantie.

Samenhang als schaarse hulpbron

Intelligentie wordt steeds goedkoper. Binnenkort is die aanwezig in elke workflow en elke tool. In die wereld is samenhang de schaarse hulpbron: de levende verbinding tussen wat elk systeem afzonderlijk doet en wat de onderneming probeert te bereiken. Samenhang is het verbindende weefsel dat ervoor zorgt dat verspreide intelligentie op één doel blijft gericht.

Ik heb jarenlang bestudeerd hoe een brein zijn vele onderdelen als één geheel laat functioneren. Het tijdperk van AI-agenten stelt de onderneming dezelfde vraag. Sinds 2020 is het doel niet veranderd. Nog altijd saai, maar nuttig. Nu is samenhang zelf het saaie maar nuttige waar we aan moeten bouwen.