AI is nog niet klaar voor het echte werk: waarom modellen falen bij complexe taken

Investeerders in de AI‑bubbel smeken witte‑kraag professionals hun moeilijkste problemen over te dragen en beloven werknemers dat ze hun middagen terugkrijgen als ze iets meer van hun data opgeven. Complexe analyses, beoordelingsbeslissingen en de werkstromen die jaren hebben gekost om te ontwikkelen, worden door een model overgenomen, zogenaamd om mensen vrij te maken voor iets beters. Dit is momenteel het dominante narratief in het bedrijfs‑Amerika, en het is een val.

De capaciteitsmythe: waarom modellen falen bij complexe taken

Een nieuwe study uit UC Berkeley testte toonaangevende AI‑agenten tegen echte professionele taken in 55 sectoren, van de gezondheidszorg tot financiën en recht. De algehele prestaties lagen onder 25 procent. Vervolgens isoleerden onderzoekers de moeilijkste taak in elk vakgebied – het soort werk dat een senior professional scheidt van een junior – en elk enkel model faalde. De scores waren niet alleen laag. Ze waren nul.

Je zou denken dat zo’n resultaat het narratief vanzelf zou veranderen, maar dat is niet gebeurd. Over de sectoren heen hebben AI‑investeerders te veel belang bij het overtuigen van professionals dat de meeste huidige AI‑modellen verder gevorderd zijn dan ze werkelijk zijn. Maar de meest interessante vraag is niet of AI de moeilijkste delen van een baan vandaag kan uitvoeren, want wij, en iedereen die AI verkoopt, weten dat antwoord al.

Dit leidt dus tot een andere vraag. Wat gebeurt er met het oordeel van een jonge professional wanneer hij/zij instemt met deze gegevensuitwisseling, voordat zijn/haar eigen redenering volledig gevormd is?

De Minnesota‑bevindingen: hoe AI vaardigheid naar het midden afvlakt

Een nieuwe empirische study van de University of Minnesota Law School biedt een echt antwoord, waarbij recht als testgeval wordt gebruikt. Onderzoekers lieten ongeveer honderd gevorderde rechtenstudenten een reeks realistische taken doorlopen: het synthetiseren van recht uit ruwe bronmaterialen, het beantwoorden van gesloten‑boekvragen om te testen wat ze hadden opgenomen, het toepassen van dat recht op een feitspatroon, en vervolgens hun eigen werk herzien. Eén groep had AI‑toegang alleen bij de allereerste en de allerlaatste stap. De andere kreeg geen AI tot het einde.

Studenten die AI gebruikten om hun eerste concept te maken leverden sterker werk op, en dat sneller, wat niet geheel opmerkelijk is. Wat echter opmerkelijk is, is wat er daarna gebeurde. De onderzoekers verwachtten dat vroegtijdig AI‑gebruik een begripskloof zou veroorzaken die later zichtbaar zou worden wanneer het hulpmiddel werd weggenomen. Dat gebeurde echter niet. Studenten die AI hadden gebruikt om het recht te synthetiseren begrepen het uiteindelijk beter dan de studenten die zonder AI werkten, zodra ze koud werden getest. Onafhankelijk redeneren bleef bestaan. Het hield stand, en in sommige gevallen verbeterde het.

De wending kwam in de laatste fase, toen elke student AI tot zijn beschikking had om hun werk te herzien. Studenten die begonnen met een zwakkere memo gebruikten die toegang om deze daadwerkelijk te verbeteren. Studenten die begonnen met een sterkere memo werden slechter. Alleen gelaten met een capabel hulpmiddel en zonder verdere structuur over hoe het te gebruiken, vermenigvuldigde de vaardigheid zich niet maar vlakte af naar het midden.

Deze twee studies samen leveren een harde waarheid: AI is geen vervanging voor professioneel oordeel, en de Berkeley‑cijfers zouden dat gesprek definitief moeten beëindigen. Maar AI is ook geen corrosieve kracht die bij contact het redeneren wegrooft. Het effect hangt volledig af van waar het in het proces verschijnt.

Volgorde boven vervanging: oordeel centraal houden

Dit geldt ook buiten de juridische praktijk. Elke kennisprofession loopt momenteel zijn eigen versie van dit experiment: de arts die beslist of een model een differentiële diagnose mag opstellen, de analist die beslist of een model de eerste versie van een model mag bouwen, en de associate die beslist of een model een argument mag structureren voordat hij het zelf heeft uitgewerkt. De Minnesota‑resultaten suggereren dat het antwoord geen algemene ja‑ of nee‑op‑alles is voor alle vormen van AI. Het is een kwestie van volgorde. AI hoort aan het begin van het saaie werk en de delen van een taak die wrijving veroorzaken, maar niet bij het oordeel. Het hoort niet in het centrum van de taak waar de klant daadwerkelijk voor betaalt, en op dit moment kan het daar niet komen, zelfs niet als het zou proberen.

De bedrijven die nog steeds het tegenovergestelde beloven, verkopen een versie van AI die de gegevens aangeven niet bestaat. Degenen die hun producten en klantrelaties bouwen rond de lijn die het onderzoek daadwerkelijk trekt, zullen over vijf jaar de professionals zijn die nog steeds vertrouwen. Iedereen anders zal die tijd besteden aan het uitleggen van een zeer dure misvatting.