Hoe ik mijn kennis overdroeg aan AI-systemen die daadwerkelijk beslissingen kunnen nemen zoals menselijke experts

Toen ik Microsoft verliet en bleef werken met ondernemingen aan hun AI-implementaties, zag ik steeds dat de meeste AI-systemen waar mensen enthousiast over waren, eigenlijk geen beslissingen konden nemen met echte menselijke oordeel. Ze konden schrijven, samenvatten en opmerkelijk vloeiende tekst produceren die klonk als een beslissing, maar wanneer je deze systemen in een echte operationele omgeving plaatst, waar er compromissen, onzekerheid, onvolledige instructies en echte gevolgen zijn, worstelen ze snel. Dit komt overeen met gegevens van het MIT Project NANDA, waaruit blijkt dat terwijl 60% van de organisaties AI-hulpmiddelen beoordeelde, slechts 20% het pilotstadium bereikte en slechts 5% productie bereikte. Met andere woorden, de industrie heeft moeite om systemen te bouwen die daadwerkelijk standhouden in echte workflows.

In ondernemingsomgevingen, vooral in gebieden zoals supply chain, productie en operaties, is het krijgen van een antwoord niet moeilijk; het is weten welk antwoord te vertrouwen, welke variabelen het meest belangrijk zijn en wat waarschijnlijk zal breken downstream als je het mis hebt. In mijn ogen is dit zowel een expertise- als een oordeelsprobleem.

Om duidelijk te zijn, heeft AI buitengewone vooruitgang geboekt in het produceren van betere uitvoer. Maar betere uitvoer is niet hetzelfde als betere beslissingen. Dit zijn twee verschillende mijlpalen, en ik denk dat de industrie veel tijd heeft besteed aan het behandelen van deze als uitwisselbaar.

Het gebrek aan expertise en oordeel is de reden waarom ik geïnteresseerd raakte in het bouwen van AI die menselijke experts kunnen leren om complexe beslissingen te nemen zoals zij doen. AI zou niet alleen moeten gaan over het automatiseren van taken, maar over het effectief en veilig overdragen van menselijk oordeel naar AI die standhoudt.

Grote taalmodellen (LLM’s) spreken als beslissers, maar ze zijn het niet

Er is geen twijfel dat LLM’s nuttig zijn, maar ze zijn niet per definitie beslissingsystemen. Ze zijn voorspellingsystemen verpakt in taal. En taal is overtuigend, wat deel van het probleem is. Als een systeem zichzelf vloeiend kan verklaren, overschatten we gemakkelijk wat het begrijpt. Je vraagt het een zakelijke vraag, het geeft je een gestructureerd antwoord met compromissen, voorbehouden en een nette samenvatting aan het einde, waardoor het slimmer lijkt dan het is. Klinken als een coherent en operationeel competent zijn niet hetzelfde, en dit is waar veel ondernemings-AI breekt. Modellen kunnen je vertellen wat een goede beslissing klinkt zonder enig begrip van wat een beslissing goed maakt onder druk, over tijd of in context. Dit is een van de redenen waarom veel organisaties moeite hebben om verder te gaan dan experimenten. Gartner vond dat ten minste 50% van de generatieve AI-projecten wordt stopgezet na bewijzen van concept, lang voordat ze daadwerkelijk operationele impact leveren, vaak vanwege onduidelijke waarde en risicobeheersing.

Informatie is niet hetzelfde als expertise

Een van de gemakkelijkste valkuilen om in te trappen met AI is de aanname dat als een systeem genoeg informatie heeft, het zou moeten kunnen presteren als een expert. Klinkt redelijk, maar wanneer je erover nadenkt in ons dagelijks leven, maakt het vergroten van onze informatie over iets ons niet automatisch een expert. Je kunt elke vliegtuighandleiding lezen en nog steeds niet klaar zijn om een vliegtuig te landen. Je kunt elke beste praktijk in de supply chain memoriseren en nog steeds bevriezen wanneer drie dingen tegelijk misgaan.

Ik kon doorgaan, maar het punt is dat informatie niet gelijk is aan capaciteit. Capaciteit komt van ervaring, specifiek, herhaalde blootstelling aan rommelige situaties waar het antwoord niet voor de hand ligt.

Elke dag zie ik dat de meeste van vandaag’s AI-systemen zijn getraind op statische voorbeelden. Dit is allemaal behulpzaam voor het maken van voorspellingen, maar dat is slechts een klein deel van beslissingsvorming. Ondernemingen hebben niet zozeer een gebrek aan gegevens, maar ze hebben gestructureerde omgevingen voor oefening nodig, wat betekent dat systemen omgevingen moeten krijgen waarin ze herhaaldelijk:

• Realistische scenario’s tegenkomen
• Keuzes maken
• Zien wat er gebeurt
• Feedback ontvangen
• Verbeteren over tijd

AI kan worden getraind met behulp van voorspellingsalgoritmen, maar deze benadering heeft beperkingen. Wat nu nodig is, is AI die kan worden getraind in een gesimuleerde omgeving met menselijke toezicht. Ik noem dit machine-onderwijs, een methode die complexe beslissingen afbreekt in scenario’s en vaardigheden, waardoor een gids wordt geboden voor menselijke experts om AI te leren via simulatie. De resulterende feedback en trial-and-error maken het uiteindelijk mogelijk voor agenten om te leren en te handelen met echte autonomie, rechtstreeks van de mensen die deze processen hebben gebouwd.

Houd op met het behandelen van AI als een monoliet

Een andere fout die ik veel zie, is de aanname dat één groot model op de een of andere manier alles zou moeten doen. Geen enkel basketbalteam bestaat uit slechts één persoon. Geen enkele fabriek wordt gerund door één persoon. Complexen systemen werken omdat verschillende componenten verschillende taken uitvoeren, en er is een structuur die ze bij elkaar houdt.

AI zou op dezelfde manier moeten worden gebouwd. Ik denk niet dat de toekomst van ondernemingsbeslissingen er een is met één groot model dat in het midden van het bedrijf zit en doet alsof het universeel competent is. Het is veel waarschijnlijker dat het eruitziet als teams van gespecialiseerde agenten.

Een agent kan een expert zijn in gegevensopname. Een andere is beter in het evalueren van scenario’s. Een andere behandelt planning. Een andere controleert naleving of vangt tegenstrijdigheden. Een andere handelt meer als een supervisor, besluit wanneer te escaleren of wanneer het vertrouwen te laag is om door te gaan. Teamarchitectuur maakt veel meer zin voor mij, omdat het overeenkomt met hoe echte organisaties werken en in overeenstemming is met bredere markttrends. McKinsey’s bevindingen ondersteunen dat organisaties de meeste waarde krijgen van AI door workflows en operationele structuren opnieuw te ontwerpen rondom het.

Niet alle beslissingen worden op dezelfde manier genomen, en te vaak nemen we aan dat hetzelfde model, dezelfde gegevens en hetzelfde type redenering allemaal kunnen behandelen. In werkelijkheid hebben verschillende beslissingen verschillende mechanismen nodig.

De vier manieren waarop beslissingen daadwerkelijk worden genomen

Uit mijn ervaring hebben de meeste beslissingen de neiging om in een paar categorieën te vallen:

1. Besturingssystemen (regels en formules): Beslissingen worden genomen door vooraf gedefinieerde vergelijkingen of regels toe te passen op bekende invoer. Als X gebeurt, doe Y.
2. Zoeken en optimaliseren: Beslissingen worden genomen door veel mogelijke opties te evalueren en de beste te selecteren op basis van een gedefinieerd doel.
3. Versterking leren (trial and error): Beslissingen worden geleerd over tijd door acties te ondernemen, resultaten te observeren en aan te passen op basis van beloning of straf.
4. Oefening en ervaring (menselijk leren): Beslissingen worden gevormd door herhaalde blootstelling, geleide feedback en opgebouwd oordeel in real-world scenario’s.

De meeste ondernemings-AI doet het goed in de eerste twee categorieën. De derde en vierde categorieën zijn moeilijker voor AI, omdat dat is waar menselijk oordeel leeft.

Autonomie zonder structuur is risico

Wanneer mensen praten over autonome AI, splitst het gesprek meestal in twee uitersten. De ene kant denkt dat de systemen bijna magisch zijn en klaar zijn om alles te runnen. De andere kant doet alsof ze nooit iets betrouwbaars mogen doen.

Ik denk niet dat een van beide standpunten nuttig is. We moeten ons focussen op autonomie binnen structuur, omdat autonomie zonder toezicht, escalatielogica, grenzen of verantwoordelijkheid de belangrijkste bron van risico is. Risicobezorgdheden komen nu vaker naar voren, inclusief in gesprekken die worden gevormd door inspanningen zoals de National Institute of Standards and Technology’s AI Risk Management Framework, die weerspiegelt hoe serieus organisaties vragen van toezicht, verantwoordelijkheid en operationeel vertrouwen nemen.

De toekomst van ondernemings-AI ligt in teams van agenten. Organisaties die de meeste waarde krijgen van AI, zullen niet degenen zijn die de meeste woorden automatiseren. Ze zijn degenen die ontdekken hoe ze echte expertise kunnen overdragen aan systemen die standhouden wanneer de omgeving rommelig wordt. Dat, in mijn mening, is het verschil tussen AI die indrukwekkend lijkt en AI die daadwerkelijk nuttig wordt, waardoor het echte ROI produceert.