Uw AI-agents falen omdat ze uw bedrijf niet kennen

Vorig jaar had Absa, een van de grootste banken in Afrika, 120 dagen nodig om een nieuw financieel misdrijf detectiemodel van bouw naar productie te verplaatsen. Terwijl dat destijds dicht bij het industriegemiddelde lag, kan dezelfde bank vandaag een nieuw model in 15 dagen implementeren, zelfs met hetzelfde regelgevingskader, transactievolumes en compliance-eisen.

En toch vond een onderzoek van PwC uit dat 56% van de ondernemingsceo’s geen significante financiële voordelen hebben gezien van hun AI-investeringen. Elk ondernemingsleider met wie ik spreek, heeft de pitch gehoord: als je AI-agents implementeert en je workflows automatiseert, zal je snel een ROI zien. In plaats daarvan is de businessimpact 18 maanden en enkele miljoenen dollars later, nergens te vinden. Het ontbrekende ingrediënt is domeincontext, de operationeel gefundeerde kennis die een agent nodig heeft om interne bedrijfsbeslissingen te nemen en wat te doen als het faalt.

Wanneer agents stoppen met adviseren en beginnen met acteren

Gartner schat dat tegen 2027, 50% van de bedrijfsbeslissingen zal worden ondersteund of geautomatiseerd door AI-agents voor beslissingsintelligentie. Tot voor kort was de rol van AI in het bedrijfsleven om te adviseren, waarbij de medewerker de beslissing nam. Het slechtste scenario was een gemiste inzicht, een vertraagde beslissing of het ontbreken van actie als reactie op een waarschuwing. Met agents zijn de gevolgen veel groter.

Bij een wereldwijd farmaceutisch bedrijf met een biologisch laboratorium, wordt wanneer een inspecteur een labdeur scant, het juiste inspectieproces automatisch gestart, aangepast aan de apparatuur en specificaties van die kamer. De agent zet het inspectieproces in, brengt de referentiematerialen naar boven en laat de inspecteur bevestigen. In een GxP-gereguleerd laboratorium, moet elke inspectie auditklaar zijn, wat betekent dat een agent een deel van de operationele last draagt in een omgeving met echte gevolgen als het de volgorde verkeerd krijgt.

De meeste governance-kaders die vandaag zijn geïmplementeerd, waren gebouwd voor de vorige adviserende wereld: periodieke modelbeoordelingen met een mens die de uitvoer van een enkel systeem controleert. Nu hebben we agents die taken toewijzen aan andere agents, coördineren over workflows en een slechte vroege oproep vermenigvuldigen over een hele procesketen voordat iemand het opmerkt.

Waarom generieke agents tegen een muur botsen

Een algemeen doel agent kan onder gecontroleerde omstandigheden echt indrukwekkend lijken. Het begint echter te worstelen in bedrijfsoperaties, die beperkingen, interdependenties en oordeelsvellingen hebben die voor iedereen die de vloer heeft gewerkt, duidelijk zijn en onzichtbaar voor een model dat nooit is geleerd om ze te zien.

Een categoriebeheerder bij een van de vijf grootste voedsel- en drankbedrijven in de wereld, stuitte op een soortgelijk probleem op een andere schaal: 96% marktpenetratie, zonder traditionele hefboomwerking. De categoriebeheerder definieerde de beslissingslogica rechtstreeks door meer dan 100 gegevensbronnen over meer dan 1.000 kenmerken per winkel te verenigen en liet het AI-model winkels assembleren in shoppergedragsprofielen die het categorie-team kon activeren. Het resultaat? Drie shopperclusters, wekelijkse sprints met retailpartners, een 8% incrementele verkoopstijging en 35% snellere schapopvulling.

Dit werkte omdat de agent al wist wat een planogram is, wat een shoppercluster betekent en hoe een promotionele verandering zich verplaatst naar aangrenzende categorieën. Een generiek model moet zijn geleerd om industrie-specifieke vocabulaire te gebruiken, wat 12 tot 18 maanden kost, een tijd die de meeste ondernemingen niet hebben.

Waarom governance moet worden geïmplementeerd

De verantwoordingskaders die de meeste ondernemingen vandaag hebben, waren gebouwd rondom het verklaren van een modeluitvoer achteraf en periodieke beoordelingen. Ze waren niet gebouwd voor wat gebeurt wanneer een agent een onomkeerbare actie activeert binnen een workflow.

Ik heb samengewerkt met een verzekeraar die actief is in Centraal- en Oost-Europa en die bij elke compliance-beslissing rekening moet houden met de regelgevingsvereisten van elke markt. Elke klantbeslissing over due diligence is traceerbaar als een live-record dat de invoer, het model, de uitvoer en de persoon die het heeft goedgekeurd, bevat. Het AI-systeem van het bedrijf kan een transactie routeren die in de ene markt in overeenstemming is met de regelgeving en in de andere markt niet, zonder handmatige tussenkomst van een compliance-analist.

Dit is dezelfde architectuur die Absa in staat stelt om zijn productie-AML-systeem in 15 dagen te implementeren in plaats van 120. De snelheid is ingebouwd, zodat de bank onmiddellijk de beleidsversie voor elke beslissing aan een regulator kan overhandigen.

De ondernemingen die we zien die vroeg in deze governance-lagen investeren, draaien agents nog steeds op grote schaal 18 maanden later. Degenen die dit behandelen als een compliance-oefening die na implementatie wordt aangebracht, zijn degene die constant opnieuw moeten ontwerpen.

Domeinintelligentie is niet hetzelfde als fine-tuning

Capabele basismodellen leveren niet betrouwbaar ondernemingsresultaten op omdat ze zijn ontworpen om breed bruikbaar te zijn. Ondernemingsoperaties vereisen diepe, smalle specialisatie. Het verwarren van de twee heeft de industrie al tijd en middelen gekost, maar het is nog steeds de meest voorkomende fout die ik zie.

Domeinintelligentie is niet het toepassen van retrieval-augmented generation (RAG) of fine-tuning van een algemeen model. Het is het verschil tussen een agent die informatie over een supermarkt kan verwerken en een die begrijpt hoe het bedrijf 5.000 individueel aangepaste planograms heeft gebouwd en geïmplementeerd over meer dan 750 winkels zonder dat een centraal team elke locatie heeft aangeraakt.

Deze soort operationele vaardigheid komt voort uit jarenlange domeinspecifieke trainingsgegevens, beslissingslogica gebouwd rondom echte operationele beperkingen en een kennislaag die omvat hoe een prijswijziging de marge beïnvloedt, hoe een wijziging in de assortimenten de beschikbaarheid van schappen beïnvloedt en hoe dat de loyaliteit van shoppers beïnvloedt. Voor een grote Amerikaanse supermarkt keten produceerde deze verbonden redenering $200M aan incrementele winst.

Het opbouwen van deze grondslag of het verkrijgen ervan van een partner die het al heeft gedaan, is een echte voorafgaande kostenpost in gegevens, domeinexpertise en de discipline om institutionele oordelen te coderen in plaats van rechtstreeks naar een proef te gaan. Als deze grondslag wordt overhaast, kan een agent die in een proof of concept domeinbewust lijkt, nog steeds uit elkaar vallen bij de eerste productie-edge case.

Wat het juist krijgen van ondernemingsagents eigenlijk betekent

Ondernemingen die capabele modellen blijven droppen in bestaande workflows, zullen moeten blijven toegeven aan hun raden van bestuur dat de ROI niet verschijnt. MIT concludeerde vorig jaar dat ondanks ondernemingsinvesteringen in generatieve AI, 95% van de organisaties geen enkele retour ontvangt. Als je niet in die groep wilt zitten, zorg er dan voor dat je domeinintelligentie op de eerste dag implementeert, governance in de architectuur integreert en agents verantwoordelijk houdt voor specifieke resultaten.

Het model achter elke gegeven agent is, ironisch genoeg, het minst duurzame deel van die vergelijking. Een beter model zal volgend kwartaal worden uitgebracht, door het bedrijf dat het model dat je gebruikt vandaag heeft gebouwd of een van zijn concurrenten. Wat niet verandert met de volgende modelrelease, is of je agents je bedrijf begrijpen. Je moet dat opzettelijk bouwen. De agents die slagen in je omgeving zullen niet de meest capabele, algemene agents op de markt zijn, maar ze zullen je vertrouwen verdienen om steeds meer voor je bedrijf te doen.