Deres AI-agenter feiler fordi de ikke kjenner bedriftens virksomhet

I fjor, Absa, en av de største bankene i Afrika, trengte 120 dager for å flytte en ny finansiell kriminalitetsdeteksjonsmodell fra bygging til produksjon. Mens det var nær industrien gjennomsnitt på den tiden, kan samme bank i dag distribuere en ny modell på 15 dager, selv med samme reguleringer, transaksjonsvolum og krav til overholdelse.

Og likevel, en undersøkelse fra PwC fant at 56% av bedriftsledere har sett ingen betydelig finansiell gevinst fra deres AI-investeringer. Hvert bedriftsleder jeg snakker med, har hørt på pitchet: hvis du distribuerer AI-agenter og automatiserer arbeidsflyten, vil du raskt se en avkastning. I stedet, 18 måneder og flere millioner dollar senere, er forretningspåvirkningen savnet. Den manglende ingrediensen er domenekontekst, den operasjonelt grunnede forståelsen som gir en agent det den trenger for å ta interne forretningsbeslutninger, og hva den skal gjøre når den feiler.

Når agenter stopper å rådgive og begynner å handle

Gartner estimerer at innen 2027, vil 50% av forretningsbeslutninger bli forbedret eller automatisert av AI-agenter for beslutningsintelligens. Inntil svært nylig, var AI’s rolle i bedriften å rådgive, og la ansatte ta beslutningen. Det verste scenariet var en savnet innsikt, en forsinket beslutning, eller mangel på handling som svar på en varsling. Med agenter, er konsekvensene mye større.

I en global legemiddelprodusents biologiske anlegg, når en inspektør skanner en laboratoriedør, lanseres den riktige inspeksjonsarbeidsflyten automatisk, tilpasset rommets utstyr og spesifikasjoner. Agenten sekvenserer inspeksjonen, overflater referansematerialet, og lar inspektøren bekrefte. I et GxP-regulert anlegg, må hver inspeksjon være klar for revisjon, noe betyr at en agent tar en andel av den operative belastningen i en miljø med reelle konsekvenser hvis den får sekvensen feil.

De fleste styringsrammeverk som er på plass i dag, ble bygget for den tidligere rådgivende verden: periodiske modellgjennomganger med en menneskelig som sjekker en enkelt systems utgang. Nå har vi agenter som gir oppgaver til andre agenter, koordinerer over arbeidsflyter, og forsterker en dårlig tidlig beslutning over hele prosesskjeden før noen legger merke til det.

Hvorfor generiske agenter treffer en vegg

En generell agent kan se virkelig imponerende ut under kontrollerte forhold. Den begynner å streve imidlertid i bedriftens operasjoner, som har begrensninger, interavhengigheter og dømmekraft som er åpenbare for noen som har arbeidet på gulvet og usynlige for en modell som aldri har blitt lært å se dem.

En kategorimanager i et av de fem største globale mat- og drikkevarebedriftene møtte en versjon av samme problem på en annen skala: 96% markedstekning, med ingen tradisjonelle håndtak igjen å trekke i. Kategorimanageren definerte beslutningslogikken direkte ved å samordne over 100 datakilder over over 1 000 attributter per butikk og la AI-modellen samle butikker inn i shopper-atferdsprofiler som kategoriteamet kunne handle på. Resultatet? Tre shopper-kluster, ukentlige sprinter med detaljhandelspartnere, en 8% økning i salg og 35% raskere hylleresett.

Dette fungerte fordi agenten allerede visste hva en planogram er, hva en shopper-kluster betyr, og hvordan en promoteringendring påvirker tilstøtende kategorier. En generell modell må læres bransjespesifikk vokabular, noe som koster 12 til 18 måneder som de fleste bedrifter ikke har.

Hvorfor styring må være arkitektur

Ansvarligheitsrammeverkene de fleste bedrifter har i dag, ble bygget rundt å forklare en modells utgang etterpå og gjennomgå den periodisk. De ble ikke bygget for hva som skjer når en agent utløser en uopprettelig handling innen en arbeidsflyt.

Jeg har arbeidet med en forsikringsgiver som opererer i Sentral- og Øst-Europa-markeder, som må vurdere hver marks reguleringer når de tar beslutninger om overholdelse. Hver kundes due-diligence-beslutning er sporbar som en live-rekord som inkluderer innputt, modell, utgang og person som godkjenner. Selskapets AI-system kan dirigere en transaksjon som er i overensstemmelse med en markeds krav og ikke i en annen uten en compliance-analytikers manuelle avgjørelse.

Dette er samme arkitektur som lar Absa distribuere sin produksjons-AML-system på 15 dager i stedet for 120. Hastigheten er bygget inn, så banken kan umiddelbart overføre politiversjonen for hver beslutning til en regulator.

Bedriftene vi ser som investerer i disse styringslagene tidlig, er fortsatt kjører agenter i stor skala 18 måneder senere. De som behandler dette som en overholdelsesøvelse festet på etter distribusjon, er de som måtte gjøre om arkitekturen.

Domeneintelligens er ikke finjustering

Kapable grunnmodeller leverer ikke pålitelig bedriftsresultater på egen hånd fordi de er bygget for å være bredt nyttige. Bedriftsoperasjoner krever dyp, smal spesialisering. Å blande de to har allerede kostet industrien tid og ressurser, men det er fortsatt den vanligste feilen jeg ser.

Domeneintelligens er ikke å bruke retrieval-augmented generation (RAG) eller finjustere en generell modell. Det er forskjellen mellom en agent som kan prosessere informasjon om en dagligvarebutikk og en som forstår hvordan bedriften bygget og distribuerte 5 000 individuelt tilpassede planogrammer over 750 butikker uten en sentral team berørte hver enkelt lokasjon.

Dette type operasjonell flyt kommer fra år med domenespesifikt treningdata, beslutningslogikk bygget rundt reelle operasjonelle begrensninger, og en kunnskapslag som inkluderer hvordan en prisendring påvirker margin, hvordan en assorteringsskift påvirker hylleregning, og hvordan det påvirker shopper-lojalitet. For en stor amerikansk dagligvarekjede, produserte denne sammenhengende resonneringen $200M i økt fortjeneste.

Bygging denne grunnlaget eller å få det fra en partner som allerede har gjort arbeidet, er en reell kostnad i data, domeneekspertise og disiplin til å kode institusjonell dømmekraft i stedet for å hoppe rett til en pilot. Hvis denne grunnlaget er hastet, kan en agent som ser ut som domene-bevisst i en proof of concept, likevel falle fra hverandre med den første produksjonskanten.

Hva å få bedriftsagenter rett faktisk betyr

Bedrifter som fortsatt dropper kapable modeller inn i eksisterende arbeidsflyter, må fortsatt innrømme til styret at avkastningen ikke dukker opp. MIT konkluderte i fjor at til tross for bedriftsinvesteringer i generativ AI, får 95% av organisasjonene null avkastning. Hvis du ikke vil være i den leiren, sett domeneintelligens på plass før dag én, bygg inn styring i arkitekturen og hold agenter ansvarlige for bestemte resultater.

Modellen bak hver enkelt agent er, ironisk nok, den minst varige delen av den ligningen. En bedre en vil bli levert neste kvartal, fra selskapet som bygde den en du bruker i dag eller en av dets konkurrenter. Hva som ikke endrer seg med neste modellutgivelse, er om dine agenter forstår bedriften din. Du må bygge det inn bevisst. Agentene som lykkes i din miljø, vil ikke være de mest kapable, generelle agenter på markedet, men de vil tjene din tillit til å gjøre mer og mer for bedriften din.