Dina AI-agenter misslyckas för att de inte känner till ditt företag

Förra året behövde Absa, en av de största bankerna i Afrika, 120 dagar för att flytta en ny finansiell brottsdetektionsmodell från byggnad till produktion. Medan det var nära branschgenomsnittet vid den tiden kan samma bank idag distribuera en ny modell på 15 dagar, även med samma regulatoriska miljö, transaktionsvolymer och efterlevnadskrav.

Och ändå fann en PwC-undersökning att 56% av företagschefer har sett ingen betydande finansiell nytta från sina AI-investeringar. Varje företagsledare jag pratar med har hört presentationen: om du distribuerar AI-agenter och automatiserar dina arbetsflöden, kommer du snabbt att se en avkastning. Istället, 18 månader och flera miljoner dollar senare, är affärspåverkan MIA. Den saknade ingrediensen är domänkontext, den operativt grundade förståelsen som ger en agent det den behöver för att fatta interna affärsbeslut och vad den ska göra när den begår ett fel.

När agenter slutar ge råd och börjar agera

Gartner uppskattar att år 2027 kommer 50% av affärsbesluten att förstärkas eller automatiseras av AI-agenter för beslutsintelligens. Tills mycket nyligen var AI:s roll i företaget att ge råd, och lämna det till medarbetaren att fatta beslutet. Det sämsta scenariot var en missad insikt, ett försenat beslut eller brist på åtgärd som svar på en varning. Med agenter är konsekvenserna mycket större.

På en global läkemedelstillverkares biologiska anläggning, när en inspektör skannar en labbdörr, startar rätt inspektionsarbetsflöde automatiskt, anpassat till den rummets utrustning och specifikationer. Agenten sekvenserar inspektionen, ytor referensmaterialet och låter inspektören bekräfta. I en GxP-reglerad anläggning måste varje inspektion vara granskningsklar, vilket innebär att en agent tar en del av den operativa bördan i en miljö med verkliga konsekvenser om den får sekvensen fel.

De flesta styrningsramar som finns idag byggdes för den tidigare rådgivande världen: periodiska modellgranskningar med en mänsklig granskare som kontrollerar en enskild systems utdata. Nu har vi agenter som överför uppgifter till andra agenter, samordnar över arbetsflöden och förvärrar ett dåligt tidigt samtal över hela processkedjan innan någon märker det.

Varför generiska agenter når en vägg

En allmän agent kan se riktigt imponerande ut under kontrollerade förhållanden. Den börjar kämpa, dock, i företagsverksamhet, som har begränsningar, interdependenser och bedömningar som är uppenbara för alla som har arbetat på golvet och osynliga för en modell som aldrig har lärt sig att se dem.

En kategorichef på ett av de fem största globala livsmedels- och dryckesföretagen stod inför en version av samma problem på en annan skala: 96% marknadsandel, med inga traditionella kraftverk kvar att dra i. Kategorichefen definierade beslutslogiken direkt genom att förena över 100 datakällor över 1 000 attribut per butik och låta AI-modellen montera butiker i shopperbeteendeprofiler som kategoriteamet kunde agera på. Resultatet? Tre shopperkluster, veckovisa sprintar med detaljhandelspartners, en 8% ökning av försäljningen och 35% snabbare hyllåterställning.

Detta fungerade eftersom agenten redan visste vad en planogram är, vad en shopperkluster betyder och hur en promotionsförändring påverkar intilliggande kategorier. En generisk modell måste läras industri-specifik vokabulär, vilket kostar 12 till 18 månader som de flesta företag inte har.

Varför styrning måste arkitektureras

De ansvarsramar som de flesta företag har idag byggdes runt att förklara en modells utdata efteråt och granska den periodiskt. De byggdes inte för vad som händer när en agent utlöser en oåterkallelig åtgärd inom ett arbetsflöde.

Jag har arbetat med en försäkringsgivare som verkar på central- och östeuropeiska marknader och som måste överväga varje marknads regulatoriska krav när det fattar beslut om efterlevnad. Varje kunds due diligence-beslut är spårbart som en levande post som innehåller indata, modell, utdata och person som godkänner.

Detta är samma arkitektur som låter Absa distribuera sitt produktions-AML-system på 15 dagar istället för 120. Hastigheten är inbyggd, så banken kan omedelbart lämna över policyversionen för varje beslut till en regulator.

De företag vi ser som investerar i dessa styrningslager tidigt kör fortfarande agenter i stor skala 18 månader senare. De som behandlar detta som en efterlevnadsövning som fästs på efter distributionen är de som måste omkonstruera.

Domänintelligens är inte finjustering

Kapabla grundmodeller levererar inte tillförlitligt företagsresultat på egen hand eftersom de är byggda för att vara brett användbara. Företagsverksamhet kräver djup, smal specialisering. Att blanda ihop de två har redan kostat branschen tid och resurser, men det är fortfarande det vanligaste misstaget jag ser.

Domänintelligens är inte att tillämpa hämtning-förstärkt generering (RAG) eller finjustera en allmän modell. Det är skillnaden mellan en agent som kan bearbeta information om en livsmedelsbutik och en som förstår hur företaget byggde och distribuerade 5 000 individuellt anpassade planogram över 750 butiker utan att en central grupp rörde varje plats.

Denna typ av operativ flytthet kommer från år av domänspecifik utbildningsdata, beslutslogik byggd runt riktiga operativa begränsningar och en kunskapslager som innehåller hur en prisförändring påverkar marginal, hur en sortimentsförändring påverkar hylltillgänglighet och hur det påverkar kundlojalitet. För en stor amerikansk livsmedelskedja producerade denna kopplade resonemang 200 miljoner dollar i ökad vinst.

Att bygga denna grund eller få den från en partner som redan har gjort arbetet är en verklig initialkostnad i data, domänkompetens och disciplin för att koda institutionell bedömning istället för att hoppa direkt till en pilot. Om denna grund görs i förhastat kan en agent som ser domän-medveten ut i en bevis på koncept fortfarande bryta samman med det första produktions-kanterna.

Vad att få rätt företagsagenter faktiskt betyder

Företag som fortsätter att släppa kapabla modeller i befintliga arbetsflöden kommer att behöva erkänna för sina styrelser att avkastningen inte dyker upp. MIT drog förra året slutsatsen att trots företagsinvesteringar i generativ AI, får 95% av organisationerna noll avkastning. Om du inte vill vara i den gruppen, sätt domänintelligens på plats före dag ett, infoga styrning i arkitekturen och håll agenter ansvariga för specifika resultat.

Modellen bakom varje given agent är, ironiskt nog, den minst beständiga delen av den ekvationen. En bättre kommer att ske nästa kvartal, från företaget som byggde den du använder idag eller en av dess konkurrenter. Vad som inte förändras med nästa modellrelease är om dina agenter förstår ditt företag. Du måste bygga det medvetet. Agenterna som lyckas i din miljö kommer inte att vara de mest kapabla, allmänna agenterna på marknaden, men de kommer att tjäna din tillit att göra mer och mer för ditt företag.

Källor från originalartikeln: mlq.ai [1]