Deres AI-agenter fejler, fordi de ikke kender deres forretning

Sidste år havde Absa, en af de største banker i Afrika, brug for 120 dage for at flytte en ny finansielle kriminalitetsskema fra bygning til produktion. Selv om det var tæt på branchegennemsnittet på det tidspunkt, kan samme bank i dag udvikle en ny model på 15 dage, selv med samme reguleringer, transaktionsvolumener og krav til overholdelse.

Og alligevel fandt en PwC-undersøgelse ud, at 56% af virksomhedsledere ikke havde set nogen betydelig økonomisk fordel fra deres AI-investeringer. Hver virksomhedsleder, jeg taler med, har hørt præsentationen: Hvis du implementerer AI-agenter og automatiserer dine arbejdsgange, vil du hurtigt se en ROI. I stedet er forretningsindvirkningen 18 måneder og flere millioner dollars senere, MIA. Den manglende ingrediens er domænekontekst, den operationelt grundlagte forståelse, der giver en agent det, den har brug for for at træffe interne forretningsbeslutninger, og hvad den skal gøre, når den fejler.

Når agenter stopper med at rådgive og begynder at handle

Gartner estimerer, at i 2027 vil 50% af forretningsbeslutninger blive forstærket eller automatiseret af AI-agenter til beslutningsintelligens. Indtil meget nylig var AI’s rolle i virksomheden at rådgive, hvor medarbejderen skulle træffe beslutningen. Det værste scenarie var en manglende indsigt, en forsinket beslutning eller mangel på handling som svar på en alarm. Med agenter er konsekvenserne langt større.

På en globalt farmaceutisk virksomheds biologiske fabrik, når en inspektør scannrer en laboratoriedør, lanceres den rigtige inspektion automatisk, tilpasset til det pågældende værelses udstyr og specifikationer. Agenten sekventerer inspektionen, fremhæver reference materialet og lader inspektøren bekræfte. I en GxP-reguleret fabrik skal hver inspektion være klar til revision, hvilket betyder, at en agent tager en del af den operationelle belastning i en miljø, hvor der er reelle konsekvenser, hvis den får sekvensen forkert.

De fleste styrestrukturer, der er på plads i dag, blev bygget til den tidligere rådgivende verden: periodiske modelgennemgange med en menneskelig kontrol af et enkelt systems output. Nu har vi agenter, der overdrager opgaver til andre agenter, koordinerer over arbejdsgange og forstærker en dårlig tidlig beslutning over en hel proceskæde, før nogen lægger mærke til det.

Hvorfor generiske agenter rammer en mur

En generel agent kan se rigtig imponerende ud under kontrollerede forhold. Den begynder dog at kæmpe, når den kommer til virksomhedsdrift, der har begrænsninger, interafhængigheder og vurderinger, der er åbenlyse for enhver, der har arbejdet på gulvet, og usynlige for en model, der aldrig har lært at se dem.

En kategorichef i en af de fem største globale fødevare- og drikkevarevirksomheder stod over for en version af samme problem på en anden skala: 96% markedspenetration, med ingen traditionelle håndtag tilbage at trække i. Kategorichefen definerede beslutningslogikken direkte ved at samle over 100 datakilder over mere end 1.000 attributter pr. butik og lade AI-modellen samle butikkerne i shopperadfærdsmønstre, som kategoriteamet kunne handle på. Resultatet? Tre shopperkluster, ugentlige sprint med detailhandelspartnere, en 8% øget salg og 35% hurtigere hylderesætning.

Dette fungerede, fordi agenten allerede vidste, hvad en planogram er, hvad en shopperkluster betyder, og hvordan en promotionsændring kan påvirke tilstødende kategorier. En generel model skal lære branchefaglige ordforråd, hvilket koster 12 til 18 måneder, som de fleste virksomheder ikke har.

Hvorfor styrestrukturer skal være arkitekteret

Ansvarlighedsrammerne, som de fleste virksomheder har i dag, blev bygget omkring at forklare en models output efterfølgende og gennemgå det periodisk. De blev ikke bygget til, hvad der sker, når en agent udløser en uigenkaldelig handling inden for en arbejdsgang.

Jeg har arbejdet med en forsikringsvirksomhed, der opererer på markedene i Central- og Østeuropa, og som skal tage hensyn til hver marks reguleringer, når de træffer beslutninger om overholdelse. Hver kundes due diligence-beslutning er sporbar som en live-optegnelse, der inkluderer input, model, output og person, der godkender. Virksomhedens AI-system kan routere en transaktion, der er i overensstemmelse med en markeds reguleringer og ikke i en anden, uden en compliance-analytikers manuelle vurdering.

Dette er den samme arkitektur, der giver Absa mulighed for at udvikle deres produktions-AML-system på 15 dage i stedet for 120. Hastigheden er indbygget, så banken kan umiddelbart overdrage politikversionen for hver beslutning til en regulator.

Virksomhederne, vi ser, der investerer i disse styrestrukturer tidligt, kører stadig agenter i stor skala 18 måneder senere. De, der behandler dette som en overholdelsesøvelse, der er boltet på efter implementering, er dem, der måtte genskabe arkitekturen.

Domæneintelligens er ikke finjustering

Kapable grundmodeller leverer ikke pålideligt virksomhedsresultater på egen hånd, fordi de er bygget til at være bredt nyttige. Virksomhedsdrift kræver dyb, snæver specialisering. At sammenblande de to har allerede kostet branchen tid og ressourcer, men det er stadig den mest almindelige fejl, jeg ser.

Domæneintelligens er ikke at anvende retrieval-augmented generation (RAG) eller finjustere en generel model. Det er forskellen på en agent, der kan behandle information om en supermarked og en, der forstår, hvordan forretningen byggede og implementerede 5.000 individuelt tilpassede planogrammer over mere end 750 butikker uden en central team, der rører hver lokalitet.

Denne type operationel flydighed kommer fra års domænespecifikke træningsdata, beslutningslogik bygget omkring reelle operationelle begrænsninger og en videnlag, der inkluderer, hvordan en prisændring påvirker marginen, hvordan en ændring af udvalget påvirker hyldetilgængeligheden, og hvordan det påvirker shopperloyalitet. For en stor amerikansk supermarkedskæde producerede denne sammenhængende tankegang 200 millioner dollars i øget profit.

At bygge denne grundlag eller få det fra en partner, der allerede har gjort arbejdet, er en reel forhåndskost i data, domæneekspertise og disciplin til at kodificere institutionel vurdering i stedet for at springe direkte til en pilot. Hvis denne grundlag er hastet, kan en agent, der ser domænebevidst ud i en proof of concept, stadig bryde sammen med den første produktionskantcase.

Hvad det egentlig betyder at få virksomhedsagenterne rigtigt

Virksomheder, der fortsætter med at droppe kapable modeller ind i eksisterende arbejdsgange, vil have brug for at indrømme over for deres bestyrelser, at ROI ikke viser sig. MIT konkluderede sidste år, at på trods af virksomhedens investeringer i generativ AI, fik 95% af organisationerne zero afkast. Hvis du ikke vil være i den lejr, skal du sætte domæneintelligens på plads før dag én, indbygge styrestrukturer i arkitekturen og holde agenterne ansvarlige for bestemte resultater.

Modellen bag enhver given agent er, ironisk nok, den mindst holdbare del af den ligning. En bedre model vil blive udgivet næste kvartal, fra selskabet, der byggede den model, du bruger i dag, eller en af dets konkurrenter. Det, der ikke ændrer sig med den næste modeludgivelse, er, om dine agenter forstår din forretning. Du må bygge det ind med vilje. Agenterne, der lykkes i din virksomhed, vil ikke være de mest kapable, generelle formål-agenter på markedet, men de vil tjene din tillid til at gøre mere og mere for din forretning.