AI-Styring: Et Problem for de Fleste, en Fordel for de Få

Enterprise AI akkumulerer risiko hurtigere, end nogen regnskab med det. AI-agenter begynder at berøre kunde-data, produktionskode og konsekvensfulde forretningsbeslutninger, og i de fleste organisationer er de styret af kontroller, der er designet til en meget anderledes æra af teknologi. Samtidig er de eksterne støtter, som virksomhederne måske havde lænet sig op ad, blevet tyndere. Ledende AI-laboratorier har skaleret tilbage frivillige sikkerhedsforpligtelser, og regulering forbliver fragmenteret på tværs af jurisdiktioner. Tillidsbyrden lander på de virksomheder, der implementerer AI, fordi de ultimativt er dem, der vil lide de negative konsekvenser, når og hvis de dukker op.

Jeg udfører strategisk AI-arbejde med virksomheder på næsten alle brancher, og jeg taler med CEO’er og bestyrelser dagligt. Det konstante mønster, jeg ser, er følgende: implementeringen accelererer, mens kontrollinfrastrukturen simpelthen ikke holder trit. Mønsteret er konstant nok, så jeg betragter det som strukturelt snarere end en enkelt virksomheds fiasko, og jeg vil gøre en forudsigelse: vi er ikke langt fra, at en CEO skal forklare, at en stor fejl kostede virksomheden millioner, og de vil skyde skylden på AI. Jeg ville høfligt foreslå, at det ikke er en undskyldning.

Det gode nyheds er, at jeg er heldig at se førstehånds, hvordan en håndfuld virksomheder behandler styring anderledes, og jeg tror, at disse virksomheder bygger en langsigtsfordel, der akkumulerer over tid, mens andre, der venter på sidelinjen, er i risiko for at blive forældet. At forstå, hvad de få ser, starter med at forstå, hvor den nuværende trajektori fører.

Vi er på Vej mod et Problem

I dag er implementeringerne små nok, så menneskelig oversigt kan absorbere risikoen. Deloittes seneste State of AI in the Enterprise-forskning fandt, at kun en fjerdedel af de adspurgte organisationer havde flyttet mindst 40 procent af deres AI-eksperimenter i produktion. De fleste virksomheder er stadig tidligt på kurven, kører en håndfuld agenter i snævre brugsområder med mennesker, der sporer hver enkelt udgang.

Trajektoren er, hvad der betyder noget. Når implementeringerne skalerer fra to agenter til 20, til 200, til 2.000 og derefter, kompenserer kompleksiteten. Hver ny agent bringer sin egen adfærd med, samt interaktioner med hvert system, det berører, og hver anden agent, det arbejder sammen med. Ved to agenter er tillid let: du kender teamet, og du gennemgår selv udgangen. Ved 20 agenter skal tillid blive en proces med definerede ejere, test og eskalationsveje. Det kan stadig fungere, men det bliver sværere at opretholde. Ved 200 agenter bliver informel gennemgang teater, fordi ingen ledelse kan gennemse så megen aktivitet. Og ved 2.000 agenter er den menneskelige del af processen næsten værdiløs, da interaktionerne mellem agenter, data og forretningsprocesser danner et netværk, der er ud over, hvad manuel oversigt kan dække. Ved denne skala skal tillid også eksistere i skala og være integreret i virksomhedens tekniske arkitektur.

Kosten for at Vente

Den manglende tillidsinfrastruktur er også en af årsagerne til de skuffende afkast. I PwC’s seneste Global CEO Survey, sagde 56 procent af cheferne, at AI havde produceret hverken øget omsætning eller reduceret omkostninger i det sidste år. Ifølge min erfaring ser selv de afkast, der rapporteres, mindre overbevisende ud, når man undersøger den underliggende økonomi. De fleste virksomheder tæller timer gemt og kalder det for afkast på investering. Timer gemt bliver kun til finansielt afkast, når organisationen konverterer den kapacitet til noget mere værdifuldt: større udgang, bedre kvalitet, undgået omkostning, hurtigere vækst osv.

Denne konvertering kræver tillid. En organisation kan kun flytte menneskelig dømmekraft til mere værdifuldt arbejde, når ledelsen stoler på systemerne, der overtager det lavere-værdi-arbejde. Fravær af tillid får virksomheder til at akkumulere teknisk gæld, der ikke skaler, og over tid har det en betydelig indvirkning på produktiviteten. Det er det værste af begge verdener: øget udgift med lidt at vise for det. Tillid er fundamentet, på hvilket disse afkast akkumuleres.

Elevator-Problemet

Forbindelsen mellem tillid og adoption er ikke en ny en. Vi kan gå tilbage til midten af det 20. århundrede for at finde et rimeligt referencepunkt. Selvkørende elevatorer eksisterede årtier før, nogen ville køre med dem. Teknologien fungerede, men passagerer ville træde ind i en vogn, se ingen operatør, og træde tilbage ud. Det, der ændrede sig, var ikke elevatoren, men sikkerhedskontrollerne omkring den. Efter en operatørstrejke i 1945 lukkede kontorbygninger over hele New York, og industrien designede tillid ind i maskinen selv: nødstopsknappen, telefonlinjen, døre, der genåbnede, når de mødte modstand, og en optaget stemme, der forklarede, hvad man skulle gøre. Inden for en generation blev det almindeligt at køre elevator uden en menneskelig operatør, så det føltes oldnordisk at gå ind i en elevator med en person, der styrede knapperne.

Enterprise AI er på det punkt, hvor man træder ind og træder tilbage ud. Ledelseshold ser agenter arbejde uden en menneskelig operatør og tøver, og tøven er rationel: de fleste organisationer har endnu ikke bygget det, der svarer til stopknappen, telefonlinjen og døren, der ikke lukker sig på én. De virksomheder, der designer disse kontroller ind i deres systemer, vil være dem, hvis mennesker, kunder og regulatoren træder ind og bliver.

Leverandører Kan Kun Bære en Del Heraf

Mange ledere håber, at deres AI-leverandører vil bære tillidsbyrden. Leverandører kan tilbyde model-niveau-sikkerhedsforanstaltninger og sikkerheds kontroller, og de gode gør det. At afgøre, om en bestemt implementering er passende for jeres data, jeres regulatoriske forpligtelser, jeres kunder og jeres risikotolerance, er jeres job, fordi jeres leverandør mangler konteksten til at gøre det. De har aldrig set jeres forpligtelser, og de har ingen mulighed for at prissætte, hvad en dårlig udfald koster jer.

En leverandørs sikkerhedsforpligtelse dækker kun deres model, ikke jeres brug af den. Det er heller ikke permanent: som det sidste år har vist, kan disse forpligtelser revideres eller trækkes tilbage. Regulerede industrier afgjorde denne spørgsmål for længe siden for tredjepartsmodeller, og standarden, de landede på, er den rigtige: den institution, der implementerer modellen, ejer risikoen.

Hvad de Få Gør

De virksomheder, der trækker frem, gør tre ting:

1. De bygger kontrollinfrastruktur nu, størrelsesbestemt til den skala, de har til hensigt at nå, snarere end den skala, de er på, fordi kontrollerne må eksistere, før agenterne, der har brug for dem, kommer.
2. De integrerer risikoklassificering og -afværge fra starten af implementeringsprocessen snarere end som en gennemgangsporte ved slutningen, så hver brugsområde er klassificeret, og kontroller er proportionale med risikoen fra dag én.
3. Og de opretter uafhængig styring med reel myndighed til at verificere, at disse systemer opfører sig, som de er tiltænkt, holdes tilstrækkelig fleksible til at udvikle sig med teknologien. Uafhængighed gør verificeringen troværdig. Fleksibilitet holder den aktuel.

Det er værd at bemærke, at få regulatoren har udtrykkeligt etableret regler omkring brug og tilsyn med generativ AI, men det betyder ikke, at vi intet har at se til for vejledning. Regulatorer har veletablerede regler for at styre traditionelle modeller, og vi kan bruge dem som en vejledning. I april udsendte Federal Reserve, OCC og FDIC revideret model-risikovejledning, der afspejler årtiers praksis, en princip-baseret tilgang, der inkluderer model-inventar, risiko-baserede kontroller proportionale med eksponering, uafhængig validering, løbende overvågning og virksomhedsansvar for leverandørprodukter, og de instruerede institutionerne om at anvende disse samme praksis til AI på egen hånd. Beskeden er klar: principperne, der virker, er kendte, og de formelle AI-regler kommer ikke snart. Virksomheder, der venter på regulatorisk klarhed, vil vente, mens de få handler. Dette er, hvorfor de tungt regulerede industrier, der ofte beskrives som langsomme, går ind i denne æra med et forspring. De har brugt årtier på at bygge nøjagtig den tillidsmaskineri, alle andre nu har brug for, og de venter ikke på tilladelse til at bruge det.

Spørgsmålet, der Betræffende

Skellet er allerede under dannelse. De fleste virksomheder behandler styring som en omkostning: noget, der absorberes, tolereres og minimeres. De få behandler det som den infrastruktur, der låser dem til at flytte mennesker til mere værdifuldt arbejde og skalerer med tillid. Hvert ledelseshold er på den ene eller den anden side, uanset om de har valgt bevidst eller ej, og gapet akkumulerer stille før skalaen, der vil afsløre det. Ingen tænker to gange, før de træder ind i en elevator i dag, fordi tillid er bygget ind i den. De virksomheder, der gør det samme for AI, vil skalerer forbi alle, der stadig er i tvivl om, hvorvidt de skal træde ind.