AI-styring: Et problem for de fleste, en fordel for de få

Bedrifts-AI ansamler risiko raskere enn noen regner med. AI-agenter begynner å berøre kundedata, produksjonskode og konsekvensfulle forretningsbeslutninger, og i de fleste organisasjoner er de styrt av kontroller designet for en svært annerledes tidsepoke. Samtidig tynner de eksterne støttespillene som bedriftene kunne ha lænt seg på ut. Ledende AI-laboratorier har trukket tilbake frivillige sikkerhetsforpliktelser, og reguleringen er fragmentert over jurisdiksjoner. Tillitsbyrden lander på selskapene som setter AI i drift, fordi de til slutt er de som kommer til å lide negativt når og hvis det dukker opp.

Jeg gjør strategisk AI-arbeid med selskaper over nesten alle bransjer, og jeg snakker med CEO-er og styre daglig. Det konsekvente mønsteret jeg ser er som følger: utrulling akselererer mens kontrollinfrastrukturen bare ikke holder pace. Mønsteret er så konsekvent at jeg betrakter det som strukturelt snarere enn noen enkelt selskaps feil, og jeg vil gjøre en forutsigelse: vi er ikke langt unna en CEO som må forklare at en stor feil kostet bedriften millioner, og de vil skyte på AI. Jeg ville høflig foreslå at det ikke er en unnskyldning.

De gode nyhetene er at jeg er heldig å se førstehånd en håndfull selskaper som behandler styring annerledes, og jeg tror at disse selskapene bygger en langsiktig fordel som akselerer over tid, mens andre som venter på sidelinjen risikerer å bli foreldet. Å forstå hva de få ser starter med å forstå hvor den nåværende banen fører.

Vi er på vei mot et problem

Dagens utrullinger er små nok til at menneskelig tilsyn kan absorbere risikoen. Deloittes siste State of AI in the Enterprise-forskning fant ut at bare en fjerdedel av de undersøkte organisasjonene hadde flyttet minst 40 prosent av sine AI-eksperimenter til produksjon. De fleste bedriftene er fortsatt tidlig på kurven, kjører en håndfull agenter i smale brukstilfeller med mennesker som sporer hver eneste utdata.

Banen er det som teller. Mens utrullinger skalerer fra to agenter til 20, til 200, til 2 000 og utover, akselerer kompleksiteten. Hver ny agent bringer sin egen atferd, samt interaksjoner med hver system det berører og hver annen agent det arbeider sammen med. Ved to agenter er tillit lett: du kjenner teamet, og du gjennomgår utdataene selv. Ved 20 agenter må tillit bli en prosess, med definerte eiere, testing og eskalasjonsveier. Det kan fortsatt fungere, men det blir vanskeligere å opprettholde. Ved 200 agenter blir uformell gjennomgang teater, fordi ingen ledelse kan se på så mye aktivitet. Og ved 2 000 agenter er den menneskelige i løkken nesten nytteløs, ettersom interaksjoner mellom agenter, data og forretningsprosesser danner et nettverk utover hva manuell tilsyn kan dekke. Ved denne skalaen må tillit også eksistere i skala og være innbygget i selskapets tekniske arkitektur.

Kosten av å vente

Den manglende tillitsinfrastrukturen er også en av årsakene til de skuffende avkastningene. I PwC’s siste Global CEO Survey, sa 56 prosent av CEO-er at AI ikke hadde produsert økt omsetning eller redusert kostnader i løpet av det siste året. Ifølge min erfaring ser også de avkastningene som rapporteres ut som mindre overbevisende når du undersøker de underliggende økonomiske forhold. De fleste selskaper teller timer spart og kaller det avkastning på investering. Timer spart blir finansiell avkastning bare når organisasjonen konverterer den kapaciteten til noe mer verdifullt: større utgang, bedre kvalitet, unngått kostnad, raskere vekst osv.

Den konverteringen krever tillit. En organisasjon kan flytte menneskelig dømmekraft til høyere-verdi-arbeid bare når ledelsen stoler på systemene som tar over det lavere-verdi-arbeidet. Uten tillit akkumulerer selskaper teknisk gjeld som ikke skalerer, og over tid har det en betydelig innvirkning på produktivitet. Det er det verste av begge verdener: økt utgift med lite å vise for det. Tillit er grunnlaget for hvorpå disse avkastningene oppstår.

Heisproblemet

Koblingen mellom tillit og adopsjon er ikke en ny en, og vi kan gå tilbake til midten av forrige århundre for et rimelig referansepunkt. Sjåførløse heiser eksisterte tiår før noen ville ri dem. Teknologien fungerte, men passasjerer ville gå inn i en bil, se ingen operatør, og gå ut igjen. Hva endret seg var ikke heisen, men sikkerhetskontrollene rundt den. Etter en operatørstreik i 1945 som stengte kontorbygninger over hele New York, designet industrien tillit inn i maskinen selv: nødstoppknappen, telefonlinjen, dører som gjenåpnet når de møtte motstand, og en innspilt stemme som forklarte hva å gjøre. Innen en generasjon ble å ri en heis uten en menneskelig operatør så vanlig at å gå inn i en heis med en person som manøvrerte knappene føltes foreldet. Barrieren for å fjerne mennesket fra løkken var aldri evne. Det var tillit, og industrien løste det ved å bygge synlige, verifiserbare kontroller inn i systemet og plassere dem der hver eneste passasjer kunne se dem.

Bedrifts-AI er på steg-inn-steg-ut-stadiet. Ledelseslag ser agenter som fungerer uten en menneskelig operatør og nøler, og nølingen er rasjonell: de fleste organisasjoner har ikke ennå bygget den ekvivalente stoppknappen, telefonlinjen og døren som ikke lukker seg på deg. Selskapene som designer disse kontrollene inn i sine systemer vil være de som får mennesker, kunder og regulatorene til å gå inn og bli.

Leverandører kan bare bære en del av dette

Mange ledere håper at deres AI-leverandører vil bære tillitsbyrden. Leverandører kan tilby modellnivå-sikkerhetskontroller og sikkerhetskontroller, og de gode gjør det. Å bestemme om en bestemt utrulling er egnet for dine data, dine regulatoriske forpliktelser, dine kunder og din risikotoleranse forblir ditt jobb, fordi din leverandør mangler konteksten til å gjøre det. De har aldri sett dine forpliktelser, og de har ingen måte å prisere hva en dårlig utfall koster deg på.

En leverandørs sikkerhetsforpliktelse dekker deres modell, ikke din bruk av den. Det er heller ikke permanent: som det siste året har vist, kan disse forpliktelsene revideres eller trekkes tilbake. Regulerte industrier avgjorde denne spørsmålet lenge siden for tredjepartsmodeller, og standarden de landet på er den riktige en: institusjonen som setter modellen i drift eier risikoen.

Hva de få gjør

Selskapene som trekker fremover gjør tre trekk:

1. De bygger kontrollinfrastruktur nå, størrelsesbestemt for skalaen de har til hensikt å nå, snarere enn skalaen de er på, fordi kontrollene må eksistere før agentene som trenger dem.
2. De innbygger risikoklassifisering og -mitigering på starten av utrullingsprosessen, snarere enn som en gjennomgangsportal på slutten, så hver brukstilfelle er klassifisert og kontroller er proporsjonale med risiko fra dag én.
3. Og de reiser uavhengig styring med virkelig myndighet til å verifisere at disse systemene oppfører seg som tiltenkt, holdes fleksible nok til å utvikle seg med teknologien. Uavhengighet gjør verifiseringen troverdig. Fleksibilitet holder den aktuell.

Det er verdt å påpeke at få regulatorene har eksplisitt etablert regler rundt bruk og tilsyn av generativ AI, men det betyr ikke at vi ikke har noe å se til for veiledning. Regulatorene har vel etablerte regler for å håndtere tradisjonelle modeller, og vi kan bruke dem som en guide. I april utga Federal Reserve, OCC og FDIC revidert modellriskeveiledning som reflekterer tiår med praksis, en prinsippbasert tilnærming som inkluderer modellinventar, risikobasert kontroll proporsjonalt med eksponering, uavhengig validering, kontinuerlig overvåking og bedriftsansvar for leverandørprodukter, og de instruerte institusjonene om å bruke samme praksis til AI på egen hånd. Meldingen er klar: prinsippene som fungerer er kjent, og de formelle AI-reglene kommer ikke snart. Bedrifter som venter på regulatorisk klarhet vil vente mens de få handler. Dette er hvorfor tungt regulerte industrier, ofte beskrevet som langsomme, går inn i denne æraen med et forsprang. De tilbrakte tiår med å bygge akkurat den tillitsmaskineri alle andre nå trenger, og de venter ikke på tillatelse til å bruke det.

Spørsmålet som teller

Skillet er allerede under dannelse. De fleste selskaper behandler styring som en kostnad: noe som absorberes, tåles og minimizes. De få behandler det som infrastrukturen som lar dem flytte mennesker til høyere-verdi-arbeid og skalerer med tillit. Hvert ledelseslag er på den ene eller den andre siden, enten de har valgt det bevisst eller ikke, og gapet akselerer stille før skalaen som vil avsløre det. Ingen tenker to ganger om å gå inn i en heis i dag, fordi tillit ble bygget inn i den. Selskapene som gjør det samme for AI vil skalerer forbi alle som fortsatt bestemmer seg for å gå inn.