AI-styrning: Ett problem för de flesta, en fördel för de få

Företags-AI ackumulerar risker snabbare än någon räknar med. AI-agenter börjar vidröra kunddata, produktionskod och viktiga affärsbeslut, och i de flesta organisationer styrs de av kontroller som utformats för en helt annan era av teknologi. Samtidigt tunnas de externa stöd som företagen kanske har lutat sig mot ut. Ledande AI-laboratorier har skalat tillbaka frivilliga säkerhetsåtaganden, och reglering förblir fragmenterad över jurisdiktioner. Förtroendebördan landar på de företag som distribuerar AI, eftersom de slutligen är de som kommer att lida av de negativa resultaten när och om de uppstår.

Jag gör strategiskt AI-arbete med företag över nästan alla branscher, och jag pratar med VD:ar och styrelser dagligen. Det konsekventa mönstret jag ser är följande: distributionen accelererar medan kontrollinfrastrukturen inte håller jämna steg. Mönstret är tillräckligt konsekvent för att jag ska betrakta det som strukturerat snarare än något enskilt företags misslyckande, och jag kommer att göra en förutsägelse: vi är inte långt ifrån att en VD måste förklara att ett stort misstag kostade företaget miljontals dollar, och de kommer att skylla på AI. Jag skulle artigt föreslå att det inte är en ursäkt.

Den goda nyheten är att jag har turen att se förstahands en handfull företag som behandlar styrning på ett annat sätt, och jag tror att dessa företag bygger en långsiktig fördel som ackumuleras över tid, medan andra som väntar på sidan om riskerar att bli föråldrade. Att förstå vad de få ser börjar med att förstå vart den nuvarande banan leder.

Vi är på väg mot ett problem

Dagens distributioner är tillräckligt små för att mänsklig tillsyn ska kunna absorbera risken. Deloittes senaste State of AI in the Enterprise-forskning fann att endast en fjärdedel av de tillfrågade organisationerna hade flyttat minst 40 procent av sina AI-experiment till produktion. De flesta företag är fortfarande tidigt på kurvan, med ett fåtal agenter i smala användningsfall med människor som spårar varje utdata.

Banans riktning är vad som betyder något. När distributionerna skalar från två agenter till 20, till 200, till 2 000 och bortom, ackumuleras komplexiteten. Varje ny agent medför sitt eget beteende, plus dess interaktioner med varje system det vidrör och varje annan agent det arbetar tillsammans med. Vid två agenter är förtroendet lätt: du känner teamet, och du granskar utdata själv. Vid 20 måste förtroendet bli en process, med definierade ägare, testning och eskalationsvägar. Det kan fortfarande fungera, men det blir allt svårare att upprätthålla. Vid 200 blir den informella granskningen teater, eftersom ingen ledningsgrupp kan granska så mycket aktivitet. Och vid 2 000 är den mänskliga faktorn i loopen i princip värdelös, eftersom interaktionerna mellan agenter, data och affärsprocesser bildar en väv som är bortom vad manuell tillsyn kan täcka. Vid den skalan behöver förtroendet också finnas i skalan och vara inbyggt i företagets tekniska arkitektur.

Kostnaden av att vänta

Den saknade förtroendestrukturen är också en av anledningarna till de besvikande resultaten. I PwC:s senaste Global CEO Survey sa 56 procent av VD:arna att AI inte hade producerat varken ökad omsättning eller minskade kostnader under det senaste året. Enligt min erfarenhet ser även de återrapporterade resultaten mindre övertygande ut när man undersöker den underliggande ekonomin. De flesta företag räknar timmar som sparas och kallar det avkastning på investeringen. Timmar som sparas blir finansiell avkastning endast när organisationen omvandlar den kapaciteten till något mer värdefullt: större utdata, bättre kvalitet, undvikit kostnad, snabbare tillväxt etc.

Detta kräver förtroende. En organisation kan flytta mänsklig bedömning till mer värdefullt arbete endast när ledningen litar på systemen som tar över det lägre värderade arbetet. Om förtroendet saknas ackumulerar företagen teknisk skuld som inte skalar, och över tid påverkar det produktiviteten på ett meningsfullt sätt. Det är det sämsta av båda världar: ökad utgift med lite att visa för det. Förtroende är grunden på vilken dessa avkastningar ackumuleras.

Hissproblemet

Länken mellan förtroende och antagande är inte ny, och vi kan gå tillbaka till mitten av 1900-talet för ett rimligt referenspunkt. Förarläsa hissar fanns decennier innan någon skulle åka med dem. Teknologin fungerade, men passagerare skulle stiga in i en bil, se ingen operatör och stiga ut igen. Vad som förändrades var inte hissen, utan säkerhetskontrollerna runt den. Efter en strejk 1945 som stängde kontorsbyggnader över hela New York utvecklade branschen förtroende till maskinen själv: nödstoppknappen, telefonlinjen, dörrar som öppnade sig när de mötte motstånd och en inspelad röst som förklarade vad man skulle göra. Inom en generation blev det vanligt att åka hiss utan en människa vid kontrollerna, så vanligt att att gå in i en hiss med en person som manövrerade knapparna kändes föråldrat. Barriären för att ta bort människan från loopen var aldrig förmåga. Det var förtroende, och branschen löste det genom att bygga synliga, verifierbara kontroller in i systemet och placera dem där varje passagerare kunde se dem.

Företags-AI är i steg-in, steg-ut-scenariot. Ledningsgrupper ser agenter som arbetar utan en människa vid kontrollerna och tvekar, och tvekan är rationell: de flesta organisationer har inte byggt den motsvarande stoppknappen, telefonlinjen och dörren som inte stänger sig på en. Företagen som konstruerar dessa kontroller in i sina system kommer att vara de som får människor, kunder och tillsynsmyndigheter att stiga in och stanna kvar.

Leverantörer kan bara bära en del av detta

Många ledare hoppas att deras AI-leverantörer ska bära förtroendebördan. Leverantörer kan tillhandahålla modellnivåsäkerhets- och säkerhetskontroller, och de bra gör det. Att avgöra om en viss distribution är lämplig för er data, era regulatoriska skyldigheter, era kunder och er risktolerans förblir er uppgift, eftersom er leverantör saknar sammanhanget för att göra det. De har aldrig sett era skyldigheter, och de har inget sätt att prissätta vad en dålig utgång kostar er.

En leverantörs säkerhetsåtagande omfattar deras modell, inte er användning av den. Det är inte heller permanent: som det senaste året har visat kan dessa åtaganden revideras eller dras tillbaka. Reglerade branscher löste denna fråga för länge sedan för tredjepartsmodeller, och den standard de landade på är den rätta: den institution som distribuerar modellen äger risken.

Vad de få gör

Företagen som drar ifrån är med och gör tre drag:

1. De bygger kontrollinfrastruktur nu, dimensionerad för den skala de avser att nå, snarare än den skala de är vid, eftersom kontroller måste finnas innan de agenter som behöver dem.
2. De inbygger riskklassificering och mitigering i början av distributionsprocessen, snarare än som en granskningsgrind i slutet, så att varje användningsfall klassificeras och kontroller är proportionerliga till risken från dag ett.
3. Och de står upp för oberoende styrning med verklig auktoritet för att verifiera att dessa system beter sig som avsett, hålls tillräckligt flexibla för att utvecklas med teknologin. Oberoende gör verifieringen trovärdig. Flexibilitet håller den aktuell.

Det är värt att notera att få regulatorer har etablerat explicita regler för användning och tillsyn av generativ AI, men det betyder inte att vi inte har något att se till för vägledning. Regulatorer har etablerat regler för att hantera traditionella modeller, och vi kan använda dem som en guide. I april utfärdade Federal Reserve, OCC och FDIC reviderad modellriskvägledning som återspeglar decennier av praxis, en principbaserad ansats som inkluderar modellinventering, riskbaserade kontroller proportionerliga till exponering, oberoende validering, fortlöpande övervakning och företagsansvar för leverantörsprodukter, och de instruerade institutionerna att tillämpa dessa samma metoder på AI på egen hand. Meddelandet är tydligt: principerna som fungerar är kända, och de formella AI-reglerna kommer inte snart. Företag som väntar på regulatorisk tydlighet kommer att vänta medan de få agerar. Detta är varför de tungt reglerade branscherna, ofta beskrivna som långsamma, går in i denna era med ett försprång. De tillbringade decennier med att bygga exakt den förtroendemaskin som alla nu behöver, och de väntar inte på tillstånd för att använda den.

Frågan som betyder något

Klyftan formas redan. De flesta företag behandlar styrning som en kostnad: något som absorberas, uthärdas och minimeras. De få behandlar den som den infrastruktur som låter dem flytta människor till mer värdefullt arbete och skala med tillförsikt. Varje ledningsgrupp är på ena eller andra sidan, antingen de har valt medvetet eller inte, och klyftan ackumuleras tyst före den skala som kommer att avslöja den. Ingen tänker två gånger på att stiga in i en hiss idag, eftersom förtroendet byggdes in i den. Företagen som gör detsamma för AI kommer att skala förbi alla som fortfarande funderar på om de ska stiga in.