Řízení AI: Problém pro většinu, výhoda pro několik

Firemní AI nahromadí riziko rychleji, než kdokoli je vyčíslí. Agenti AI začínají zasahovat do zákaznických dat, produkčních kódů a významných obchodních rozhodnutí, a ve většině organizací jsou řízeni kontrolami navržených pro zcela jinou éru technologií. Současně se vnější podpory, na které se firmy mohly spolehnout, tenčí. Vedoucí laboratoře AI omezily dobrovolné bezpečnostní závazky, a regulace zůstává fragmentovaná napříč jurisdikcemi. Břemeno důvěryhodnosti se přenáší na firmy, které AI nasazují, protože nakonec budou ony, kdo bude trpět negativními důsledky, pokud a kdykoli se objeví.

Pracuji na strategických projektech AI s firmami napříč téměř všemi odvětvími a mluvím s CEO a představenstvy denně. Konsistentní vzorec, který vidím, je následující: nasazení urychluje, zatímco infrastruktura kontrol jednoduše nevydrží tempo. Vzorec je dostatečně konsistentní, že jej považuji za strukturální, spíše než selhání některé konkrétní firmy, a udělám předpověď: jsme nedaleko od okamžiku, kdy CEO bude muset vysvětlit, že velká chyba stála firmu miliony, a bude obviňovat AI. Doporučil bych, aby to nebylo omluvou.

Dobrou zprávou je, že mám tu čest vidět na vlastní oči několik firem, které přistupují k řízení jinak, a věřím, že tyto firmy budují dlouhodobou výhodu, která se bude časem zvyšovat, zatímco ostatní, kteří čekají na straně, riskují, že se stanou zastaralými. Chápání toho, co vidí několik, začíná porozuměním tomu, kam vede současná trajektorie.

Směřujeme k problému

Dnešní nasazení jsou dostatečně malá, aby lidský dohled mohl absorbovat riziko. Poslední výzkum Deloitte o stavu AI ve firmách ukázal, že pouze čtvrtina dotázaných organizací přesunula alespoň 40 procent svých experimentů s AI do produkční fáze. Většina firem je stále na počátku křivky, běží několik agentů v úzkých případech s lidmi, kteří sledují každý kus výstupu.

Trajektorie je to, co záleží. Jak se nasazení zvětšují z dvou agentů na 20, na 200, na 2 000 a dál, složitost se zvyšuje. Každý nový agent přináší své vlastní chování, plus interakce se všemi systémy, které se dotýká, a všemi ostatními agenty, se kterými spolupracuje. U dvou agentů je důvěra snadná: znáte tým a sami kontrolujete výstupy. U 20 agentů musí důvěra stát na procesu, s definovanými vlastníky, testováním a eskalačními cestami. Ještě to může fungovat, ale stává se stále obtížnějším. U 200 agentů se neformální kontrola stává divadlem, protože žádný vedení nemůže prohlédnout tolik aktivity. A u 2 000 agentů je lidská kontrola prakticky zbytečná, protože interakce mezi agenty, daty a obchodními procesy vytvářejí síť, která je za hranicí ruční kontroly. Na této úrovni musí důvěra existovat také v měřítku a být zabudována do technické architektury firmy.

Náklady čekání

Chybějící infrastruktura důvěryhodnosti je také jedním z důvodů zklamávajících návratů. V posledním globálním průzkumu CEO od PwC uvedlo 56 % generálních ředitelů, že AI nevytvořilo ani zvýšené příjmy, ani snížené náklady za posledních 12 měsíců. Z mé zkušenosti vypadají i návraty, které jsou hlášeny, méně přesvědčivě, když prozkoumáte podrobnou ekonomiku. Většina firem počítá uhrazené hodiny a nazývá to návratem na investici. Uhrazené hodiny se stávají finančním návratem pouze tehdy, když organizace přemění tuto kapacitu na něco cennějšího: větší produkci, lepší kvalitu, zabránění nákladům, rychlejší růst atd.

Tato konverze vyžaduje důvěru. Organizace může přesunout lidské úsudky na vyšší hodnotu práce pouze tehdy, když vedení důvěřuje systémům, které přebírají nižší hodnotu práce. Bez této důvěry firmy nahromadí technický dluh, který se nezvyšuje, a v průběhu času to významně dopadá na produktivitu. Je to nejhorší ze všech světů: zvýšené výdaje s málo tím, co za to stojí. Důvěra je základem, na kterém se tyto návraty hromadí.

Problém výtahu

Spojení mezi důvěrou a přijetím není nové, a můžeme se vrátit do poloviny 20. století pro rozumný referenční bod. Bezpečnostní výtahy existovaly desetiletí předtím, než někdo bude jezdit. Technologie fungovala, ale cestující vstoupili do vozu, neviděli operátora, a vystoupili. Co se změnilo, nebyla výtah, ale bezpečnostní kontroly kolem něj. Po stávce operátorů v roce 1945, která zastavila kancelářské budovy napříč New Yorkem, průmysl inženýrů důvěru do stroje samotného: tlačítko nouzového zastavení, telefonní linka, dveře, které se znovu otevřou, když narazí na odpor, a nahraný hlas, který vysvětluje, co dělat. V rámci jedné generace se jízda výtahem bez lidského operátora stala tak obvyklou, že vstup do výtahu s člověkem u ovládacích prvků se cítil zastaralý. Bariéra pro odstranění lidského operátora nebyla nikdy schopnost. Byla to důvěra, a průmysl ji vyřešil tím, že postavil viditelné, ověřitelné kontroly do systému a umístil je tam, kde je každý cestující mohl vidět.

Firemní AI je ve fázi, kdy se člověk vejde a okamžitě vystoupí. Vedoucí týmy vidí agenty pracující bez lidského operátora a váhají, a tato váhavost je racionální: většina organizací dosud nevybudovala ekvivalent tlačítka nouzového zastavení, telefonní linky a dveří, které se neuzavřou. Firmy, které tyto kontroly zabudují do svých systémů, budou ty, jejichž lidé, zákazníci a regulátoři vstoupí a zůstanou.

Dodavatelé mohou nést pouze část

Mnozí lídři doufají, že jejich dodavatelé AI ponese břemeno důvěry. Dodavatelé mohou poskytnout bezpečnostní záruky a kontroly na úrovni modelu, a dobrí dodavatelé to dělají. Rozhodnutí, zda je konkrétní nasazení vhodné pro vaše data, regulatorní závazky, zákazníky a toleranci rizika, zůstává vaší prací, protože váš dodavatel postrádá kontext, aby to udělal. Oni nikdy neviděli vaše závazky, a nemají žádnou možnost ocenit, co špatný výsledek stojí vás.

Bezpečnostní závazek dodavatele pokrývá jeho model, ne vaše použití. Také není trvalý: jak ukázal minulý rok, tyto závazky mohou být revidovány nebo staženy. Regulované odvětví vyřešilo tuto otázku dávno pro třetí strany, a standard, na kterém přistáli, je ten správný: instituce, která nasazuje model, vlastní riziko.

Co dělají ti několik

Firmy, které se dostávají dopředu, dělají tři pohyby:

1. Staví kontrolní infrastrukturu nyní, dimenzovanou pro měřítko, kterého chtějí dosáhnout, spíše než pro měřítko, ve kterém jsou, protože kontroly musí existovat před agenty, které potřebují.
2. Zabudovávají klasifikaci a zmírnění rizika na začátku procesu nasazení, spíše než jako kontrolní bránu na konci, takže každý případ použití je klasifikován a kontroly jsou proporcionální k riziku od samého začátku.
3. A staví nezávislé řízení s opravdovou autoritou, aby ověřily, že tyto systémy se chovají tak, jak je zamýšleno, a zůstávají dostatečně flexibilní, aby se vyvíjely s technologií. Nezávislost činí ověření důvěryhodným. Flexibilita ho udržuje aktuální.

Je třeba poznamenat, že málo regulátorů explicitně stanovilo pravidla pro použití a dohled nad generativní AI, ale to neznamená, že nemáme nic, na co bychom se mohli obrátit pro vedení. Regulátoři mají dobře stanovená pravidla pro tradiční modely, a můžeme je použít jako vodítko. V dubnu vydaly Federální rezervy, OCC a FDIC revidovaná směrnice pro riziko modelů, která odráží desetiletí praxe, principiální přístup, který zahrnuje inventarizaci modelů, rizika na základě kontrol proporcionálních k expozici, nezávislé ověření, průběžné monitorování a firemní odpovědnost za produkty dodavatelů, a směrovaly instituce, aby uplatňovaly tyto stejné postupy na AI na vlastní účet. Zpráva je jasná: principy, které fungují, jsou známy, a formální pravidla AI nejsou brzy. Firmy, které čekají na regulatorní jasnost, budou čekat, zatímco několik bude jednat. To je důvod, proč těžce regulovaná odvětví, často popisovaná jako pomalá, vstupují do této éry s náskokem. Strávily desetiletí budováním exactly té důvěryhodné mašinérie, kterou všichni ostatní nyní potřebují, a nebudou čekat na povolení k jejímu použití.

Otázka, která záleží

Rozdíl se již tvoří. Většina firem považuje řízení za náklad: něco, co absorbuje, snáší a minimalizuje. Několik firem považuje řízení za infrastrukturu, která jim umožňuje přesunout lidi na vyšší hodnotu práce a škálovat s důvěrou. Každý vedení je na jedné straně nebo na druhé, zda si to vybrali úmyslně nebo ne, a mezera se zvyšuje tiše před měřítkem, které ji odhalí. Nikdo dvakrát nezkoumá vstup do výtahu dnes, protože důvěra byla zabudována do něj. Firmy, které udělají totéž pro AI, budou škálovat za každým, kdo stále váhá, zda vstoupit.