Zarządzanie AI: Problem dla Większości, Przewaga dla Nielicznych

Przedsiębiorstwa AI gromadzą ryzyko szybciej, niż ktokolwiek może za nie odpowiadać. Agenci AI zaczynają dotykać danych klientów, kodu produkcyjnego i decyzji biznesowych o znaczeniu, a w większości organizacji są zarządzane przez kontrolę zaprojektowaną dla zupełnie innego okresu technologii. W tym samym czasie zewnętrzne wsparcie, na które mogłyby się opierać przedsiębiorstwa, staje się coraz cienkie. Wiodące laboratoria AI zredukowały dobrowolne zobowiązania dotyczące bezpieczeństwa, a regulacje pozostają rozproszone w różnych jurysdykcjach. Ciężar zaufania spada na firmy wdrażające AI, ponieważ ostatecznie to one będą ponosić negatywne konsekwencje, gdy i jeśli się pojawią.

Pracuję nad strategicznymi projektami AI z firmami z prawie każdej branży i rozmawiam z CEO i radami nadzorczymi na co dzień. Widzę spójny wzorzec: wdrożenie przyspiesza, podczas gdy infrastruktura kontroli po prostu nie nadąża. Wzorzec jest na tyle spójny, że uważam go za strukturalny, a nie za porażkę jakiejś firmy, i zrobię przewidywanie: nie jesteśmy daleko od momentu, gdy CEO będzie musiał wyjaśnić, że duży błąd kosztował firmę miliony, i będzie winą AI. Uprzejmie sugeruję, że to nie jest usprawiedliwienie.

Dobra wiadomość jest taka, że mam szczęście widzieć na własne oczy garstkę firm, które traktują zarządzanie w inny sposób, i wierzę, że te firmy budują długoterminową przewagę, która kumuluje się w czasie, podczas gdy inne, które czekają na sidelines, są narażone na to, że staną się przestarzałe. Zrozumienie, co widzą nieliczni, zaczyna się od zrozumienia, dokąd prowadzi obecny kierunek.

Idziemy ku Problemowi

Dzisiejsze wdrożenia są na tyle małe, że nadzór ludzki może pochłonąć ryzyko. Najnowsze badanie Deloitte na temat stanu AI w przedsiębiorstwie wykazało, że tylko jedna czwarta ankietowanych organizacji przeniosła co najmniej 40% swoich eksperymentów z AI do produkcji. Większość przedsiębiorstw jest jeszcze na początku krzywej, uruchamiając garstkę agentów w wąskich przypadkach użycia z ludźmi, którzy śledzą każdy kawałek wyjścia.

Kierunek jest tym, co się liczy. Gdy wdrożenia skalują od dwóch agentów do 20, do 200, do 2 000 i dalej, złożoność kumuluje się. Każdy nowy agent przychodzi ze swoim własnym zachowaniem, plus interakcjami z każdym systemem, który dotyka, i każdym innym agentem, z którym współpracuje. Przy dwóch agentach zaufanie jest łatwe: znasz zespół i sam sprawdzasz wyniki. Przy 20 zaufanie musi stać się procesem, z określonymi właścicielami, testami i ścieżkami eskalacji. Nadal może działać, ale staje się coraz trudniejsze do utrzymania. Przy 200 nieformalna kontrola staje się teatrem, ponieważ żaden zespół kierowniczy nie może obejrzeć tyle aktywności. A przy 2 000 ludzie w pętli są praktycznie bezużyteczni, ponieważ interakcje między agentami, danymi i procesami biznesowymi tworzą sieć poza tym, co może być pokryte przez nadzór ręczny. W tej skali zaufanie musi również istnieć w skali i być wbudowane w techniczną architekturę firmy.

Koszt Czekania

Brakująca infrastruktura zaufania jest również jednym z powodów rozczarowujących zwrotów. W najnowszym badaniu PwC CEO Survey, 56% dyrektorów generalnych powiedziało, że AI nie wygenerowało ani zwiększonego przychodu, ani zmniejszonych kosztów w ciągu ostatniego roku. Z mojego doświadczenia wynika, że nawet zwroty, które są zgłaszane, wyglądają mniej przekonywająco, gdy się przyjrzeć bliżej podstawowej ekonomice. Większość firm liczy godziny zaoszczędzone i nazywa to zwrotem z inwestycji. Godziny zaoszczędzone stają się zwrotem finansowym tylko wtedy, gdy organizacja przekształci tę pojemność w coś bardziej wartościowego: większą produkcję, lepszą jakość, uniknięte koszty, szybszy wzrost itd.

To przekształcenie wymaga zaufania. Organizacja może przenieść ludzkie osądy do pracy o wyższej wartości tylko wtedy, gdy kierownictwo ufa systemom, które przejmują pracę o niższej wartości. Bez zaufania firmy gromadzą dług techniczny, który nie skaluje, i z czasem ma to znaczący wpływ na produktywność. To najgorsze z obu światów: zwiększony wydatek z niewielkim efektem. Zaufanie jest fundamentem, na którym te zwroty kumulują się.

Problem Windy

Powiązanie między zaufaniem a przyjęciem nie jest nowe, i możemy wrócić do połowy XX wieku, aby znaleźć rozsądną odniesienie. Windy bez kierowcy istniały dziesięciolecia przed tym, zanim ktokolwiek by się do nich wsiadł. Technologia działała, ale pasażerowie wsiadali do windy, widzieli brak operatora i wsiadali z powrotem. To, co się zmieniło, nie była winda, ale kontrola bezpieczeństwa wokół niej. Po strajku operatorów w 1945 roku, który wyłączył budynki biurowe w Nowym Jorku, przemysł wyposażył zaufanie w samą maszynę: przycisk awaryjnego zatrzymania, linię telefoniczną, drzwi, które ponownie otwierały się przy oporze, i nagrany głos wyjaśniający, co robić. W ciągu jednej generacji wsiadanie do windy bez człowieka przy sterach stało się tak zwyczajne, że wejście do windy z osobą przy guziku wydawało się staromodne. Bariera dla usunięcia człowieka z pętli nie była kwestią zdolności. Było to zaufanie, a przemysł rozwiązał je, budując widoczne, weryfikowalne kontrolki w systemie i umieszczając je tam, gdzie każdy pasażer mógł je zobaczyć.

Przedsiębiorstwa AI są na etapie wejścia, wyjścia. Zespoły kierownicze widzą agenci pracujące bez człowieka przy sterach i wahają się, a wahanie jest racjonalne: większość organizacji nie zbudowała jeszcze odpowiedników przycisku awaryjnego zatrzymania, linii telefonicznej i drzwi, które nie zamykają się na nas. Firmy, które zaprojektują te kontrolki w swoich systemach, będą tymi, których ludzie, klienci i regulacje wejdą i pozostaną.

Dostawcy Mogą Przenosić Tylko Część

Wiele liderów liczy na to, że ich dostawcy AI przeniosą ciężar zaufania. Dostawcy mogą zapewnić zabezpieczenia na poziomie modelu i kontrolki bezpieczeństwa, a dobrzy dostawcy to robią. Decyzja, czy konkretna wdrożenie jest odpowiednie dla Twoich danych, zobowiązań regulacyjnych, klientów i tolerancji ryzyka, pozostaje Twoim zadaniem, ponieważ Twój dostawca nie ma kontekstu, aby to zrobić. Nie widzieli Twoich zobowiązań i nie mają sposobu, aby wycenić, co złe skutki mogą Cię kosztować.

Zobowiązanie dostawcy do bezpieczeństwa obejmuje jego model, a nie Twoje użycie go. Nie jest to również stałe: jak pokazał miniony rok, te zobowiązania mogą być zmienione lub wycofane. Regulowane branże rozwiązały tę kwestię dawno temu dla modeli stron trzecich, a standard, na który się zgodzili, jest właściwy: instytucja, która wdroży model, ponosi ryzyko.

Co Robią Nieliczni

Firmy, które wyprzedzają, robią trzy ruchy:

1. Budują infrastrukturę kontroli już teraz, skalowaną do skali, którą chcą osiągnąć, a nie do skali, w której są, ponieważ kontrolki muszą istnieć przed agentami, które ich potrzebują.
2. Wbudowują klasyfikację ryzyka i mitigację na początku procesu wdrożeniowego, a nie jako bramkę przeglądową na końcu, tak aby każdy przypadek użycia był sklasyfikowany i kontrolki były proporcjonalne do ryzyka od pierwszego dnia.
3. I stawiają niezależne zarządzanie z prawdziwą władzą, aby zweryfikować, czy te systemy zachowują się zgodnie z zamierzeniem, utrzymując je wystarczająco elastycznie, aby ewoluować wraz z technologią. Niezależność sprawia, że weryfikacja jest wiarygodna. Elastyczność utrzymuje ją na bieżąco.

Warto zauważyć, że niewielu regulatorów wyraźnie ustanowiło reguły dotyczące korzystania z AI i nadzoru nad nim, ale to nie oznacza, że nie mamy nic, do czego moglibyśmy się odnieść w poszukiwaniu wskazówek. Regulacje mają dobrze ustanowione reguły dotyczące zarządzania tradycyjnymi modelami, i możemy je wykorzystać jako przewodnik. W kwietniu Federalny Rezerw, OCC i FDIC wydały zrewidowane wytyczne dotyczące ryzyka modelu, odzwierciedlające dziesięciolecia praktyki, podejście oparte na zasadach, które obejmuje inwentaryzacje modeli, kontrolki ryzyka proporcjonalne do narażenia, niezależną weryfikację, ciągłe monitorowanie i odpowiedzialność instytucjonalną za produkty dostawców, i nakazały instytucjom stosowanie tych samych praktyk do AI na własną rękę. Wiadomość jest jasna: zasady, które działają, są znane, a formalne reguły AI nie nadchodzą wkrótce. Przedsiębiorstwa, które czekają na wyjaśnienia regulacyjne, będą czekać, podczas gdy nieliczni działają. Dlatego też ciężko regulowane branże, często opisywane jako wolne, wchodzą w tę erę z przewagą. Spędziły dziesięciolecia na budowaniu exactly tej maszyny zaufania, której wszyscy teraz potrzebują, i nie czekają na pozwolenie, aby ją wykorzystać.

Pytanie, które się Liczy

Podział już się tworzy. Większość firm traktuje zarządzanie jako koszt: coś, co jest pochłaniane, znoszone i minimalizowane. Nieliczni traktują je jako infrastrukturę, która pozwala im przenieść ludzi do pracy o wyższej wartości i skalować z pewnością. Każdy zespół kierowniczy jest po jednej lub drugiej stronie, czy to świadomie, czy nie, a lukę kumuluje się cicho przed skalą, która ją ujawni. Nikt nie myśli dwa razy, zanim wejdzie do windy dzisiaj, ponieważ zaufanie zostało wbudowane w nią. Firmy, które zrobią to samo dla AI, będą skalować poza wszystkich, którzy wciąż wahają się, czy wejść.