Nadzór AI ma trzy ślepe punkty — i większość firm nie obserwuje żadnego z nich

Większość dyskusji o bezpieczeństwie AI w firmach jest skierowana na niewłaściwy cel. Zespoły spędzają tygodnie na dyskusjach o tym, który model wykorzystać, a następnie podłączają ten model do swojej poczty, płatności, bazy danych klientów i kodu, nie zatrzymując się, aby zadać prostsze pytanie: kiedy ten model coś zrobi, kto obserwuje to i czy ktoś może temu zapobiec?

Liczby wskazują, że to niedługo stanie się kosztowne. Gartner szacuje, że co najmniej 15% rutynowych decyzji biznesowych będzie podejmowanych autonomicznie przez AI w 2028 roku, w porównaniu z praktycznie żadnymi w 2024 roku. W tym samym badaniu ostrzega, że ponad 40% projektów AI z agencią zostanie anulowanych do końca 2027 roku, a jednym z powodów, który podaje, jest słaba kontrola ryzyka. Przeczytaj to jeszcze raz. Projekty nie umierają, ponieważ modele są złe. Umierają, ponieważ nikt nie zbudował sposobu, aby je zarządzać.

Buduję systemy zarządzania AI na co dzień, więc widzę te same luki ponownie. Są trzy z nich. Większość firm nie obserwuje żadnego z nich właściwie, a wiele obserwuje zero.

Agenci to głośni

Wszyscy martwią się o autonomiczne agenci, i słusznie. Ale większość ludzi martwi się o niewłaściwą część. Niepokojącą rzeczą w przypadku agenta nie jest to, że rozumie. To, że działa. Nie proponuje zwrotu; płaci go. Nie pisze e-maila; wysyła go. Podanie modelowi zestawu narzędzi to podanie mu możliwości dotknięcia prawdziwych systemów i zmiany rzeczy.

Pomyłka w tym może skutkować nie tylko niezręcznym zdaniem. To pieniądze wyrzucane w błoto, lub cicha utrata tabeli z bazy danych. I jest ostra krawędź. Wstrzyknięcie promtu znajduje się na samej górze listy ryzyka OWASP dla aplikacji LLM, i nie bez powodu: podanie modelowi niewłaściwego tekstu może spowodować, że zrobi coś, czego nikt nie prosił. Kiedy model może tylko mówić, to jest to niedogodność. Kiedy model może wywołać narzędzia, to jest atakujący, który trzyma Twoje klucze API.

Standardowa odpowiedź to rejestrowanie wszystkiego, co robi agent, i obserwowanie śladów. Dobrze. Ale ślad to opis czegoś, co już się wydarzyło. To nagranie z monitoringu po tym, jak kasa została opróżniona, przydatne do dochodzenia, ale bezużyteczne do powstrzymania kradzieży.

Cichy, o którym nikt nie wspomina

Drugi punkt ślepy nigdy nie pojawia się na slajdzie, ponieważ jest nudny. To zwykłe wywołanie API. Nie agent, nie framework, tylko kawałek kodu gdzieś w usłudze, który składa promt i wywołuje go na modelu.

Większość AI w produkcji wygląda tak, i jest to najmniej zarządzana część całego stosu, właśnie dlatego, że jest tak zwyczajna. To żądanie HTTP zakopane trzy warstwy głęboko w jakiejś usłudze, napisanej przez inżyniera, który nigdy nie słyszał o Twojej polityce AI i nie wiedziałby, gdzie ją znaleźć. To jedno wywołanie może wysłać dane klienta do modelu trzeciej strony lub wywołać akcję w dół strumienia, i nic nie sprawdza, czy powinno, i nic niezależnego nie zapisuje tego, że tak się stało.

Brudny to ludzie

Trzeci punkt ślepy to ludzie, i dlatego jest to najgorszy. Twoi pracownicy odkryli miesiące temu, że wklejenie zadania do ChatGPT lub Claude powoduje, że jest to robione szybciej, więc robią to cały dzień, zwykle z osobistych kont, których nie możesz zobaczyć. To nie jest hipotetyczne. Spojrzenie Cyberhaven na rzeczywiste użycie w miejscu pracy wykazało, że prawdziwa część pracowników wkleiła poufne dane firmy do ChatGPT, z których wiele pochodzi z kont, na które firma nie ma okna.

Jeśli chcesz słuchać opowieści ostrzegawczej, to jest to Samsung. W 2023 roku zakazał generatywnego AI wewnętrznie po tym, jak inżynierowie wkleili własny kod źródłowy do ChatGPT, trzy oddzielne razy w ciągu mniej niż miesiąca. Ci ludzie nie byli złymi aktorami. Byli dobrymi inżynierami, którzy starali się debugować szybciej. To jest cała pułapka: wyciek wygląda identycznie jak produktywność. I Twoje stare narzędzia do utraty danych nie złapią tego, ponieważ jest to kopiuj-wklej do karty przeglądarki, a nie plik wychodzący z budynku.

Co tak naprawdę działa

Wyrównaj te trzy i naprawa przestaje być tylko o agentach, a staje się jedną ideą: zarządzaj tym, co robi AI, zanim to zrobi, a nie potem. Kilka rzeczy, które naprawdę mają znaczenie, nauczyłem się głównie w sposób bolesny.

Siedź przed akcją, a nie za nią. To jest cała gra, i dlatego nieustannie podkreślam, że obserwowalność i zarządzanie nie są tym samym słowem. Pulpit, który informuje Cię, że agent przeniósł 40 000 funtów wczoraj, to raport strat. Coś, co może zatrzymać ten transfer, aby człowiek mógł go obejrzeć, zanim wyjdzie, to kontrola. Jeśli Twoje ustawienie może tylko powiedzieć Ci, co się stało, nie masz nadzoru. Masz tylko wgląd wsteczny.

Użyj jednego punktu kontrolnego, a nie jednego na narzędzie. Agenci, wywołania API i pracownicy wklejający do chatbota wydają się trzema oddzielnymi problemami, więc firmy kupują trzy oddzielne narzędzia i kończą z trzema zestawami luk między nimi. Złe rzeczy żyją w tych lukach. Wszystko, co robi AI, niezależnie od tego, skąd pochodzi, powinno przejść przez ten sam bramkę.

Zachowaj dziennik, który AI nie może przepisać. Jeśli system, który robi coś, jest również jedynym systemem, który rejestruje, że to zrobił, nie masz rekordu. Masz dziennik, który pozwala mu edytować. To jest dokładnie tam, gdzie zmierzają reguły. Wymóg dotyczący prowadzenia dziennika w rozporządzeniu AI UE, artykuł 12, istnieje, aby to, co zrobił system o wysokim ryzyku, mogło być odtworzone przez kogoś innego niż system. W praktyce oznacza to dziennik prowadzony poza rzeczą, która jest rejestrowana, jeden, który nie może być cicho zmieniony po fakcie.

Umieść człowieka na wielkich, nieodwracalnych połączeniach. Nie wszystko, zrób to i ludzie utoną w zatwierdzeniach, aż wszystko zaakceptują. Ale połączenia, których nie można cofnąć, przenosząc pieniądze, eksportując dane, kasując rekordy, powinny zatrzymać się i czekać. Rozporządzenie AI UE już nakazuje nadzór ludzki dla systemów o wysokim ryzyku, artykuł 14. Chwyt, który warto pamiętać, to to, że nadzór ma znaczenie tylko wtedy, gdy osoba ma czas i kontekst, aby naprawdę powiedzieć nie. Zatwierdzenie, które nikt nie czyta, to tylko teatr.

Uczciwa kontrola

Żaden z tych trzech nie jest przypadkiem. Są to zwykły sposób, w jaki większość firm używa AI teraz, cicho, bez sieci. Zespoły, które przetrwają przez następne kilka lat bez brzydkiego incydentu, nie będą tymi z najładniejszymi wykresami. Będą tymi, które zdecydują się wcześnie, że wszystko, co robi ich AI, agent, wywołanie API, wklejony akapit, przechodzi przez jedną bramkę, zanim się wydarzy, a nie potem.

Jeśli chcesz szybki test swojego ustawienia, odpowiedz szczerze na dwa pytania. Z tych trzech powierzchni, ile możesz naprawdę zobaczyć? A z tych, które możesz zobaczyć, ile możesz powstrzymać? Dla wielu firm szczerza odpowiedź na to drugie pytanie to zero. To jest liczba, którą trzeba najpierw naprawić.