Dlaczego wizja zagłady odwraca uwagę od rzeczywistego zagrożenia związanego z AI

Jeśli śledzisz jakiekolwiek media informacyjne, trudno zignorować narastający alarmizm wokół branży AI i ostrzeżenia przed zagładą. Narracja ostrzegająca przed „egzystencjalnym zagrożeniem”, jakie systemy AI stanowią dla ludzkości, bardzo ułatwiła firmom z branży cyberbezpieczeństwa przyłączenie się do tego nurtu i wykorzystywanie strachu do sprzedaży. Skupianie się na „zagładzie” jest jednak błędem, ponieważ odwraca uwagę od bardziej bezpośrednich zagrożeń, jakie stwarza dziś dla organizacji agentowa AI.

Oczywiście niezależne od mechanizmów kontrolnych organizacji działanie agentów AI wiąże się z wyraźnymi zagrożeniami. Niedawno doniesienia z Australii i USA wykazały, że agenci AI OpenAI w systemach rządowych obu krajów wykroczyli poza przydzielone im zadania.

Zagrożenie związane ze scenariuszami zagłady wywołanej przez AI jest jednak wyolbrzymiane. Zamiast skupiać się na hipotetycznych możliwościach, organizacje muszą zmierzyć się z nową rzeczywistością i zadbać o wdrożenie deterministycznych zabezpieczeń zapewniających odporność operacyjną.

Internetu nie da się wyłączyć jednym przełącznikiem

Zwolennicy narracji o zagładzie uważają, że wraz ze wzrostem zaawansowania i zasięgu AI może ona stać się skoncentrowanym „wyłącznikiem zagłady” — pojedynczym punktem, którego przejęcie umożliwiłoby komuś uzyskanie pełnej kontroli i wywołanie katastrofy.

Internet jest jednak znacznie bardziej rozproszony i zróżnicowany, niż zakłada teoria o wyłączniku zagłady. Działa jako „sieć sieci”, składająca się z miliardów elementów tworzących różne warstwy i architektury, chronionych przez niezliczone zespoły operacyjne stosujące różne standardy i narzędzia. Nie ma więc jednego przełącznika, który mógłby uruchomić człowiek lub maszyna — ani pojedynczej podatności czy łańcucha podatności, które można wykorzystać, by doprowadzić do tak ostatecznego skutku.

Pomysł, że AI mogłaby stworzyć i uwolnić zaprojektowany patogen albo włamać się do odizolowanych od sieci systemów nuklearnych, może być atrakcyjny dla widzów kinowych. Wciąż jednak daleko mu do wiarygodnego scenariusza, który należałoby uwzględniać w ocenie zagrożeń operacyjnych.

Poza zasięgiem wzroku, poza kontrolą

Wraz z dalszym rozwojem agentowej AI dwa czynniki zasadniczo zmieniły charakter ryzyka dla przedsiębiorstw.

Z jednej strony AI może już pomóc cyberprzestępcom znaleźć podatności w cyberzabezpieczeniach i je wykorzystać w ciągu minut, a nie miesięcy. Gdy probabilistyczne mechanizmy obronne oparte na AI wykryją podejrzaną aktywność, często jest już za późno, by zareagować na zagrożenie. Ponieważ opierają się na prawdopodobieństwie statystycznym, a nie sztywnych regułach, nawet najlepsze z nich nie wykryją części złośliwych działań, a napastnikowi wystarczy raz się prześlizgnąć

Z drugiej strony korzystanie przez pracowników z nieautoryzowanej AI znacznie utrudniło ustalenie, co należy chronić. Aż 82% organizacji objętych badaniem Cloud Security Alliance odkryło w minionym roku agentów AI, o których działom bezpieczeństwa lub IT nie było wiadomo, że działają — mimo że 68% badanych deklarowało wysoką pewność co do tego, jak dobrze widzą działanie agentów. W osobnym badaniu EY ustaliło, że jedna czwarta dużych firm w USA korzystających z agentowej AI przyznała, że nie potrafi wykrywać nieautoryzowanych agentów działających wewnątrz firmy.

Obie te zmiany wywierają oczywiście znaczną presję operacyjną na systemy przedsiębiorstw. Łącznie stawiają organizacje w bardzo niekorzystnej sytuacji: zbyt wolno identyfikują i usuwają ujawnione podatności, a zarazem nie wiedzą, które systemy są narażone.

Kontrola nad tym, co można kontrolować

Organizacje potrzebują aktualnego wykazu wszystkich agentów działających w firmie — zarówno autoryzowanych, jak i nieautoryzowanych — z przypisanym do każdego z nich właścicielem oraz jasno określonym zakresem dostępu i dozwolonych działań. To pierwszy krok do kontrolowania tego, co podlega kontroli, ponieważ modele AI mogą działać probabilistycznie, ale ustanowione wokół nich mechanizmy kontrolne mogą być deterministyczne, stałe i jasno zdefiniowane.

W praktyce oznacza to, że za każdym razem, gdy agent proponuje działanie, odrębna warstwa egzekwowania zasad, niezależna od samego modelu, musi sprawdzić, czy działanie jest dozwolone, i zachować jego ślad audytowy. Tymczasem zaledwie 11% organizacji automatycznie blokuje działania agenta, gdy wykraczają poza przyznany mu zakres; większość polega na zgodzie człowieka albo jedynie rejestruje takie działania. Incydent w Australii pokazuje, jakie są koszty polegania na tym, że system docelowy odmówi: gdy odmówiono mu dostępu, agent znalazł inną drogę wejścia. Szersza architektura nadzoru musi również umożliwiać ciągłe identyfikowanie, autoryzowanie i weryfikowanie wszystkich agentów, aby zapobiegać wystąpieniu nieprzewidzianych zagrożeń operacyjnych. Wszystko to musi odbywać się w odpowiednim tempie, ponieważ na ataki przebiegające z szybkością maszyn trzeba odpowiadać regułami działającymi równie szybko.

Od hipotetycznych obaw do praktycznych rozwiązań

Choć doniesienia o zagładzie wywołanej przez autonomiczne systemy AI mogą brzmieć przekonująco, mają niewiele wspólnego z rzeczywistością. Ryzyko, którym warto się martwić, jest znacznie bardziej przyziemne niż AI, która postanawia nas zniszczyć: agent działający w firmie szybciej, niż ktokolwiek jest w stanie go zauważyć, z uprawnieniami, których nikt mu nie nadał.

Problemy z szybkością działania i widocznością można rozwiązać, o ile systemy bezpieczeństwa nadzorujące AI będą deterministyczne i będą w stanie dokładnie weryfikować oraz śledzić każdego agenta w tempie, w jakim działa.

W przypadku zarządów i osób odpowiedzialnych za bezpieczeństwo sprowadza się to do trzech praktycznych pytań: czy wiemy o każdym agencie działającym w naszym środowisku, czy każdy z nich ma przypisaną osobę odpowiedzialną i jasno określone granice działania oraz czy potrafimy powstrzymać nieautoryzowane działanie, zanim zostanie wykonane? Pomagając klientom wyeliminować te praktyczne luki, dostawcy usług cyberbezpieczeństwa mogą znacznie bardziej przyczynić się do odporności niż przez podsycanie obaw przed hipotetycznymi scenariuszami przyszłości.