Cień AI: Dlaczego zatwierdzenie platformy nie jest tym samym co zabezpieczenie tego, co na niej zbudowano

Przyjęcie sztucznej inteligencji w przedsiębiorstwach jest daleko od bycia bezproblemowym. Obawy dotyczące kontroli danych, zgodności z przepisami i bezpieczeństwa towarzyszyły każdemu etapowi tej drogi. Ale gdy organizacje zwiększają swoją działalność na głównych platformach, takich jak Microsoft, Salesforce i ServiceNow, pojawia się coraz większe przekonanie, że najtrudniejsze pytania dotyczące zarządzania są, przynajmniej częściowo, rozwiązywane. Umowy przedsiębiorstw są na miejscu. Przeglądy bezpieczeństwa zostały ukończone. Platformy zostały zatwierdzone.

To, czego ta pewność często nie uwzględnia, jest zupełnie innym pytaniem: nie czy platforma jest bezpieczna, ale co i kto ją buduje.

W całych branżach trwa cicha rewolucja, gdy pracownicy niebędący specjalistami od technologii używają platform przedsiębiorstw do tworzenia autonomicznych agentów, zautomatyzowanych procesów i aplikacji połączonych z danymi, często w ciągu kilku minut, bez pisania jednej linii kodu. Wolni od tradycyjnych ograniczeń i terminów rozwoju, ci budowniczowie są błogosławieństwem dla wydajności organizacyjnej. Ale te narzędzia nie są nigdy sprawdzane przez zespoły bezpieczeństwa. W wielu przypadkach zespoły bezpieczeństwa nie wiedzą nawet, że one istnieją.

Te narzędzia, niezależnie od tego, czy są klasyfikowane jako aplikacje, agenci czy automatyzacje, są częścią rosnącego problemu znanego jako Cień AI, i reprezentują one jeden z największych zmian w ryzyku przedsiębiorstw w ciągu dziesięciu lat, z prostego powodu, że zagrożenia przeniosły się do środka.

Oryginalny problem Cienia IT był dość prosty: pracownicy używali nieautoryzowanych narzędzi spoza organizacji, a zadaniem bezpieczeństwa było ich znalezienie i zablokowanie. Cień AI to zupełnie inny wyzwanie. Narzędzia znajdują się wewnątrz platform, które zatwierdziłeś. Ludzie, którzy je budują, to twoi własni pracownicy. Dostęp, którego używają, jest legitymowany. I żadne z nich nie przechodzi przez procesy bezpieczeństwa zaprojektowane do wykrywania problemów przed ich wejściem do produkcji.

To, co sprawia, że jest to szczególnie trudne do rozwiązania, to skala. Większość liderów bezpieczeństwa znacznie zaniża, ile jest budowane wewnątrz ich własnych środowisk. Najnowsze badania ponad 200 przedsiębiorstw CISO i liderów bezpieczeństwa wykazały, że średni zespół bezpieczeństwa może uwzględnić tylko 44% agentów AI, automatyzacji i aplikacji, które użytkownicy biznesowi stworzyli. To nie jest luka. To ślepa plama, która pokrywa większość tego, co jest uruchomione.

Powodem jest to, że użytkownicy biznesu znacznie przewyższają liczbą profesjonalnych deweloperów, nawet o 10 do 1 w niektórych organizacjach. Ciągle budują w każdym departamencie, na platformach, które zostały zaprojektowane, aby ułatwić budowanie, a następnie zachęcają ich do budowania przez kierownictwo. Zespoły bezpieczeństwa są ukierunkowane na potoki deweloperskie i repozytoria kodu. Nigdy nie były zaprojektowane do monitorowania tego.

Najczęstsze złudzenie jest przekonanie, że zatwierdzenie platformy rozwiązuje problem bezpieczeństwa. Nie robi tego, po prostu przenosi go. Gdy przedsiębiorstwo podpisało umowę z Microsoft, Salesforce lub UiPath, dostawca platformy zabezpiecza swoją infrastrukturę. To, co pracownicy budują na jej podstawie, i jak ją konfigurują, jest całkowitą odpowiedzialnością przedsiębiorstwa.

Problem polega na tym, że narzędzia tworzone przez użytkowników biznesu nie wyglądają jak oprogramowanie dla tradycyjnych systemów bezpieczeństwa. Nie ma kodu do skanowania, nie ma repozytorium do monitorowania, nie ma potoku do inspekcji. Agent AI zbudowany przez menedżera HR za pomocą serii menu i podpowiedzi tekstowych jest, z perspektywy większości narzędzi bezpieczeństwa, niewidoczny.

I jednak te narzędzia są dalekie od trywialności. Badania wykazały, że ponad połowa CISO potwierdziła, że aplikacje zbudowane przez użytkowników biznesu wspierają obecnie procesy biznesowe i mają dostęp do wrażliwych danych firmy. Stawki są realne, a nadzór nie dotrzymuje kroku.

Od zera do katastrofy

Przypadki użycia są tak różnorodne, jak liczne i pochodzą z prawie każdego departamentu, nawet tych, których zespół bezpieczeństwa nie mógłby podejrzewać.

Na przykład, koordynator marketingu buduje agenta AI skierowanego do klienta na w pełni zatwierdzonej platformie, aby odpowiedzieć na pytania o produkty. W ciągu kilku minut aplikacja jest uruchomiona, ale jako osoba bez szkolenia w zakresie bezpieczeństwa, dwie małe błędy konfiguracyjne pozostają niezauważone i pozostawiają agenta z bezpośrednim dostępem do całej bazy danych firmy i bez granic na to, co może pobrać. W produkcji użytkownik prosi go o pobranie rekordów pracowników. Robi to. Ponieważ agent ma również możliwość wysyłania e-maili, użytkownik instruuje go, aby wysłał te dane na adres osobisty. Cała sekwencja trwa mniej niż sześćdziesiąt sekund. Nie ma nieautoryzowanego dostępu. Nie ma naruszenia platformy. Nie ma alertu bezpieczeństwa.

To nie jest wyrafinowany atak. To przewidywalny wynik dobrze zamierzonej osoby budującej coś, czego nie w pełni rozumie, na platformie, która ułatwia budowanie i sprawuje nadzór.

Luka w zarządzaniu, której nikt nie wycenił

Dla większości organizacji problem Cienia AI pozostaje abstrakcyjny, dopóki coś nie pójdzie nie tak. Ale ryzyko biznesowe sięga głębiej niż reakcja na naruszenie.

Gdy agent zbudowany przez biznes ujawnia wrażliwe dane, pytanie, które zadaje zarząd, nie brzmi „jak to się stało?” Będzie brzmiało „jak to się stało, że nikt nie wiedział, że to działa?” Nie będą rozróżniać pomiędzy naruszeniem spowodowanym przez zewnętrznego atakującego a tym spowodowanym przez źle skonfigurowane wewnętrzne narzędzie. Jeśli dane osobowe zostały ujawnione, a organizacja nie miała widoczności tego, co działa, brak nadzoru jest sam w sobie odpowiedzialnością. „Pracownik zbudował to na zatwierdzonej platformie” nie jest obroną, to opis luki.

Pilność jest realna, ale intencja i wykonanie nie są tym samym, a dla większości przedsiębiorstw luka pomiędzy nimi pozostaje szeroko otwarta.

Odpowiedzią nie jest ograniczanie tego, kto może budować. Zamykanie rozwoju obywatelskiego poświęciłoby prawdziwe zyski wydajności i w praktyce nie utrzymałoby się. Pracownicy znajdą sposoby, aby to obejść. Odpowiedzią jest sprowadzenie tego, co jest budowane, do widoczności i zarządzanie nim w miejscu, w którym ryzyko naprawdę się pojawia: czasie wykonywania.

To oznacza zrozumienie nie tylko tego, jakie agenci istnieją, ale jak się zachowują, jakie dane dostępne, jakie systemy dotykają i czy ich działania pozostają w granicach, które ich budowniczowie zamierzali. To oznacza ustawienie barier, które działają na poziomie organizacyjnym, a nie tylko w punkcie konfiguracji. I to oznacza dotarcie do miejsca, w którym zespoły bezpieczeństwa mogą odpowiedzieć na najbardziej podstawowe pytania o każdego agenta w swoim środowisku: kto to zbudował, do czego ma dostęp i czy zachowuje się tak, jak zostało zaprojektowane?

Większość przedsiębiorstw nie może odpowiedzieć na te pytania dzisiaj. Organizacje, które dotrą tam pierwsze, będą tymi, które będą mogły skalować przyjęcie AI z pewnością, bo będą wiedzieć, co tak naprawdę uruchamiają.