Ukryte ryzyko sztucznej inteligencji

Większość zespołów przedsiębiorstw nie planowała, że sztuczna inteligencja przejmie kontrolę nad ich procesami pracy. Zaczęło się od prostych narzędzi, które obiecywały szybsze pisanie, gładkie spotkania i lepsze spostrzeżenia klientów. Pracownicy zainstalowali asystentów sztucznej inteligencji w swoich przeglądarkach, połączyli je z pocztą e-mail, dodali do Zoom i eksperymentowali ze Slack i Google Workspace.

Ale te pierwsze próby posunęły się szybciej niż kontrola korporacyjna i rozprzestrzeniły się na systemy SaaS zarządzające całą firmą, aż sztuczna inteligencja stała się częścią codziennej pracy. I to właśnie w ten sposób sztuczna inteligencja cieni, jeden z najmniej docenianych ryzyk we współczesnych przedsiębiorstwach, powstała. Rozwinęła się wewnątrz większości organizacji, zanim przywódcy zrozumieli, jak głęboko była związana z wrażliwymi danymi.

Sztuczna inteligencja cieni odnosi się do narzędzi sztucznej inteligencji, które działają wewnątrz organizacji bez zatwierdzenia, bez widoczności i często bez zabezpieczeń. Gdy te narzędzia łączą się bezpośrednio z platformami takimi jak Salesforce, Zoom lub Microsoft 365, uzyskują dostęp do informacji, które przywódcy uważają za bezpieczne. Niebezpieczeństwo już objawia się w przypadkach niezgodności, niekontrolowanych przepływach danych i incydentach, w których agenci sztucznej inteligencji podejmują działania, których nikt nie oczekiwał.

Spędziliśmy lata pracując z firmami, które wierzyły, że mają silne programy bezpieczeństwa. Jednak gdy pomogliśmy im zbadać ich środowiska SaaS, odkryli setki aktywnych połączeń sztucznej inteligencji, których nie autoryzowali. Niektóre z tych połączeń były aktywne przez miesiące, podczas gdy inne należały do pracowników, którzy już opuścili firmę. Sztuczna inteligencja cieni rozwija się cicho, ponieważ porusza się szybciej niż zarządzanie i szybciej niż większość organizacji jest w stanie wykryć.

Niewidzialne potoki danych

Historia zaczyna się często od szlachetnych intencji: przedstawiciela handlowego, który chce pisać lepsze e-maile, lub menedżera sukcesu klienta, który chce transkrypcji ważnych spotkań, lub inżyniera, który chce szybszego sposobu przeglądania kodu. Narzędzia sztucznej inteligencji sprawiają, że te zadania są bez wysiłku, więc pracownicy je szybko przyjmują. Ale przyjęcie jest tylko pierwszym krokiem.

Wiele z tych narzędzi wymaga szerokich uprawnień za pośrednictwem OAuth, rozszerzeń przeglądarki lub kluczy API. Gdy zostaną one udzielone, uzyskują dostęp do rekordów CRM, notatek klientów, wewnętrznych wiadomości lub poufnego kodu źródłowego.

Widzieliśmy, co się dzieje dalej. W jednym przypadku zespół odkrył, że asystent sztucznej inteligencji połączony z Salesforce wygenerował ponad czterysta raportów w ciągu jednego weekendu. Na początku wszyscy zakładali, że to jest błąd systemu. Jednak sztuczna inteligencja uzyskała rozległy dostęp. Zaczęła automatyzować zadania w skali, której żaden analityk ludzki by nie podjął. Wrażliwe prognozy sprzedaży i informacje o klientach pojawiły się w miejscach, w których nie powinny się znajdować, po prostu dlatego, że narzędzie sztucznej inteligencji zdecydowało się działać.

Inna organizacja wdrożyła usługę transkrypcji sztucznej inteligencji, aby pomóc ich zespołom skierowanym do klientów. Nagrywała każde spotkanie i gromadziła szczegóły dotyczące cen, problemów klientów, planów na najbliższą przyszłość i informacji o konkurencji. Wszystkie te informacje trafiały bezpośrednio do systemu trzeciej strony bez umowy i bez widoczności, jak dane są przechowywane lub wykorzystywane. Sytuacje takie stają się coraz częstsze, ponieważ narzędzia sztucznej inteligencji działają bardzo inaczej niż tradycyjne oprogramowanie. Czytają więcej danych i poruszają się szybciej, i często działają bez wyraźnych granic.

W miarę jak przyjęcie sztucznej inteligencji przyspiesza, powierzchnia ataku będzie się powiększać. Wzrost protokołu Model Context w szczególności sprawia, że sztuczna inteligencja staje się bardziej potężna, umożliwiając agentom bezpośrednią interakcję z danymi przedsiębiorstwa. Niestety, ta wygoda otwiera również nowe drzwi dla ataków łańcucha dostaw i eskalacji uprawnień.

Menadżerowie muszą zrozumieć, że nowoczesna sztuczna inteligencja nie pasuje do starszych modeli bezpieczeństwa, na które firmy nadal polegają, ponieważ te narzędzia sztucznej inteligencji żyją wewnątrz systemów, a nie na brzegu, co sprawia, że są o wiele trudniejsze do zauważenia i jeszcze trudniejsze do zarządzania.

Ograniczenia tradycyjnych narzędzi bezpieczeństwa

Większość programów bezpieczeństwa została stworzona dla świata, w którym aplikacje żyły wewnątrz sieci korporacyjnej, a użytkownicy łączyli się przez przewidywalne wzorce. Jednak sztuczna inteligencja złamała ten model. Współczesne narzędzia żyją wewnątrz platform SaaS, a nie na serwerach korporacyjnych. Komunikują się za pośrednictwem interfejsów API, a nie sieci. Czytają i zapisują dane w sposób ciągły, i zachowują się w sposób, który systemy monitorowania dziedzictwa nie mogą interpretować.

Nasze doświadczenie pokazuje, że organizacje często zaniżają liczbę narzędzi sztucznej inteligencji w swoim środowisku. Wiele z nich nie wie, które integracje są aktywne, ani jak długo te uprawnienia istnieją. Inne zakładają, że logowanie jednokrotne lub reguły zapory sieciowej są wystarczające, aby je chronić. Nie są. Sztuczna inteligencja cieni rozwija się w systemach tożsamości, warstwach uprawnień i integracjach zewnętrznych, które zespoły bezpieczeństwa rzadko przeglądają. Ukrywa się w miejscach, w których firmy nie szukają, i w narzędziach, które pracownicy instalują, ponieważ chcą poruszać się szybciej.

Przesunięcie w kierunku osadzonej sztucznej inteligencji sprawia, że ta praca staje się jeszcze trudniejsza. Platformy takie jak Microsoft 365, Google Workspace, Slack i Salesforce są teraz wyposażone w wbudowane możliwości sztucznej inteligencji. Niektóre są włączone domyślnie. Inne mogą być aktywowane jednym kliknięciem. Organizacje mogą już korzystać z funkcji sztucznej inteligencji, nie zdając sobie sprawy, jakie dane te funkcje konsumują, ani jak systemy przechowują dane wyjściowe. Ryzyko pochodzi nie tylko z tego, co dodają pracownicy, ale także z tego, co wprowadzają dostawcy.

Odzyskiwanie kontroli

Sztuczna inteligencja cieni powinna być traktowana jako niepowodzenie pracowników. Raczej jest to naturalny wynik szybkiego postępu technologicznego, a przywódcy potrzebują widoczności, a nie winy. Pierwszym krokiem jest założenie, że sztuczna inteligencja cieni istnieje, i rozpoczęcie mapowania, gdzie sztuczna inteligencja już oddziałuje z krytycznymi systemami. Drugim krokiem jest utworzenie zatwierdzonego zestawu narzędzi sztucznej inteligencji, aby zespoły mogły innowować bezpiecznie. Blokowanie sztucznej inteligencji jest niewykonalne, a zapewnienie bezpiecznych opcji jest jedyną trwałą ścieżką.

Nadzór w czasie rzeczywistym jest również niezbędny. Przeglądy kwartalne nie mogą nadążyć za narzędziami, które mogą wykradać dane w ciągu godzin. Organizacje potrzebują ciągłego wglądu w to, które agenci sztucznej inteligencji są aktywni, jakie uprawnienia posiadają i czy te uprawnienia są zgodne z zasadą najmniejszych uprawnień. Gdy pracujemy z zespołami kierowniczymi, zachęcamy ich do zadawania bezpośrednich pytań: które narzędzia dostęp do systemów klientów, które narzędzia łączą się z środowiskami produkcyjnymi i które narzędzia pozostają aktywne po odejściu użytkowników?

Widzieliśmy, jak organizacje zmieniły tę niepewność w klarowność. Gdy przywódcy zobaczą, gdzie sztuczna inteligencja działa wewnątrz ich systemów, mogą wprowadzić odpowiednie ograniczenia i pozwolić zespołom używać jej bezpiecznie. To jest moment, w którym sztuczna inteligencja przestaje być ryzykiem i zaczyna stawać się prawdziwą zaletą.

Sztuczna inteligencja cieni nie jest czymś, co nadchodzi w przyszłości. Jest już tutaj. Ale organizacje, które zajmą się tym, zanim rozwinie się w kryzys, będą prowadzić erę sztucznej inteligencji.