Liderzy opinii
Nowe zagrożenia bezpieczeństwa związane z szybkim wdrażaniem GenAI, którym organizacje muszą zaradzić

Kluczowe punktyGenAI podważa zasadę minimalnych uprawnień, pochłaniając dane bez dziedziczenia ich…
Zobacz więcej
- GenAI podważa zasadę minimalnych uprawnień, pochłaniając dane bez dziedziczenia ich oryginalnych kontroli dostępu.
- Shadow AI tworzy niewidoczne ryzyko eksfiltracji danych, gdy pracownicy natychmiast adoptują niezatwierdzone narzędzia.
- Przedsiębiorstwa nie mogą wycofać danych z modeli GenAI po ich przetworzeniu, co tworzy trwałe luki w zarządzaniu.
Generative AI (GenAI) przeszła od ciekawostki do centralnej siły w technologii przedsiębiorstw. Jej zdolność do generowania tekstu, kodu, obrazów i wglądów na żądanie sprawiła, że stała się niezastąpiona dla pracowników chcących przeciąć złożoność i przyspieszyć produktywność. Ale z tą innowacją i wydajnością przychodzi ogromne narażenie na ryzyko.
W rozmowach z dyrektorami i liderami zarządzania AI w różnych branżach, jeden temat pojawia się raz za razem: Bezpieczeństwo danych przeszło od kluczowej troski do centralnego punktu ich strategii i jest teraz definiującym wyzwaniem adopcji AI. W przeciwieństwie do tradycyjnego oprogramowania lub nawet poprzednich fal machine learning, GenAI fundamentalnie zmienia proces zabezpieczania danych w organizacji.
Niedawne badanie MIT wykazało, że 95% pilotowych projektów GenAI w przedsiębiorstwach kończy się niepowodzeniem. Nie jest to spowodowane słabością technologii, ale tym, że przedsiębiorstwom brakuje ram zarządzania i bezpieczeństwa, aby odpowiednio i odpowiedzialnie wdrożyć GenAI. W innym badaniu MIT, liderzy przedsiębiorstw wymienili bezpieczeństwo danych jako największe ryzyko biznesowe i bezpieczeństwa, które utrudnia szybszą adopcję AI. Ponadto, “AI w cieniu”, który jest nieautoryzowanym użyciem publicznych narzędzi przez pracowników, jest powszechnie uznawany za czynnik zwiększający ryzyko danych poza kontrolą korporacyjną.
Najmniejszy przywilej dostępu jest modelem bezpieczeństwa, w którym każda jednostka, czy to użytkownik, program, czy proces, otrzymuje tylko minimalny poziom dostępu i uprawnień niezbędnych do wykonania swoich prawidłowych funkcji. GenAI jednak zmienia cały paradygmat: Najmniejszy przywilej staje się ograniczeniem, które koliduje z tym, jak te systemy są zaprojektowane do działania. Jest to spowodowane tym, że narzędzia GenAI dla przedsiębiorstw zapewniają wyższe zyski produktywności, gdy mają dostęp do większych danych biznesowych i kontekstu biznesowego.
Ponieważ adopcja GenAI przyspiesza, użytkownicy nadal odkrywają nowe zastosowania GenAI, z których większość pochodzi z organicznego eksperymentowania i ciekawości, a nie z odgórnego planowania biznesowego. Jeśli jednostka nie może zdefiniować zadań, dla których GenAI będzie używana, lub rodzajów danych, do których potrzebuje dostępu, staje się niepraktyczne ustawienie uprawnień dostępu z najmniejszym przywilejem. Ponadto, użytkownik może mieć odpowiedni dostęp do zestawu danych i może go zgodnie z uprawnieniami przekazać jako dane wejściowe do narzędzia GenAI, ale gdy dane te są pobrane, nie są już związane z oryginalnymi uprawnieniami użytkownika. Zamiast tego mogą być wchłonięte do modelu, wyświetlone w przyszłych danych wyjściowych lub udostępnione innym osobom korzystającym z tego samego narzędzia. Ponieważ GenAI nie dziedziczy koniecznie kontroli dostępu do danych, skutecznie uniemożliwia egzekwowanie najmniejszego przywileju.
Ekspozycje GenAI, które należy rozważyć
GenAI tworzy ogromną i stale rozwijającą się powierzchnię danych, co komplikuje zarządzanie danymi i ich bezpieczeństwo w przedsiębiorstwie na kilka wzajemnie powiązanych sposobów. Obejmują one:
Wyciek danych wejściowych – GenAI może pobierać dane w ich surowej postaci, w tym tekst, obrazy, dźwięk, wideo i dane strukturalne. Użytkownicy końcowi mogą teraz kierować narzędzia GenAI do nowych zestawów danych z minimalnym wysiłkiem lub ekspertyzą. Zamiast być ograniczonymi do starannie wyselekcjonowanych, strukturalnych tabel z zdefiniowanymi schematami i relacjami, te zestawy danych mogą obejmować nagrania rozmów sprzedażowych, notatki e-mail CRM, transkrypcje obsługi klienta i wiele więcej. W praktyce pracownicy karmią GenAI danymi wejściowymi zawierającymi bardzo wrażliwe informacje biznesowe, w tym dane osobowe klientów, własność intelektualną, prognozy finansowe i nawet kod źródłowy.
Ekspozycja danych wyjściowych – Modele generatywne nie tylko konsumują, ale także syntezują. Dane wejściowe mogą nieumyślnie pociągać wnioski z różnych zestawów danych i ujawniać je użytkownikom bez odpowiednich uprawnień. W niektórych przypadkach dane wyjściowe mogą nawet “halucynować” dane, które wydają się prawdziwe, ale zawierają fragmenty rzeczywistych, wrażliwych danych szkoleniowych.
Narzędzia GenAI działają lepiej, gdy mają kontekst dla zadania. W rezultacie nie tylko GenAI pobiera istniejące informacje, ale użytkownicy również tworzą nowe dane, aby je prowadzić w postaci obszernych, szczegółowych danych wejściowych, które dokumentują kontekst biznesowy, wewnętrzne procesy i inne potencjalnie wrażliwe lub krytyczne informacje biznesowe.
Dostępność bez nadzoru – Tradycyjne systemy przedsiębiorstw wymagały rejestracji dostawców i przygotowania zasobów i dostępu przez IT. Dziś GenAI jest wbudowana wszędzie – w pakietach Microsoft Office, przeglądarce, narzędziach czatu i platformach SaaS. Pracownicy mogą ją przyjąć natychmiast, pomijając governance. Ten bezproblemowy dostęp napędza “AI w cieniu”, a każde nieautoryzowane użycie GenAI jest potencjalnym zdarzeniem eksfiltracji danych, które występuje niewidocznie, w skali i poza granicami governance przedsiębiorstwa.
Ryzyko łańcucha dostaw drugiego poziomu – Dostawca może wydawać się bezpieczny, ale często polega na podwykonawcach, takich jak hosterzy chmury, usługi adnotacji lub laboratoria AI trzeciej strony. Każdy z nich wprowadza własne umowy licencyjne użytkowników końcowych (EULA) i polityki. Wrażliwe dane przedsiębiorstwa mogą przenikać przez wiele niewidocznych rąk, a odpowiedzialność pozostaje wyłącznie w gestii przedsiębiorstwa. Na przykład, przedsiębiorstwo może mieć dostawcę, który wcześniej ukończył proces rejestracji, ale ten dostawca teraz używa narzędzia GenAI, które mogłoby pozwolić na użycie danych przedsiębiorstwa jako danych szkoleniowych, z znaczącymi skutkami dalszymi.
Luki w zarządzaniu danymi szkoleniowymi – Gdy dane wchodzą do modelu AI, kontrola skutecznie kończy się. Przedsiębiorstwa nie mogą łatwo odzyskać ani zarządzać tym, jak ich informacje są używane. Wiedza własna może się utrwalić, a następnie pojawić się w danych wyjściowych długo po tym, jak ich źródło zostało zapomniane. Jeszcze nie spotkaliśmy się z żadnym narzędziem GenAI, które pozwalałoby na usunięcie informacji, które zostały pobrane, podobnie jak to, co jest widoczne w przepisach dotyczących ochrony prywatności, takich jak Ogólne Rozporządzenie o Ochronie Danych (GDPR) lub Ustawa o Prywatności Konsumentów Kalifornii (CCPA). Wdrożenie takich procesów jest mało prawdopodobne, dopóki regulacje nie spowodują zmiany.
Ryzyko kodu aplikacji – AI coraz częściej pisze kod, który leży u podstaw systemów biznesowych. Deweloperzy, którzy używają narzędzi GenAI, takich jak Microsoft Copilot, do generowania kodu, mogą nieświadomie wprowadzać niebezpieczne zależności, propagować słabości lub osadzać kod pod sprzecznymi licencjami open-source. Gdy są wdrożone, te słabości stają się wbudowane w łańcuch dostaw oprogramowania.
Rozwiązywanie ryzyka GenAI
GenAI jest już wbudowana w procesy robocze przedsiębiorstw, więc pytanie dla przedsiębiorstw nie brzmi, czy ją przyjąć, ale jak to zrobić odpowiedzialnie. Przyjęcie GenAI bez governance naraża na kosztowne naruszenia, kary regulacyjne i uszkodzenie reputacji. Ale blokowanie jej powoduje, że pracownicy używają nieautoryzowanych rozwiązań. Jedyną drogą naprzód jest umożliwienie korzystania z GenAI przy zapewnieniu widoczności i kontroli.
Zarządzanie GenAI wymaga widoczności opartej na kontekście nie tylko tego, jakie dane posiada przedsiębiorstwo, gdzie się znajdują i kto do nich ma dostęp, ale także tego, jak GenAI jest używana. Przedsiębiorstwa muszą widzieć, z których narzędzi się korzysta, jakie dane wejściowe są wprowadzane i czy wrażliwe dane opuszczają ich środowisko. Następnie mogą stosować odpowiednie kontrolki, aby monitorować dane wejściowe i wyjściowe w czasie rzeczywistym, flagować ryzykowne sesje lub nieprawidłowe przepływy danych, blokować nieautoryzowane narzędzia, filtrować wrażliwe dane wejściowe przed ich opuszczeniem, deidentyfikować wrażliwe dane, gdy są wprowadzane do danych wejściowych, i egzekwować ograniczenia oparte na rolach dotyczące wniosków uzyskanych z pomocą AI.
GenAI jest zupełnie nową warstwą ryzyka i szans dla przedsiębiorstw. Zarządzanie nią wymaga nastawienia, że bezpieczeństwo nie jest hamulcem innowacji, ale fundamentem, który ją czyni bezpieczną.













