Kieran Norton, lider ds. sztucznej inteligencji i automatyzacji w Deloitte – seria wywiadów

Kieran Norton jest partnerem w Deloitte & Touche LLP i pełni funkcję lidera ds. sztucznej inteligencji i automatyzacji w Deloitte. Z ponad 25-letnim doświadczeniem i solidnym wykształceniem technicznym, Kieran specjalizuje się w rozwiązywaniu nowo pojawiających się ryzyk, dostarczając klientom strategiczne i pragmatyczne spostrzeżenia w zakresie bezpieczeństwa cybernetycznego i zarządzania ryzykiem technologicznym.

W ramach Deloitte, Kieran kieruje wysiłkami związanymi z transformacją sztucznej inteligencji w praktyce cybernetycznej w Stanach Zjednoczonych. Nadzoruje projektowanie, rozwój i wdrożenie rozwiązań sztucznej inteligencji i automatyzacji, pomagając klientom wzmocnić ich zdolności cybernetyczne i przyjąć technologie sztucznej inteligencji, jednocześnie skutecznie zarządzając związanymi z tym ryzykami.

Poza Deloitte, Kieran pomaga klientom w ewolucji ich tradycyjnych strategii bezpieczeństwa w celu wspierania transformacji cyfrowej, modernizacji łańcuchów dostaw, przyspieszania czasu dostępu do rynku, redukcji kosztów i osiągania innych kluczowych celów biznesowych.

Jak nowe kategorie zagrożeń bezpieczeństwa cybernetycznego pojawiają się wraz ze wzrostem autonomii agentów sztucznej inteligencji, której firmy mogą jeszcze nie w pełni rozumieć?

Ryzyka związane z wykorzystaniem nowych technologii sztucznej inteligencji do projektowania, budowy, wdrożenia i zarządzania agentami mogą być rozumiane, ale ich operacjonalizacja jest zupełnie inna sprawa.

Agencja i autonomia agentów sztucznej inteligencji – zdolność agentów do postrzegania, podejmowania decyzji, działania i funkcjonowania niezależnie od ludzi – może stwarzać wyzwania w utrzymaniu widoczności i kontroli nad relacjami i interakcjami, jakie modele/ agenci mają z użytkownikami, danymi i innymi agentami. W miarę jak agenci będą się namnażać w przedsiębiorstwie, łącząc wiele platform i usług z coraz większą autonomią i prawami decyzyjnymi, stanie się to coraz trudniejsze. Zagrożenia związane z nieodpowiednio chronioną, nadmierną lub ukrytą agencją/autonomią są liczne. Mogą one obejmować wyciek danych, manipulację agentami (za pomocą wstrzyknięcia poleceń itp.) i łańcuchy ataków agentów. Nie wszystkie z tych zagrożeń są obecnie realne, ale przedsiębiorstwa powinny rozważyć, jak będą zarządzać tymi zagrożeniami, gdy przyjmą i dojrzą zdolności napędzane przez sztuczną inteligencję.

Zarządzanie tożsamością sztucznej inteligencji jest innym ryzykiem, które powinno być starannie rozważone. Identyfikacja, ustalenie i zarządzanie tożsamościami maszynowymi agentów sztucznej inteligencji staną się bardziej złożone, gdy więcej agentów będzie wdrożonych i używanych w przedsiębiorstwach. Efemeryczna natura modeli/modelowych składników, które są uruchamiane i zamykane wielokrotnie w różnych okolicznościach, spowoduje trudności w utrzymaniu tych identyfikatorów modeli. Identyfikatory modeli są potrzebne do monitorowania aktywności i zachowania agentów z punktu widzenia bezpieczeństwa i zaufania. Jeśli nie zostaną one wdrożone i monitorowane prawidłowo, wykrywanie potencjalnych problemów (wydajności, bezpieczeństwa itp.) będzie bardzo trudne.

Jak powinniśmy się martwić o ataki na zatrucie danych w łańcuchach szkoleniowych sztucznej inteligencji i jakie są najlepsze strategie zapobiegania?

Zatrucie danych reprezentuje jeden ze sposobów wpływania na/ manipulowania modelami sztucznej inteligencji w trakcie ich cyklu życia. Zatrucie zwykle występuje, gdy aktor wstrzykuje szkodliwe dane do zestawu szkoleniowego. Jednak ważne jest, aby zauważyć, że poza jawnymi aktorami wrogimi, zatrucie danych może wystąpić z powodu błędów lub systemowych problemów w generowaniu danych. W miarę jak organizacje stają się coraz bardziej głodne danych i szukają danych w coraz to nowych miejscach (np. zlecając ręczne adnotowanie, kupując lub generując syntetyczne zestawy danych itp.), możliwość nieumyślnego zatrucia danych szkoleniowych rośnie i może nie zawsze być łatwo diagnozowana.

Celowanie w łańcuchy szkoleniowe jest podstawowym wektorem ataku używanym przez przeciwników zarówno do subtelnych, jak i jawnych wpływów. Manipulacja modelami sztucznej inteligencji może prowadzić do wyników, w tym fałszywych pozytywów, fałszywych negatywów i innych bardziej subtelnych wpływów, które mogą zmienić przewidywania sztucznej inteligencji.

Strategie zapobiegania obejmują rozwiązania techniczne, proceduralne i architektoniczne. Strategie proceduralne obejmują walidację/sanitację danych i oceny zaufania; strategie techniczne obejmują zastosowanie zabezpieczeń sztucznej inteligencji, takich jak federacyjne uczenie się; strategie architektoniczne obejmują wdrożenie zaufanych łańcuchów i wdrożenie solidnych monitorowań/powiadomień, które mogą ułatwić wykrywanie anomalii. Te modele są tak dobre, jak ich dane, nawet jeśli organizacja używa najnowszych i najlepszych narzędzi, więc zatrucie danych może stać się achillesową piętą dla nieprzygotowanych.

Jak mogą aktorzy złośliwi manipulować modelami sztucznej inteligencji po ich wdrożeniu, a jak przedsiębiorstwa mogą wykryć ingerencję na wczesnym etapie?

Dostęp do modeli sztucznej inteligencji po wdrożeniu jest zwykle uzyskiwany poprzez interfejs programistyczny (API), aplikację za pośrednictwem wbudowanego systemu i/lub portu-protokołu do urządzenia krawędziowego. Wczesne wykrywanie wymaga wczesnej pracy w cyklu życia oprogramowania (SDLC), zrozumienia istotnych technik manipulacji modelami oraz priorytetowych wektorów zagrożeń, aby opracować metody wykrywania i ochrony. Niektóre manipulacje modelami obejmują przejęcie interfejsu API, manipulację przestrzenią pamięci (czas wykonywania) i powolne/stopniowe zatrucie poprzez dryf modelu. Biorąc pod uwagę te metody manipulacji, niektóre wczesne strategie wykrywania mogą obejmować wykorzystanie telemetrii/monitorowania punktów końcowych (za pomocą Endpoint Detection and Response oraz Extended Detection and Response), wdrożenie bezpiecznych potoków inferencyjnych (np. obliczeń poufnych i zasad Zero Trust) oraz włączenie znakowania modelu/podpisania modelu.

Wstrzyknięcie polecenia jest rodziną ataków na modele, które występują po wdrożeniu i mogą być używane do różnych celów, w tym do pobierania danych w niewłaściwy sposób, ujawniania systemowych poleceń, których normalni użytkownicy nie powinni widzieć, oraz wywoływania odpowiedzi modelu, które mogą przedstawić organizację w negatywnym świetle. Istnieje wiele narzędzi na rynku, które pomagają ograniczyć ryzyko wstrzyknięcia polecenia, ale jak w przypadku reszty cyberbezpieczeństwa, jest to wyścig zbrojeń, w którym techniki ataku i obronne są stale aktualizowane.

Jak ramy bezpieczeństwa cybernetycznego tradycyjnie nie radzą sobie z unikalnymi ryzykami systemów sztucznej inteligencji?

Zwykle kojarzymy “ramy bezpieczeństwa cybernetycznego” z wytycznymi i standardami – np. NIST, ISO, MITRE itp. Niektóre z organizacji, które opracowały te ramy, opublikowały zaktualizowane wytyczne dotyczące ochrony systemów sztucznej inteligencji, co może być bardzo pomocne.

Sztuczna inteligencja nie czyni tych ram nieefektywnymi – nadal musisz rozwiązać wszystkie tradycyjne dziedziny bezpieczeństwa cybernetycznego – co może być konieczne, to zaktualizowanie procesów i programów (np. SDLC), aby rozwiązać nuansowanie związane z obciążeniami sztucznej inteligencji. Wbudowanie i zautomatyzowanie (w miarę możliwości) kontroli w celu ochrony przed wymienionymi wyżej wyrafinowanymi zagrożeniami jest najbardziej efektywnym i skutecznym sposobem postępowania.

Na poziomie taktycznym warto wspomnieć, że pełny zakres możliwych wejść i wyjść jest często znacznie większy niż w przypadku aplikacji niezwiązanych z sztuczną inteligencją, co tworzy problem skali dla tradycyjnych testów penetracyjnych i reguł opartych na wykrywaniu, stąd koncentracja na automatyzacji.

Jakie kluczowe elementy powinny być zawarte w strategii bezpieczeństwa cybernetycznego specjalnie zaprojektowanej dla organizacji wdrażających sztuczną inteligencję generatywną lub duże modele językowe?

Podczas opracowywania strategii bezpieczeństwa cybernetycznego dla wdrożenia sztucznej inteligencji generatywnej (GenAI) lub dużych modeli językowych (LLM), nie ma jednej uniwersalnej metody. Dużo zależy od ogólnych celów biznesowych organizacji, strategii IT, branży, śladu regulacyjnego, tolerancji ryzyka itp., a także od konkretnych przypadków użycia sztucznej inteligencji. Chatbot używany tylko wewnętrznie ma bardzo inny profil ryzyka niż agent, który mógłby wpłynąć na wyniki zdrowotne pacjentów, na przykład.

Mówiąc to, istnieją podstawy, które każda organizacja powinna rozważyć:

• Przeprowadź ocenę gotowości – ustanawia to bazę obecnych możliwości, a także identyfikuje potencjalne luki, biorąc pod uwagę priorytetowe przypadki użycia sztucznej inteligencji. Organizacje powinny zidentyfikować, gdzie istnieją already istniejące kontrole, które mogą być rozszerzone w celu rozwiązania wyrafinowanych ryzyk związanych z GenAI, oraz potrzebę wdrożenia nowych technologii lub ulepszenia obecnych procesów.
• Ustanów proces zarządzania sztuczną inteligencją – może to być nowy proces w organizacji lub modyfikacja bieżących programów zarządzania ryzykiem. Powinno to obejmować definiowanie funkcji włączania sztucznej inteligencji na poziomie przedsiębiorstwa oraz włączanie interesariuszy z całej firmy, IT, produktu, ryzyka, bezpieczeństwa cybernetycznego itp. w ramach struktury zarządzania. Dodatkowo, definiowanie/aktualizowanie odpowiednich polityk (polityki akceptowalnego użytkowania, polityki bezpieczeństwa chmury, zarządzanie ryzykiem technologii stron trzecich itp.) oraz ustanowienie wymagań szkoleniowych w celu wspierania umiejętności sztucznej inteligencji i bezpieczeństwa/szkolenia w organizacji.
• Ustanów zaufaną architekturę sztucznej inteligencji – wraz z utworzeniem platform i piaskowników sztucznej inteligencji, istniejące technologie, a także nowe rozwiązania (np. zapory ogniowe sztucznej inteligencji, bezpieczeństwo czasu wykonywania, ogrodzenia, zarządzanie cyklem życia modelu, ulepszone możliwości IAM itp.) będą musiały być zintegrowane z środowiskami deweloperskimi i wdrożeniowymi w sposób powtarzalny i skalowalny.
• Ulepsz SDLC – organizacje powinny zbudować ścisłe integracje między deweloperami sztucznej inteligencji a zespołami zarządzania ryzykiem, które pracują nad ochroną, zabezpieczeniem i budowaniem zaufania do rozwiązań sztucznej inteligencji. Obejmuje to ustanowienie jednolitego/standardowego zestawu bezpiecznych praktyk deweloperskich i wymagań kontroli, we współpracy z szerszymi zespołami deweloperskimi i przyjęcia sztucznej inteligencji.

Czy możesz wyjaśnić pojęcie “zapory ogniowej sztucznej inteligencji” w prosty sposób? Jak różni się od tradycyjnych zapór sieciowych?

Zapora ogniowa sztucznej inteligencji to warstwa bezpieczeństwa zaprojektowana do monitorowania i kontrolowania wejść i wyjść systemów sztucznej inteligencji – zwłaszcza dużych modeli językowych – w celu zapobiegania nadużyciom, ochrony wrażliwych danych i zapewnienia odpowiedzialnego zachowania sztucznej inteligencji. W przeciwieństwie do tradycyjnych zapór sieciowych, które chronią sieci, filtrując ruch na podstawie adresów IP, portów i znanych zagrożeń, zaporę ogniową sztucznej inteligencji koncentruje się na zrozumieniu i zarządzaniu interakcjami opartymi na języku naturalnym. Blokuje takie rzeczy, jak treści szkodliwe, wyciek danych, wstrzyknięcie polecenia i nieetyczne korzystanie z sztucznej inteligencji, stosując polityki, filtry świadome kontekstu i ogrodzenia specyficzne dla modelu. W istocie, podczas gdy tradycyjna zapora ogniowa chroni Twoją sieć, zapora ogniowa sztucznej inteligencji chroni Twoje modele sztucznej inteligencji i ich dane wyjściowe.

Czy istnieją obecnie branżowe standardy lub pojawiające się protokoły, które regulują korzystanie z zapór ogniowych sztucznej inteligencji lub ogrodzeń?

Protokół komunikacji modelu (MCP) nie jest powszechnym standardem, ale zyskuje on przyczółek w branży, aby pomóc rozwiązać rosnące obciążenie konfiguracyjne przedsiębiorstw, które muszą zarządzać różnorodnością rozwiązań sztucznej inteligencji/GenAI. MCP reguluje, w jaki sposób modele sztucznej inteligencji wymieniają informacje (w tym uczenie się), w tym integralność i weryfikację. Możemy myśleć o MCP jako o protokole TCP/IP dla modeli sztucznej inteligencji, co jest szczególnie przydatne w przypadku scentralizowanych, federacyjnych lub rozproszonych przypadków użycia. MCP jest obecnie ramą koncepcyjną, która jest realizowana za pomocą różnych narzędzi, badań i projektów.

Przestrzeń ta rozwija się bardzo dynamicznie i możemy się spodziewać, że ulegnie znaczącym zmianom w ciągu najbliższych kilku lat.

Jak sztuczna inteligencja zmienia dziedzinę wykrywania i reagowania na zagrożenia w porównaniu z okresem pięciu lat temu?

Obserwowaliśmy, jak komercyjne platformy centrów operacyjnych bezpieczeństwa (SOC) są modernizowane w różnym stopniu, wykorzystując ogromne, wysokiej jakości zestawy danych oraz zaawansowane modele sztucznej inteligencji i maszynowego uczenia, aby poprawić wykrywanie i klasyfikację zagrożeń. Dodatkowo wykorzystują one automatyzację, przepływ pracy i automatyczne funkcje usuwania, aby zredukować czas od wykrycia do złagodzenia. Ostatnio wprowadzono również funkcje współpilotów, aby dalej wspierać triage i odpowiedź.

Ponadto agenci są rozwijani, aby spełniać wybrane role w SOC. Przykładowo, zbudowaliśmy agenta “Digital Analyst” do wdrożenia w naszej własnej ofercie usług zarządzanych. Agent ten pełni rolę analityka poziomu pierwszego, triażując przychodzące alerty, dodając kontekst z informacji o zagrożeniach i innych źródeł, oraz rekomendując kroki odpowiedzi (na podstawie obszernych historii przypadków) dla naszych analityków, którzy następnie przeglądają, modyfikują (jeśli potrzeba) i podejmują działanie.

Jak widzisz ewolucję relacji między sztuczną inteligencją a bezpieczeństwem cybernetycznym w ciągu najbliższych 3-5 lat – czy sztuczna inteligencja będzie bardziej ryzykowna, czy rozwiązaniem?

W miarę jak sztuczna inteligencja ewoluuje w ciągu najbliższych 3-5 lat, może ona pomóc w bezpieczeństwie cybernetycznym, ale jednocześnie może również wprowadzać nowe ryzyka. Sztuczna inteligencja rozszerzy powierzchnię ataku i stworzy nowe wyzwania z punktu widzenia obrony. Dodatkowo, wrogie sztuczne inteligencje będą zwiększać wiarygodność, szybkość i skalę ataków, co stworzy dalsze wyzwania. Z drugiej strony, wykorzystanie sztucznej inteligencji w biznesie bezpieczeństwa cybernetycznego stwarza znaczące możliwości poprawy skuteczności, wydajności, zwinności i szybkości operacji cybernetycznych w większości dziedzin – ostatecznie tworząc scenariusz “walki ogniem z ogniem”.

Dziękujemy za wspaniały wywiad, czytelnicy mogą również chcieć odwiedzić Deloitte.