Kieran Norton, lider Deloitte US Cyber ​​AI & Automation – seria wywiadów

Kieran Norton dyrektor (partner) w Deloitte & Touche LLP, jest liderem w dziedzinie cybernetycznej sztucznej inteligencji i automatyzacji w Deloitte w USA. Kieran, mający ponad 25 lat bogatego doświadczenia i solidne zaplecze technologiczne, doskonale radzi sobie z pojawiającymi się ryzykami, zapewniając klientom strategiczne i pragmatyczne spostrzeżenia na temat cyberbezpieczeństwa i zarządzania ryzykiem technologicznym.

W ciągu DeloitteKieran kieruje działaniami transformacji AI w US Cyber ​​Practice. Nadzoruje projektowanie, rozwój i wdrażanie rozwiązań AI i automatyzacji na rynku, pomagając klientom zwiększać ich możliwości cybernetyczne i przyjmować technologie AI/Gen AI, jednocześnie skutecznie zarządzając powiązanymi ryzykami.

Zewnętrznie Kieran pomaga klientom rozwijać tradycyjne strategie bezpieczeństwa w celu wsparcia transformacji cyfrowej, modernizacji łańcuchów dostaw, skrócenia czasu wprowadzania produktów na rynek, obniżenia kosztów i osiągnięcia innych kluczowych celów biznesowych.

Wraz ze wzrostem autonomii agentów AI, jakie nowe kategorie zagrożeń cyberbezpieczeństwa pojawiają się, a których przedsiębiorstwa mogą jeszcze w pełni nie rozumieć?

Ryzyko związane z wykorzystaniem nowych technologii opartych na sztucznej inteligencji do projektowania, tworzenia, wdrażania i zarządzania agentami jest zrozumiałe — ich operacjonalizacja to zupełnie inna sprawa.

Agencja i autonomia agentów AI – zdolność agentów do postrzegania, decydowania, działania i działania niezależnie od ludzi – może stwarzać wyzwania w zakresie utrzymania widoczności i kontroli nad relacjami i interakcjami, jakie modele/agenci mają z użytkownikami, danymi i innymi agentami. W miarę jak agenci będą się mnożyć w przedsiębiorstwie, łącząc wiele platform i usług ze zwiększającą się autonomią i prawami decyzyjnymi, stanie się to coraz trudniejsze. Zagrożenia związane ze słabo chronioną, nadmierną lub ukrytą agencją/autonomią AI są liczne. Może to obejmować wyciek danych, manipulację agentami (poprzez natychmiastowe wstrzykiwanie itp.) i łańcuchy ataków agent-agent. Nie wszystkie z tych zagrożeń są tu i teraz, ale przedsiębiorstwa powinny zastanowić się, w jaki sposób będą sobie z nimi radzić, gdy przyjmą i rozwiną możliwości napędzane przez AI.

Zarządzanie tożsamością AI to kolejne ryzyko, które należy dokładnie rozważyć. Identyfikowanie, ustalanie i zarządzanie tożsamościami maszyn agentów AI stanie się bardziej złożone w miarę wdrażania i używania większej liczby agentów w przedsiębiorstwach. Ulotna natura modeli AI/składników modeli, które są wielokrotnie uruchamiane i rozbierane w różnych okolicznościach, spowoduje wyzwania w utrzymaniu tych identyfikatorów modeli. Tożsamości modeli są potrzebne do monitorowania aktywności i zachowania agentów zarówno z perspektywy bezpieczeństwa, jak i zaufania. Jeśli nie zostaną prawidłowo wdrożone i monitorowane, wykrywanie potencjalnych problemów (wydajności, bezpieczeństwa itp.) będzie bardzo trudne.

Jak bardzo powinniśmy obawiać się ataków polegających na zatruwaniu danych w procesach szkolenia sztucznej inteligencji i jakie są najlepsze strategie zapobiegania im?

Zatrucie danych stanowi jeden z kilku sposobów wpływania na modele AI / manipulowania nimi w cyklu życia rozwoju modelu. Zatrucie zwykle występuje, gdy zły aktor wstrzykuje szkodliwe dane do zestawu treningowego. Należy jednak pamiętać, że poza jawnymi aktorami antagonistycznymi, zatrucie danych może wystąpić z powodu błędów lub problemów systemowych w generowaniu danych. W miarę jak organizacje stają się bardziej głodne danych i szukają użytecznych danych w większej liczbie miejsc (np. w zleconych na zewnątrz ręcznych adnotacjach, zakupionych lub wygenerowanych syntetycznych zestawach danych itp.), prawdopodobieństwo nieumyślnego zatrucia danych treningowych rośnie i nie zawsze może być łatwo zdiagnozowane.

Celowanie w rurociągi szkoleniowe jest głównym wektorem ataku używanym przez przeciwników do subtelnego i jawnego wpływu. Manipulacja modelami AI może prowadzić do wyników obejmujących fałszywe pozytywy, fałszywe negatywy i inne bardziej subtelne ukryte wpływy, które mogą zmienić przewidywania AI.

Strategie zapobiegania obejmują wdrażanie rozwiązań technicznych, proceduralnych i architektonicznych. Strategie proceduralne obejmują walidację/dezynfekcję danych i oceny zaufania; strategie techniczne obejmują stosowanie ulepszeń bezpieczeństwa z technikami AI, takimi jak uczenie federacyjne; strategie architektoniczne obejmują wdrażanie potoków zerowego zaufania i wdrażanie solidnego monitorowania/ostrzegania, które mogą ułatwić wykrywanie anomalii. Te modele są tak dobre, jak ich dane, nawet jeśli organizacja korzysta z najnowszych i najlepszych narzędzi, więc zatruwanie danych może stać się piętą achillesową dla nieprzygotowanych.

W jaki sposób osoby o złych zamiarach mogą manipulować modelami sztucznej inteligencji po wdrożeniu i w jaki sposób przedsiębiorstwa mogą wcześnie wykrywać manipulacje?

Dostęp do modeli AI po wdrożeniu jest zazwyczaj osiągany poprzez dostęp do interfejsu programowania aplikacji (API), aplikacji za pośrednictwem systemu osadzonego i/lub za pośrednictwem protokołu portu do urządzenia brzegowego. Wczesne wykrywanie wymaga wczesnej pracy w cyklu życia oprogramowania (SDLC), zrozumienia odpowiednich technik manipulacji modelem, a także priorytetowych wektorów zagrożeń w celu opracowania metod wykrywania i ochrony. Niektóre manipulacje modelem obejmują przechwytywanie interfejsu API, manipulację przestrzeniami pamięci (środowisko wykonawcze) i powolne/stopniowe zatruwanie za pośrednictwem dryfu modelu. Biorąc pod uwagę te metody manipulacji, niektóre strategie wczesnego wykrywania mogą obejmować korzystanie z telemetrii/monitorowania punktu końcowego (za pośrednictwem Endpoint Detection and Response i Extended Detection and Response), wdrażanie bezpiecznych potoków wnioskowania (np. poufne przetwarzanie i zasady Zero Trust) oraz włączanie znakowania wodnego modelu/podpisywania modelu.

Wstrzyknięcie natychmiastowe to rodzina ataków modelowych, które występują po wdrożeniu i mogą być wykorzystywane do różnych celów, w tym do wyodrębniania danych w niezamierzony sposób, ujawniania monitów systemowych nieprzeznaczonych dla normalnych użytkowników i wywoływania odpowiedzi modelowych, które mogą rzucać negatywne światło na organizację. Na rynku dostępnych jest wiele narzędzi typu guardrail, które pomagają zmniejszyć ryzyko wstrzyknięcia natychmiastowego, ale podobnie jak w przypadku reszty cyberprzestrzeni, jest to wyścig zbrojeń, w którym techniki ataków i środki obronne są stale aktualizowane.

W jaki sposób tradycyjne ramy cyberbezpieczeństwa nie radzą sobie ze szczególnymi zagrożeniami związanymi z systemami sztucznej inteligencji?

Zazwyczaj kojarzymy „ramy cyberbezpieczeństwa” z wytycznymi i normami – np. NIST, ISO, MITRE itp. Niektóre organizacje stojące za tymi wytycznymi opublikowały zaktualizowane wytyczne dotyczące ochrony systemów AI, które mogą okazać się bardzo pomocne.

AI nie czyni tych ram nieskutecznymi – nadal musisz zająć się wszystkimi tradycyjnymi domenami cyberbezpieczeństwa – być może będziesz musiał zaktualizować swoje procesy i programy (np. SDLC), aby zająć się niuansami związanymi z obciążeniami AI. Osadzanie i automatyzowanie (jeśli to możliwe) kontroli w celu ochrony przed niuansowymi zagrożeniami opisanymi powyżej jest najskuteczniejszym i najefektywniejszym sposobem na przyszłość.

Na poziomie taktycznym warto wspomnieć, że pełen zakres możliwych danych wejściowych i wyjściowych jest często znacznie większy niż w przypadku zastosowań niebędących sztuczną inteligencją, co stwarza problem skali w przypadku tradycyjnych testów penetracyjnych i wykrywania opartego na regułach, stąd nacisk na automatyzację.

Jakie kluczowe elementy powinna zawierać strategia cyberbezpieczeństwa opracowana specjalnie dla organizacji wdrażających generatywną sztuczną inteligencję lub duże modele językowe?

Podczas opracowywania strategii cyberbezpieczeństwa w celu wdrożenia GenAI lub dużych modeli językowych (LLM) nie ma uniwersalnego podejścia. Wiele zależy od ogólnych celów biznesowych organizacji, strategii IT, koncentracji na branży, śladu regulacyjnego, tolerancji ryzyka itp., a także od konkretnych przypadków użycia AI, które są brane pod uwagę. Chatbot przeznaczony wyłącznie do użytku wewnętrznego ma zupełnie inny profil ryzyka niż agent, który mógłby mieć wpływ na wyniki zdrowotne pacjentów.

Mimo to istnieją podstawowe kwestie, którymi każda organizacja powinna się zająć:

• Przeprowadź ocenę gotowości—ustanawia to bazę obecnych możliwości, a także identyfikuje potencjalne luki, biorąc pod uwagę priorytetowe przypadki użycia AI. Organizacje powinny zidentyfikować, gdzie istnieją istniejące kontrole, które można rozszerzyć, aby zająć się niuansami ryzyka związanymi z GenAI i potrzebą wdrożenia nowych technologii lub ulepszenia obecnych procesów.
• Ustanowienie procesu zarządzania sztuczną inteligencją—może to być coś zupełnie nowego w organizacji lub modyfikacja obecnych programów zarządzania ryzykiem. Powinno to obejmować zdefiniowanie funkcji włączania AI w całym przedsiębiorstwie i wciągnięcie interesariuszy z całego biznesu, IT, produktu, ryzyka, cyberbezpieczeństwa itp. jako części struktury zarządzania. Ponadto należy uwzględnić zdefiniowanie/aktualizację odpowiednich zasad (zasady dopuszczalnego użytkowania, zasady bezpieczeństwa w chmurze, zarządzanie ryzykiem technologii stron trzecich itp.), a także ustanowienie wymogów L&D w celu wsparcia znajomości AI i bezpieczeństwa/ochrony AI w całej organizacji.
• Utwórz zaufaną architekturę AI—wraz z rozwojem platform AI/GenAI i środowisk testowych, istniejące technologie, a także nowe rozwiązania (np. zapory AI/zabezpieczenia środowiska wykonawczego, zabezpieczenia, zarządzanie cyklem życia modelu, ulepszone możliwości IAM itp.) będą musiały zostać zintegrowane ze środowiskami programistycznymi i wdrożeniowymi w powtarzalny, skalowalny sposób.
• Ulepsz SDLC—organizacje powinny budować ścisłe integracje między programistami AI a zespołami zarządzania ryzykiem pracującymi nad ochroną, zabezpieczeniem i budowaniem zaufania do rozwiązań AI. Obejmuje to ustanowienie jednolitego/standardowego zestawu bezpiecznych praktyk programistycznych i wymogów kontroli we współpracy z szerszymi zespołami ds. rozwoju i wdrażania AI.

Czy możesz wyjaśnić pojęcie „zapory AI” w prostych słowach? Czym różni się od tradycyjnych zapór sieciowych?

Zapora AI to warstwa bezpieczeństwa zaprojektowana do monitorowania i kontrolowania danych wejściowych i wyjściowych systemów AI — zwłaszcza dużych modeli językowych — w celu zapobiegania niewłaściwemu użyciu, ochrony poufnych danych i zapewnienia odpowiedzialnego zachowania AI. W przeciwieństwie do tradycyjnych zapór, które chronią sieci poprzez filtrowanie ruchu na podstawie adresów IP, portów i znanych zagrożeń, zapory AI koncentrują się na zrozumieniu i zarządzaniu interakcjami języka naturalnego. Blokują takie rzeczy, jak toksyczna zawartość, wyciek danych, natychmiastowe wstrzykiwanie i nieetyczne wykorzystanie AI, stosując zasady, filtry zależne od kontekstu i zabezpieczenia specyficzne dla modelu. Zasadniczo, podczas gdy tradycyjna zapora chroni Twoją sieć, zapora AI chroni Twoje modele AI i ich dane wyjściowe.

Czy istnieją obecnie jakieś standardy branżowe lub powstające protokoły regulujące korzystanie z zapór sieciowych lub zabezpieczeń przeznaczonych specjalnie dla sztucznej inteligencji?
Protokół komunikacji modelowej (MCP) nie jest uniwersalnym standardem, ale zyskuje na popularności w całej branży, aby pomóc rozwiązać rosnący ciężar konfiguracji przedsiębiorstw, które muszą zarządzać różnorodnością rozwiązań AI-GenAI. MCP reguluje sposób, w jaki modele AI wymieniają informacje (w tym naukę), w tym integralność i weryfikację. Możemy myśleć o MCP jako o stosie protokołu kontroli transmisji (TCP)/protokołu internetowego (IP) dla modeli AI, co jest szczególnie przydatne w przypadkach użycia scentralizowanego, federacyjnego lub rozproszonego. MCP jest obecnie ramą koncepcyjną, która jest realizowana za pomocą różnych narzędzi, badań i projektów.

Ta przestrzeń dynamicznie się zmienia i możemy się spodziewać, że w ciągu najbliższych kilku lat ulegnie ona znacznym zmianom.

W jaki sposób sztuczna inteligencja zmienia dziś dziedzinę wykrywania i reagowania na zagrożenia w porównaniu z sytuacją sprzed zaledwie pięciu lat?

Widzieliśmy, jak platformy centrów operacji bezpieczeństwa komercyjnego (SOC) modernizują się w różnym stopniu, wykorzystując ogromne zestawy danych wysokiej jakości wraz z zaawansowanymi modelami AI/ML w celu poprawy wykrywania i klasyfikacji zagrożeń. Ponadto wykorzystują automatyzację, przepływ pracy i możliwości automatycznej naprawy, aby skrócić czas od wykrycia do złagodzenia. Na koniec, niektórzy wprowadzili możliwości drugiego pilota, aby dodatkowo wspierać segregację i reagowanie.

Ponadto opracowuje się agentów, którzy mają wypełniać wybrane role w SOC. Jako praktyczny przykład zbudowaliśmy Analityk cyfrowy agent do wdrożenia w naszej własnej ofercie usług zarządzanych. Agent działa jako analityk pierwszego poziomu, sortując przychodzące alerty, dodając kontekst z informacji o zagrożeniach i innych źródeł oraz zalecając kroki reakcji (na podstawie obszernej historii przypadku) dla naszych analityków, którzy następnie dokonują przeglądu, modyfikują w razie potrzeby i podejmują działania.

Jak według Ciebie będzie się rozwijać relacja między sztuczną inteligencją a cyberbezpieczeństwem w ciągu najbliższych 3–5 lat? Czy sztuczna inteligencja będzie raczej zagrożeniem czy rozwiązaniem?
W miarę rozwoju AI w ciągu najbliższych 3-5 lat może ona pomóc w cyberbezpieczeństwie, ale jednocześnie może również wprowadzać zagrożenia. AI rozszerzy powierzchnię ataku i stworzy nowe wyzwania z perspektywy obronnej. Ponadto, przeciwstawna AI zwiększy wykonalność, szybkość i skalę ataków, co stworzy dalsze wyzwania. Z drugiej strony, wykorzystanie AI w biznesie cyberbezpieczeństwa stwarza znaczące możliwości poprawy skuteczności, wydajności, zwinności i szybkości operacji cybernetycznych w większości domen — ostatecznie tworząc scenariusz „zwalczania ognia ogniem”.

Dziękuję za wspaniały wywiad, czytelnicy mogą również chcieć odwiedzić Deloitte.