Jonathan Zanger, Chief Technology Officer w firmie Check Point – seria wywiadów

Jonathan Zanger, Chief Technology Officer w firmie Check Point, posiada rzadką kombinację doświadczenia w wywiadzie wojskowym, głębokiej wiedzy na temat sztucznej inteligencji oraz doświadczenia w zarządzaniu na poziomie operacyjnym w firmach start-up oraz korporacjach. Przed objęciem obecnej funkcji pełnił funkcję CTO w firmie Trigo, gdzie kierował rozwojem systemów sztucznej inteligencji i komputerowego wzroku, umożliwiających bezproblemową sprzedaż detaliczną i zapobieganie stratom w skali dużych przedsiębiorstw, jednocześnie dopasowując produkty i badania do potrzeb komercyjnych. Wcześniej pełnił wyższe role w dziale badań i rozwoju w firmie Trigo i spędził ponad dekadę w elitarnym izraelskim oddziale 8200, gdzie ostatecznie kierował działem badań i rozwoju cyberbezpieczeństwa, odpowiedzialnym za inicjatywy na poziomie krajowym, i otrzymał najwyższe uznanie za swoją pracę.

Check Point Software Technologies (CHKP ) to światowy lider w dziedzinie cyberbezpieczeństwa, dostarczający rozwiązania zabezpieczeń oparte na sztucznej inteligencji i chmurze, zaprojektowane w celu ochrony przedsiębiorstw i rządów przed coraz bardziej złożonymi zagrożeniami cyfrowymi. Firma obsługuje ponad 100 000 organizacji na całym świecie, oferując kompleksową platformę, która zabezpiecza sieci, środowiska chmury, punkty końcowe i użytkowników za pomocą podejścia opartego na zapobieganiu, które ma na celu zatrzymanie ataków przed ich wystąpieniem. Zintegrowana architektura wykorzystuje sztuczną inteligencję i bieżące informacje o zagrożeniach w czasie rzeczywistym, aby uproszczyć operacje zabezpieczeń, zmniejszyć ryzyko i umożliwić organizacjom bezpieczne skalowanie wraz z przyjęciem sztucznej inteligencji, chmury obliczeniowej i systemów rozproszonych.

Prowadziłeś duże inicjatywy związane z cyberbezpieczeństwem i sztuczną inteligencją, budowałeś systemy oparte na sztucznej inteligencji w firmie Trigo, a teraz nadzorujesz strategię sztucznej inteligencji w firmie Check Point. Jakie konkretnie tryby awarii obserwowałeś, gdy systemy sztucznej inteligencji przechodzą z kontrolowanych środowisk do produkcji, szczególnie gdy mają dostęp do narzędzi i danych przedsiębiorstwa?

Dwie rzeczy zmieniają się fundamentalnie w produkcji. Po pierwsze, skala zmienia przypadki brzegowe w codzienne wydarzenia. Współczynnik fałszywych pozytywów na poziomie 0,1 procent brzmi doskonale w laboratorium, ale gdy przetwarza się miliony interakcji, przekłada się to na tysiące incydentów, które wymagają uwagi. Statystyczne odstępstwa w testach stają się rzeczywistościami operacyjnymi w skali.

Po drugie, produkcja oznacza ekspozycję na nieprzyjazne działania. W kontrolowanym środowisku dane wejściowe są łagodne i przewidywalne. W świecie rzeczywistym niektórzy użytkownicy i aktorzy zagrożeń będą aktywnie próbowali oszukać system, wykorzystując każdy dostępny kanał danych, aby manipulować jego zachowaniem. Przejście od demonstracji do produkcji nie jest problemem skalowania. Jest to przejście od środowiska współpracy do środowiska kontestowanego, co wymaga fundamentalnie innych założeń dotyczących projektowania.

W systemach agencji, w których modele mogą wywoływać interfejsy API, wykonywać kod i łączyć działania, jakie są najbardziej krytyczne powierzchnie ataku, których zespoły bezpieczeństwa nadal nie monitorują odpowiednio?

Najbardziej krytyczna powierzchnia, którą większość zespołów niedocenia, to sama dane. Systemy agencji rutynowo dostęp do niezaufanych źródeł danych — przychodzących e-maili, stron internetowych, biletów Jira, kodu open-source, zewnętrznej dokumentacji. Dane te są pobierane i analizowane przez modele w ramach ich procesu rozumowania.

To stwarza dwa konkretnych ryzyka. Po pierwsze, zatrucie pamięci — gdzie manipulowane treści subtelnie kształtują przyszłe odpowiedzi i decyzje modelu bez żadnej oczywistej iniekcji podpowiedzi. Po drugie, pośrednia iniekcja podpowiedzi — gdzie instrukcje przeciwnika są osadzane w tych zewnętrznych danych i skutecznie wyłamują model z wnętrza. Atakujący nigdy nie dotyka bezpośrednio podpowiedzi. Po prostu sadzą instrukcje, gdzie agent je znajdzie.

Wstrzyknięcie podpowiedzi jest często przedstawiane jako problem modelu, ale w praktyce staje się problemem na poziomie systemu. Jak przedsiębiorstwa powinny przebudować swoją architekturę, aby izolować dane wejściowe modelu, wykonywanie narzędzi i dostęp do wrażliwych danych?

Wstrzyknięcie podpowiedzi nie jest powszechnym problemem z powszechnym rozwiązaniem. Czy dany wprowadzony input jest prawidłowy czy nieprzyjazny, zależy całkowicie od kontekstu. Poproszenie agenta o “zmianę hasła administratora” jest doskonale uzasadnione, jeśli jest to agent techniczny. Taki sam wniosek do czatbota sklepu internetowego jest atakiem.

Dlatego architektura ma większe znaczenie niż jakakolwiek pojedyncza technika wykrywania. Systemy potrzebują mechanizmów deterministycznych i niedeterministycznych, które działają razem. Kontrole deterministyczne zarządzają dostępem do narzędzi i danych na podstawie tożsamości agenta, tożsamości użytkownika i określonej roli systemu. Kontrole oparte na modelu, niedeterministyczne, dodają możliwość zrozumienia języka, kontekstu i intencji. Potrzebne są obie warstwy — sztywne egzekwowanie polityki i inteligentne rozumowanie kontekstowe — ponieważ żadna z nich sama w sobie nie jest wystarczająca.

Wiele agentów sztucznej inteligencji opiera się na wzmocnionym pobieraniu i zewnętrznych źródłach danych. Jakie ryzyka wiążą się z zatruciem danych i manipulacją kontekstem w tych potokach, i jak można je złagodzić w czasie rzeczywistym?

Ryzyka różnią się w zależności od kierunku przepływu danych. Dla wewnętrznych źródeł danych głównym ryzykiem jest wyciek wrażliwych danych — ujawnienie informacji o osobach, współdzielanie danych między klientami, ujawnianie wewnętrznych informacji nieuprawnionym stronom. Dla zewnętrznych źródeł danych ryzyka obejmują tendencyjność modelu z powodu niezweryfikowanych informacji, pośrednią iniekcję podpowiedzi osadzoną w pobranych treściach oraz uzależnienie się od niewiarygodnych lub manipulowanych źródeł.

Łagodzenie musi nastąpić na poziomie transakcji, w czasie rzeczywistym. Każda interakcja agencji musi być zabezpieczona w obu kierunkach: zapewniając, że wrażliwe dane nie są przeciekające z wnętrza na zewnątrz, oraz zapewniając, że zatrute lub nieprzyjazne informacje nie są wprowadzane z zewnątrz do systemu lub modelu. Nie można rozwiązać tego problemu tylko na etapie pobierania, ponieważ kontekst jest dynamiczny, a pejzaż zagrożeń zmienia się ciągle.

Twoja płaszczyzna obrony sztucznej inteligencji wprowadza zunifikowaną warstwę kontroli na poziomie użycia sztucznej inteligencji przez pracowników, aplikacji i systemów agencji. Jakie były największe wyzwania architektoniczne przy budowaniu systemu, który może obserwować i egzekwować politykę na tak fragmentarycznej stosie sztucznej inteligencji?

Wierzymy, że w niedalekiej przyszłości obciążenia agencji będą się rozciągać na punkty końcowe, aplikacje, usługi SaaS i obciążenia chmury — wszystkie są hiperpołączone w tym, co nazywamy “Internetem Agencji”. Pomysł za płaszczyzną obrony sztucznej inteligencji polega na odkryciu, zarządzaniu i ochronie ewoluującej infrastruktury agencji przedsiębiorstwa w ramach jednej szyby.

Głównym wyzwaniem architektonicznym jest dynamiczna ocena profilu ryzyka i kontekstu każdej agencji, jednocześnie rozwijając skuteczną ochronę w czasie rzeczywistym dla każdej transakcji agencji. Oznacza to utrzymanie wysokich współczynników blokowania wobec prawdziwych zagrożeń, jednocześnie minimalizując fałszywe pozytywy — na poziomie produkcji i skali, w wielu środowiskach uruchomieniowych. Budowanie systemu, który może obserwować i egzekwować politykę w sposób spójny na tak fragmentarycznej i dynamicznie ewoluującej stosie sztucznej inteligencji, wymagało od nas przemyślenia, jak abstrahujemy i oceniamy działanie sztucznej inteligencji na poziomie podstawowym.

Płaszczyzna podkreśla podejmowanie decyzji w czasie rzeczywistym na poziomie maszynowym w różnych językach i przepływach pracy. Jak balansujesz ograniczenia opóźnienia z potrzebą głębokiej inspekcji i kontroli działań napędzanych sztuczną inteligencją w środowiskach produkcyjnych?

Rozwijamy i trenujemy modele podstawowe specjalnie do prewencji zagrożeń, a następnie wykorzystujemy techniki destylacji, aby uczynić je niezwykle wydajnymi. Pozwala nam to na szybkie uruchamianie wnioskowania z minimalnym obliczeniem — nawet na procesorach CPU lub kompatybilnych GPU — przy zachowaniu pokrycia wielojęzycznego i wielomodalnego, w tym analizy obrazu i audio, z maksymalną dokładnością.

Podejście to pozwala nam głęboko inspekcjonować transakcje agencji bez stawania się wąskim gardłem. Zabezpieczenia, które wprowadzają nieakceptowalne opóźnienia, będą omijane. Zabezpieczenia, które są niewidoczne dla przepływu pracy, ale egzekwują znaczące kontrole, są tym, co jest naprawdę wdrożone i pozostaje wdrożone.

Agenci sztucznej inteligencji coraz częściej działają z delegowanymi uprawnieniami w wielu systemach. Jak organizacje powinny przemyśleć zarządzanie tożsamością i dostępem dla nie-ludzkich aktorów, szczególnie gdy agenci dynamicznie rozszerzają swój zakres za pomocą użycia narzędzi?

Błąd, który popełnia większość organizacji, polega na traktowaniu agentów sztucznej inteligencji albo jako rozszerzeń użytkowników, albo jako tradycyjnych kont serwisowych. Żadne z tych modeli nie pasuje. Traktuj ich jako cyfrowych pracowników — jednostek z określonymi rolami, odpowiedzialnościami i granicami.

Tożsamość agenta powinna być określona przez trzy wymiary: konkretny przepływ pracy, który agent wykonuje, użytkownik, który włada lub tworzy agenta, oraz użytkownik, który w danej chwili wchodzi w interakcję z nim. Wszystkie trzy czynniki kształtują to, co agent powinien być w stanie wykonać. Poza tym organizacje muszą zastosować zasady zero-trust wobec agentów — nigdy nie zaufaj na podstawie pochodzenia, ciągle weryfikuj zachowanie i egzekwuj dostęp z najmniejszymi uprawnieniami na każdym etapie. Bez tego agenci będą cicho gromadzić więcej autorytetu, niż ktokolwiek miał zamiar.

Większość przedsiębiorstw ma obecnie ukryte użycie sztucznej inteligencji wśród kopilotów, wtyczek i skryptów wewnętrznych. Jakie dane telemetryczne zespoły bezpieczeństwa powinny gromadzić, aby uzyskać prawdziwą widoczność w zakresie, w jaki sztuczna inteligencja wchodzi w interakcje z wrażliwymi danymi?

Widoczność musi działać na poziomie transakcji agencji — nie tylko podpowiedzi i odpowiedzi, ale także wywołania narzędzi, danych zwróconych przez te narzędzia oraz działań podjętych w wyniku. Zespoły bezpieczeństwa muszą zobaczyć pełną sekwencję: co zostało zapytane, jakie dane zostały uzyskane, jakie narzędzia zostały wywołane, jakie parametry zostały przekazane i co się później wydarzyło.

Bez tej telemetrycznej widoczności na poziomie transakcji nie można odpowiedzieć na podstawowe pytania dotyczące narażenia, nadużycia lub wpływu. Ukryta sztuczna inteligencja nie jest niebezpieczna, ponieważ istnieje. Jest niebezpieczna, ponieważ działa bez tego poziomu zarządzania lub wglądu.

Czerwona drużyna systemów agencji jest fundamentalnie inna niż testowanie statycznych aplikacji. Jak symulujesz zachowania przeciwnika w wieloetapowych przepływach pracy, i jakie typy eksploitów są najczęściej odkrywane?

Prowadzimy Gandalfa (https://gandalf.lakera.ai), który jest największym ćwiczeniem czerwonej drużyny sztucznej inteligencji na świecie. Jest to platforma crowd-sourced, na której prawdziwi użytkownicy próbują przekonać agenci sztucznej inteligencji do złamania ich barier. Daje nam to unikalny i ciągle rosnący zestaw danych o rzeczywistych taktykach przeciwnika — nie teoretycznych atakach, ale strategiach, których ludzie używają do manipulowania systemami sztucznej inteligencji.

Wykorzystujemy ten zestaw danych, aby napędzać nasze możliwości czerwonej drużyny. Ataki, które widzimy najczęściej, obejmują użytkowników, którzy stopniowo przekonują agenci do złamania ich ograniczeń — za pomocą pośredniej iniekcji podpowiedzi, kreatywnego przekształcania, manipulacji kontekstem i stopniowego wykorzystania zaufania w interakcjach wieloetapowych. Te problemy są niewidoczne, jeśli testuje się tylko pojedyncze podpowiedzi. Trzeba testować sekwencje i zrównoważone kampanie przeciwnika.

Gdy atakujący zaczynają używać autonomicznych agentów do sondowania systemów w sposób ciągły, czy oczekujesz, że obrona przesunie się w kierunku adaptacyjnych kontroli w czasie rzeczywistym, napędzanych sztuczną inteligencją, i jak wygląda ta architektura w praktyce?

Tak. Statyczne obrony nie mogą dotrzymać kroku autonomicznym atakom działającym w sposób ciągły. Obrona musi stać się adaptacyjna, napędzana w czasie rzeczywistym i zautomatyzowana. Oznacza to monitorowanie zachowania sztucznej inteligencji w czasie rzeczywistym, ciągłą ocenę ryzyka i natychmiastowe egzekwowanie, gdy polityki są naruszone. Szybkość i skala ataków napędzanych sztuczną inteligencją będą kontrastowane tylko przez równie szybkie, maszynowe obrony.

W praktyce zabezpieczenia stają się pętlą sprzężenia zwrotnego, a nie zestawem reguł. Systemy sztucznej inteligencji są obserwowane, oceniane i ograniczane dynamicznie, z taką samą szybkością i skalą, z jaką działają. Ten przesunięcie jest niezbędne, jeśli organizacje chcą wdrożyć sztuczną inteligencję w sposób bezpieczny na poziomie przedsiębiorstwa.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Check Point Software Technologies.