Strategie cyberbezpieczeństwa w tworzeniu agentów metodami niskokodowymi i wysokokodowymi

W miarę jak organizacje wdrażają agentów sztucznej inteligencji w różnych systemach biznesowych, szybkość tworzenia rozwiązań i nadzór nad bezpieczeństwem stają się ze sobą ściśle powiązane. Strategie cyberbezpieczeństwa dotyczące tworzenia agentów metodami niskokodowymi i wysokokodowymi muszą uwzględniać to, w jaki sposób każde z tych podejść zapewnia dostęp do informacji i umożliwia wykonywanie działań. Ukierunkowane zabezpieczenia mogą odpowiadać na te różnice, a wspólne zasady nadzoru pomagają utrzymać aktywność agentów w granicach zatwierdzonych zadań w miarę rozszerzania wdrożeń.

Czym różni się niskokodowe i wysokokodowe tworzenie agentów AI

Platformy niskokodowe pozwalają tworzyć agentów za pomocą interfejsów wizualnych i gotowych konektorów łączących usługi biznesowe. Tworzenie rozwiązań metodą wysokokodową daje programistom większą swobodę w określaniu zachowania agentów za pomocą własnego kodu, integracji z narzędziami i środowisk wykonawczych. W obu podejściach należy nadzorować, do jakich informacji agenci mają dostęp i jakie działania mogą wykonywać.

Zakres odpowiedzialności za bezpieczeństwo jest różny, ponieważ kontrola znajduje się w różnych miejscach. Osoby tworzące rozwiązania niskokodowe korzystają z ustawień platformy, które określają zasady udostępniania i dostępu przez konektory, dlatego decyzje konfiguracyjne mają szczególne znaczenie. Zespoły pracujące metodą wysokokodową ponoszą większą odpowiedzialność za oprogramowanie i środowiska, w których wykonywane są instrukcje agentów, w tym za wyznaczanie granic dostępu do plików i danych uwierzytelniających.

Agencja ds. Cyberbezpieczeństwa i Bezpieczeństwa Infrastruktury wskazuje na kilka zagrożeń związanych z agentową sztuczną inteligencją, które stanowią użyteczne ramy analizy dla obu podejść. Poszerzenie powierzchni ataku oznacza pojawienie się dodatkowych punktów wejścia, a niekontrolowane rozszerzanie uprawnień — stopniowe gromadzenie dostępu. Rozbieżność zachowania agenta z założeniami obejmuje odstępstwa od wyznaczonych zadań, a nieprzejrzyste rejestry zdarzeń utrudniają prowadzenie dochodzeń. Szeroko stosowany konektor i narzędzie wiersza poleceń bez ograniczeń mogą prowadzić do różnych odmian tych samych problemów.

Zagrożenia dla bezpieczeństwa agentów AI tworzonych metodą niskokodową i sposoby ich ograniczania

Dostępność narzędzi niskokodowych sprawia, że tworzenie agentów staje się możliwe także dla pracowników spoza tradycyjnych zespołów programistycznych. Nadzór nad bezpieczeństwem powinien obejmować również te osoby, aby wygodne połączenia z innymi systemami były zgodne z zatwierdzonymi zastosowaniami biznesowymi.

Ograniczenia bezpieczeństwa środowisk niskokodowych

Pracownicy tworzący rozwiązania bez przygotowania programistycznego mogą połączyć agenta ze współdzielonymi plikami lub aplikacjami biznesowymi, nie rozumiejąc w pełni jego uprawnień. Dostęp przyznany za pośrednictwem tych połączeń może narazić wrażliwe informacje na ujawnienie lub umożliwić działania wykraczające poza założony przepływ pracy. Szerokie udostępnianie i niejasny zakres odpowiedzialności mogą dodatkowo zwiększyć to ryzyko.

Skala wdrożeń sprawia, że ważny jest spójny nadzór we wszystkich działach. W analizie rynku z 2024 roku Forrester podaje, że 87% programistów w przedsiębiorstwach korzysta z platform niskokodowych przy niektórych pracach programistycznych. To ustalenie dotyczy ogółu prac programistycznych, a zatem pokazuje szeroki zasięg tych platform, ale nie mierzy konkretnie skali wdrażania agentów AI.

Praktyczne sposoby poprawy bezpieczeństwa agentów niskokodowych

Zespoły powinny sprawdzać, czy uprawnienia konektorów odpowiadają zadaniom przypisanym agentom, i stosować zasadę najmniejszych uprawnień. Centralny rejestr powinien zawierać informacje o właścicielu i połączonych usługach dla każdego wdrożenia, a w przypadku wrażliwych działań należy wymagać zatwierdzenia. Dzięki temu zespoły ds. bezpieczeństwa mogą wykrywać niezarejestrowanych agentów i badać przypadki niewłaściwego dostępu.

Podejście Microsoft do zarządzania danymi kładzie nacisk na kontrolowany dostęp do informacji biznesowych. Naveen Jangir, główny architekt w Microsoft Digital, zaleca organizacjom, by „zarządzały nimi i chroniły je za pomocą odpowiednich ograniczeń dostępu”. Te mechanizmy kontroli umożliwiają upoważnionym użytkownikom i funkcjom AI korzystanie z nich bez niepotrzebnego ujawniania w ramach ustalonych granic uprawnień. Stosowanie zasad dotyczących konektorów wraz z jasno przypisaną odpowiedzialnością może sprawić, że te ograniczenia staną się częścią codziennego procesu tworzenia rozwiązań.

Zagrożenia dla bezpieczeństwa agentów AI tworzonych metodą wysokokodową i sposoby ich ograniczania

Gdy zespoły korzystają z agentów AI do programowania, aby tworzyć niestandardowe systemy, generowane zmiany mogą pojawiać się szybciej, niż ludzie są w stanie je sprawdzić. Dlatego bezpieczeństwo rozwiązań wysokokodowych wymaga kontroli zarówno nad procesem tworzenia, jak i nad środowiskami, w których agenci wykonują zadania.

Szczególne wyzwania związane z bezpieczeństwem w tworzeniu rozwiązań wysokokodowych

Podczas odczytywania zewnętrznych repozytoriów zawierających instrukcje umieszczone przez atakujących agenci programistyczni mogą paść ofiarą pośredniego wstrzykiwania poleceń. Jeśli agent zastosuje się do takich instrukcji, mając dostęp do narzędzi programistycznych, może wykonać niebezpieczne polecenia lub ujawnić dane uwierzytelniające. Możliwe konsekwencje zależą częściowo od tego, do jakich plików, narzędzi i zewnętrznych lokalizacji agent może uzyskać dostęp w swoim środowisku wykonawczym.

Wytyczne NVIDIA dotyczące izolowania środowisk odnoszą się do ryzyka ujawnienia danych uwierzytelniających w granicach środowiska wykonawczego. Zgodnie z nimi „środowiska izolowane powinny korzystać z jawnego wstrzykiwania sekretów”, aby ograniczyć dostęp do danych uwierzytelniających. Dlatego agenci nie powinni dziedziczyć pełnego zestawu danych uwierzytelniających środowiska, jeśli do wykonania zadań potrzebują jedynie ograniczonego dostępu. Zespoły powinny przydzielać dane uwierzytelniające odpowiednie do konkretnego zadania i przechowywać pozostałe, niezwiązane z nim sekrety poza zasięgiem agenta.

Strategie wzmacniania potoków agentów tworzonych z użyciem kodu

Ograniczone środowiska wykonywania powinny kontrolować dostęp do plików i połączeń wychodzących stosownie do wykonywanego zadania. Zespoły powinny również przeprowadzać statyczne testy bezpieczeństwa aplikacji wygenerowanego kodu. Niezależni recenzenci powinni sprawdzać decyzje dotyczące autoryzacji lub logikę biznesową, które mogą umknąć zautomatyzowanym kontrolom. Te warstwy zabezpieczeń chronią granice środowiska wykonywania i ograniczają słabości powstającego oprogramowania.

Amazon Web Services zaleca w swoich wytycznych dotyczących kontroli agentów programistycznych oddzielenie generowania kodu od jego oceny. Zwraca uwagę, że „osobna sesja pomaga uniknąć błędu autopotwierdzenia”. Jednak dwie sesje korzystające z tego samego modelu mogą mieć te same ukryte słabe punkty podczas przeglądu. Jeśli to możliwe, dodatkową kontrolę mogą zapewnić inny model dokonujący przeglądu oraz udział człowieka w ocenie zmian istotnych z punktu widzenia bezpieczeństwa.

Tworzenie strategii bezpieczeństwa obejmującej oba podejścia

Bezpieczeństwo AI w rozwoju agentów metodami low-code i high-code wymaga wspólnego obrazu aktywności wszędzie tam, gdzie agenci wymieniają informacje. Na przykład przepływ pracy low-code może przekazywać treści do agenta stworzonego na zamówienie, który następnie wywołuje inną usługę biznesową. Analizowanie każdego komponentu z osobna może pozbawić zespoły ds. bezpieczeństwa kontekstu niezbędnego do zrozumienia całej sekwencji.

Eksperci ds. bezpieczeństwa AI z Darktrace uważają, że organizacje muszą analizować polecenia i sesje wraz z odpowiedziami w korporacyjnych narzędziach generatywnej AI, niezależnie od tego, które z obu podejść do rozwoju zastosowano. Ich perspektywa obejmuje również oprogramowanie jako usługę oraz środowiska wykorzystujące architekturę bezpiecznego brzegu dostępu do usług. Dzięki takiej widoczności organizacje zyskują kontekst, który pozwala im „wykrywać wyrafinowane, konwersacyjne ataki z użyciem poleceń oraz złośliwe łańcuchy działań”.

Wnioski Darktrace przemawiają za szerszą strategią bezpieczeństwa AI w rozwoju agentów metodami low-code i high-code, ponieważ wgląd w polecenia, monitorowanie sesji i nadzór nad tożsamością pomagają zespołom zrozumieć, jak agenci współdziałają za pośrednictwem połączonych narzędzi. Zespoły ds. bezpieczeństwa powinny sprawdzać, jak instrukcje zmieniają się w kolejnych połączonych sesjach oraz czy późniejsze działania pozostają zgodne z pierwotną autoryzacją. Powinny także uwzględnić wrażliwość informacji zachowywanych na potrzeby dochodzenia.

Zarządzanie i monitorowanie na rzecz długoterminowego bezpieczeństwa agentów AI

Każdy agent powinien mieć przypisaną osobę odpowiedzialną oraz jasno określony zakres dozwolonych zadań, niezależnie od metody jego tworzenia. Zasady zarządzania powinny również wskazywać, kto może zatwierdzać zmiany tego zakresu i kto może wstrzymać działanie agenta, gdy zachowuje się on nieoczekiwanie.

Badania nad zarządzaniem agentami wskazują, że aby zapewnić taką rozliczalność, agenci potrzebują uprawnień, które można uwierzytelnić i poddać audytowi. Takie podejście łączy osobę udzielającą uprawnień z zadaniami, które agent może wykonywać. Organizacje mogą wówczas sprawdzić, czy dane działanie mieści się w zakresie tych uprawnień.

Zespoły powinny prowadzić rejestry aktywności łączące delegowane uprawnienia z wykorzystaniem narzędzi i uzyskanymi rezultatami. Podczas okresowych przeglądów należy ponownie oceniać te uprawnienia w miarę zmiany możliwości agentów, usuwać dostęp pozostały po zakończonych zadaniach i potwierdzać aktualność przypisanej odpowiedzialności. Dzięki tym przeglądom zespoły programistyczne i ds. bezpieczeństwa mogą dbać o zgodność kontroli operacyjnych z zatwierdzonym przeznaczeniem agenta.

Wyprzedzanie zagrożeń dla bezpieczeństwa agentów AI

Rozwój low-code wymaga starannego zarządzania uprawnieniami platform i konektorami, natomiast w rozwoju high-code szczególną uwagę trzeba poświęcić niestandardowym środowiskom wykonywania i przeglądowi kodu. Scentralizowane monitorowanie i spójna odpowiedzialność tworzą wspólną podstawę nadzoru nad dostępem agentów do informacji i ich działaniami w połączonych systemach biznesowych. Wraz z rozszerzaniem możliwości agentów programiści powinni ponownie oceniać zabezpieczenia i dostosowywać je do zmian w narzędziach oraz obowiązkach agentów, dbając o to, by dozwolone działania każdego wdrożonego agenta były jasno określone przez cały cykl jego życia.