Niepozorny imperatyw: dlaczego tradycyjne modele bezpieczeństwa zawodzą, gdy agenci AI dotykają kodu

W kwietniu 2023, Samsung odkrył, że jego inżynierowie ujawnili poufne informacje firmie ChatGPTAle to był przypadek. Wyobraź sobie, że te repozytoria kodu zawierałyby celowo umieszczone instrukcje, niewidoczne dla ludzi, ale przetwarzane przez sztuczną inteligencję, zaprojektowane w celu wyodrębnienia nie tylko kodu, ale także każdego klucza API, danych uwierzytelniających bazy danych i tokena usługi, do których sztuczna inteligencja mogłaby uzyskać dostęp. To nie jest hipotetyczne. Badacze bezpieczeństwa już wykazali, Te ataki z „niewidzialną instrukcją” działają. Pytanie nie brzmi, czy to się stanie, ale kiedy.

Granica, która już nie istnieje

Przez dekady budowaliśmy bezpieczeństwo w oparciu o fundamentalne założenie: kod to kod, a dane to dane. Ataki typu SQL injection nauczyły nas parametryzować zapytania. Ataki typu cross-site scripting nauczyły nas uciekać od wyników. Nauczyliśmy się budować bariery między tym, co robią programy, a tym, co wprowadzają użytkownicy.

Dzięki agentom AI granica ta zatarła się.

W przeciwieństwie do deterministycznego oprogramowania, które podąża przewidywalnymi ścieżkami, Duże Modele Językowe (LJM) to probabilistyczne czarne skrzynki, które nie potrafią odróżnić prawidłowych instrukcji programisty od złośliwych danych wejściowych. Kiedy atakujący przekazuje polecenie asystentowi programistycznemu AI, nie tylko dostarcza dane. W istocie przeprogramowuje aplikację „w locie”. Dane wejściowe stały się samym programem.

Stanowi to fundamentalne odejście od wszystkiego, co wiemy o bezpieczeństwie aplikacji. Tradycyjne zapory sieciowe oparte na składni, które wyszukują złośliwe wzorce, takie jak DROP TABLE lub tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Rzeczywistość Zero-Click, o której nikt nie mówi

Oto, czego większość zespołów ds. bezpieczeństwa nie rozumie: natychmiastowe wstrzyknięcie kodu nie wymaga od użytkownika wpisywania czegokolwiek. Często są to exploity bez kliknięcia. Agent AI, który po prostu skanuje repozytorium kodu w poszukiwaniu rutynowego zadania, przegląda żądanie ściągnięcia (pull request) lub czyta dokumentację API, może wywołać atak bez żadnej interakcji z człowiekiem.

Rozważmy ten scenariusz, w oparciu o techniki, które badacze już udowodnili: Złośliwy atakujący osadza niewidoczne instrukcje w komentarzach HTML w dokumentacji popularnej biblioteki open source. Każdy asystent sztucznej inteligencji analizujący ten kod, czy to GitHub Copilot, Amazon CodeWhisperer, czy jakikolwiek asystent kodowania dla przedsiębiorstw, staje się potencjalnym zbieraczem danych uwierzytelniających. Jedna skompromitowana biblioteka może oznaczać tysiące narażonych środowisk programistycznych.

Zagrożeniem nie jest sam LLM, ale agencja, którą mu dajemy. W momencie, gdy zintegrowaliśmy te modele z narzędziami i interfejsami API, umożliwiając im pobieranie danych, wykonywanie kodu i dostęp do poufnych informacji, przekształciliśmy pomocnych asystentów w idealne wektory ataku. Ryzyko nie skaluje się wraz z inteligencją modelu, lecz wraz z jego łącznością.

Dlaczego obecne podejście jest skazane na porażkę

Branża jest obecnie zafascynowana „dopasowywaniem” modeli i budowaniem lepszych, szybkich zapór sieciowych. OpenAI dodaje więcej zabezpieczeń. Anthropic koncentruje się na konstytucyjnej sztucznej inteligencji. Wszyscy próbują tworzyć modele, których nie da się oszukać.

To jest przegrana walka.

Jeśli sztuczna inteligencja jest wystarczająco inteligentna, by być użyteczna, to jest wystarczająco inteligentna, by dać się oszukać. Wpadamy w to, co nazywam „pułapką sanityzacji”: zakładamy, że lepsze filtrowanie danych wejściowych nas uratuje. Ataki mogą być jednak ukryte jako niewidoczny tekst w komentarzach HTML, głęboko zakopane w dokumentacji lub zakodowane w sposób, którego jeszcze sobie nie wyobrażamy. Nie da się sanityzować czegoś, czego nie da się zrozumieć kontekstowo, a kontekst to właśnie to, co czyni LLM tak potężnym.

Branża musi pogodzić się z trudną prawdą: szybkie zastrzyki przyniosą sukces. Pytanie brzmi, co się stanie, gdy to nastąpi.

Zmiana architektoniczna, której potrzebujemy

Obecnie jesteśmy w „fazie poprawek”, desperacko dodając filtry wejściowe i reguły walidacji. Ale tak jak w końcu dowiedzieliśmy się, że zapobieganie atakom typu SQL injection wymaga sparametryzowanych zapytań, a nie lepszego uciekania ciągów znaków, tak teraz potrzebujemy rozwiązania architektonicznego dla bezpieczeństwa sztucznej inteligencji.

Odpowiedź tkwi w zasadzie, która brzmi prosto, ale wymaga przemyślenia na nowo sposobu tworzenia systemów: agenci AI nigdy nie powinni posiadać sekretów, z których korzystają.

Nie chodzi tu o lepsze zarządzanie uprawnieniami ani o ulepszone rozwiązania do przechowywania danych w sejfach. Chodzi o rozpoznawanie agentów AI jako unikalnych, weryfikowalnych tożsamości, a nie użytkowników potrzebujących haseł. Gdy agent AI potrzebuje dostępu do chronionego zasobu, powinien:

1. Uwierzytelnij się, korzystając z weryfikowalnej tożsamości (a nie przechowywanego sekretu)

2. Otrzymuj poświadczenia just-in-time, ważne wyłącznie dla tego konkretnego zadania

3. Spraw, aby te dane uwierzytelniające wygasały automatycznie w ciągu kilku sekund lub minut

4. Nigdy nie przechowuj ani nawet nie „oglądaj” długotrwałych tajemnic

Pojawiają się różne podejścia. Role AWS IAM dla kont usługowych, Tożsamość obciążenia Google, Dynamiczne sekrety HashiCorp Vault, a także specjalnie zaprojektowane rozwiązania, takie jak Zero Trust Provisioning firmy Akeyless, wskazują na tę pozbawioną sekretów przyszłość. Szczegóły wdrożenia różnią się, ale zasada pozostaje ta sama: jeśli sztuczna inteligencja nie ma sekretów do wykradzenia, natychmiastowe wstrzyknięcie danych staje się znacznie mniejszym zagrożeniem.

Środowisko programistyczne 2027

Za trzy lata plik .env przestanie być wykorzystywany w programach wspomaganych sztuczną inteligencją. Długowieczne klucze API, przechowywane w zmiennych środowiskowych, będą widoczne, gdy będziemy teraz przeglądać hasła w postaci zwykłego tekstu: to żenujący relikt z bardziej naiwnych czasów.

Zamiast tego każdy agent AI będzie działał w ramach ścisłego rozdziału uprawnień. Dostęp tylko do odczytu będzie domyślny. Biała lista działań będzie standardem. Środowiska uruchomieniowe w trybie sandbox jako wymóg zgodności. Przestaniemy próbować kontrolować, co myśli AI, a skupimy się wyłącznie na kontrolowaniu tego, co może zrobić.

To nie tylko ewolucja techniczna; to fundamentalna zmiana w modelach zaufania. Przechodzimy od zasady „ufaj, ale weryfikuj” do zasady „nigdy nie ufaj, zawsze weryfikuj i zakładaj kompromis”. Zasada najmniejszych uprawnień, od dawna głoszona, ale rzadko stosowana, staje się niepodlegająca negocjacjom, gdy Twój młodszy programista jest sztuczną inteligencją przetwarzającą tysiące potencjalnie złośliwych danych wejściowych dziennie.

Wybór, przed którym stoimy

Integracja sztucznej inteligencji z rozwojem oprogramowania jest nieunikniona i bardzo korzystna. GitHub informuje, że programiści korzystający z Copilota wykonują zadania o 55% szybciejWzrost produktywności jest realny i żadna organizacja, która chce pozostać konkurencyjna, nie może go zignorować.

Ale stoimy na rozdrożu. Możemy kontynuować obecną drogę, dodając więcej zabezpieczeń, budując lepsze filtry i mając nadzieję, że uda nam się stworzyć agentów AI, których nie da się oszukać. Albo możemy uznać fundamentalną naturę zagrożenia i odpowiednio przebudować naszą architekturę bezpieczeństwa.

Incydent w Samsungu był sygnałem ostrzegawczym. Kolejne naruszenie bezpieczeństwa nie będzie przypadkowe i nie ograniczy się do jednej firmy. Wraz z rozwojem możliwości agentów AI i dostępem do większej liczby systemów, potencjalny wpływ będzie rosnąć wykładniczo.

Pytanie dla każdego CISO, każdego lidera inżynierii i każdego programisty jest proste: kiedy natychmiastowe wstrzyknięcie danych w Twoim środowisku się powiedzie (a na pewno tak się stanie), co odkryje atakujący? Czy odkryje skarbnicę długowiecznych danych uwierzytelniających, czy też znajdzie agenta AI, który pomimo włamania nie ma żadnych sekretów do ukradzenia?

Wybór, którego dokonamy teraz, zadecyduje o tym, czy sztuczna inteligencja stanie się największym akceleratorem rozwoju oprogramowania, czy największą luką w zabezpieczeniach, jaką kiedykolwiek stworzyliśmy. Technologia umożliwiająca budowę bezpiecznych, nieujawniających informacji systemów sztucznej inteligencji istnieje już dziś. Pytanie brzmi, czy wdrożymy ją, zanim atakujący nas do tego zmuszą.

OWASP uznał już natychmiastowe wstrzyknięcie za ryzyko nr 1 w pierwszej dziesiątce kandydatów ubiegających się o przyjęcie na studia LLM. NIST opracowuje wytyczne O architekturze zero trust. Ramy istnieją. Jedynym pytaniem jest szybkość wdrożenia w porównaniu z ewolucją ataku.

Biografia: Refael Angel jest współzałożycielem i dyrektorem technicznym firmy Bezkluczykowy, gdzie opracował opatentowaną przez firmę technologię szyfrowania Zero-Trust. Doświadczony inżynier oprogramowania z bogatą wiedzą specjalistyczną w zakresie kryptografii i bezpieczeństwa w chmurze, Refael pracował wcześniej jako starszy inżynier oprogramowania w centrum badawczo-rozwojowym Intuit w Izraelu, gdzie tworzył systemy zarządzania kluczami szyfrującymi w środowiskach chmury publicznej oraz projektował usługi uwierzytelniania maszyn. Uzyskał tytuł licencjata informatyki na Jerusalem College of Technology w wieku 19 lat.