Nadchodząca fala ataków multimodalnych: kiedy narzędzia AI staną się nową powierzchnią exploitów

W miarę rozwoju dużych modeli językowych (LLM) systemy multimodalne Potrafią obsługiwać tekst, obrazy, głos i kod, ale stają się również potężnymi koordynatorami zewnętrznych narzędzi i łączników. Wraz z tą ewolucją rozszerza się powierzchnia ataku, z której organizacje muszą zdawać sobie sprawę.

Doskonałym przykładem jest socjotechnika, której ofiarą mogą paść agenci, ponieważ zostali wyszkoleni do działania jak ludzie i wykazują jeszcze mniejszy sceptycyzm. Na przykład, agent raczej nie będzie w stanie odróżnić fałszywego e-maila od e-maila od legalnego sprzedawcy.

Połączenie multimodalności i dostępu do narzędzi przekształca sztuczną inteligencję z asystenta w medium ataku. Atakujący mogą teraz używać prostych komunikatów tekstowych, aby wywołać niewłaściwe użycie narzędzi, wykonać nieautoryzowane działania lub wykraść poufne dane legalnymi kanałami. Ponieważ te możliwości zostały zaprojektowane z myślą o dostępności, a nie obronie, nawet przeciwnicy o niskich umiejętnościach mogą wykorzystać systemy sztucznej inteligencji do wykonywania złożonych operacji bez konieczności pisania ani jednej linijki kodu.

Jak multimodalna sztuczna inteligencja staje się łańcuchem eksploatacji luk

LLM-y coraz częściej stają się koordynatorami systemów zewnętrznych, a integracje obejmują obecnie wszystko, od interfejsów API po pocztę e-mail, przechowywanie danych w chmurze i narzędzia do wykonywania kodu. Te łączniki często są tworzone z myślą o dostępności, a nie obronności.

Wadą takiego podejścia jest to, że może ono doprowadzić do fali nowych ataków.

Jednym z nich jest nadużycie narzędzi sterowanych natychmiastowo. Na przykład, atakujący może użyć obrazu z instrukcjami natychmiastowego wstrzyknięcia do wiadomości e-mail. optyczne rozpoznawanie znaków (OCR) Narzędzie jest potrzebne do wyodrębnienia tekstu z obrazu. Agent otrzymuje polecenie, aby odpowiedzieć na e-mail i dołączyć mapę Google do adresu domowego ofiary, co pozwoli na jej anonimowość.

Innym mechanizmem jest omijanie barier ochronnych międzymodalnych. Dotyczy to barier ochronnych, które znajdują się między punktami wejścia i wyjścia narzędzi. Na przykład, analizując dane wyjściowe ekstraktora OCR, może się okazać, że nie ma wystarczająco silnej bariery ochronnej wokół natychmiastowych iniekcji wykrytych na jego wyjściu.

Istnieją również słabości strukturalne, które można wykorzystać. Jednym z takich problemów są luźne, nadmiernie liberalne powiązania między modelem a narzędziami zewnętrznymi, które może on wywołać – co oznacza, że ​​prosty komunikat w języku naturalnym może wywołać rzeczywiste działania, takie jak uruchamianie kodu, dostęp do plików czy interakcja z pocztą e-mail. Co więcej, wiele z tych systemów nie posiada ścisłej kontroli dostępu, co oznacza, że ​​sztuczna inteligencja może mieć możliwość zapisywania, usuwania lub modyfikowania danych znacznie wykraczającą poza to, co człowiek kiedykolwiek autoryzowałby. Problem staje się jeszcze poważniejszy, gdy spojrzymy na konektory i rozszerzenia w stylu MCP, które często nie mają praktycznie żadnych zabezpieczeń; po podłączeniu rozszerzają one zasięg sztucznej inteligencji na osobiste pamięci masowe, skrzynki odbiorcze i platformy chmurowe przy bardzo niewielkim nadzorze. Razem te słabości strukturalne tworzą środowisko, w którym klasyczne problemy bezpieczeństwa – eksfiltracja, ucieczki z sandboxów, a nawet zatrucie pamięci – mogą zostać wywołane za pomocą niczego więcej niż sprytnie skonstruowanego komunikatu.

Nowe zagrożenia: co dalej?

W tej nowej rzeczywistości ataki e-mailowe i socjotechniczne wykorzystujące sztuczną inteligencję są nieuniknione. phishing Liczba ataków wzrośnie z powodu wykorzystywania przez atakujących programów LLM; punktem krytycznym jest omijanie standardowych filtrów spamu dostawców poczty e-mail, takich jak Google. Agenci AI połączeni ze skrzynką odbiorczą zwiększają prawdopodobieństwo powodzenia ataków phishingowych. Prawdopodobnie wzrośnie liczba zagrożeń związanych z pocztą e-mail, ponieważ użytkownicy będą łączyć agentów z Gmailem lub Outlookiem.

Atakujący mogą nakazać sztucznej inteligencji przeprowadzenie całych kampanii spamowych lub spear phishingowych. W tym scenariuszu

Ataki phishingowe AI-AI stają się prawdopodobne.

Systemy multimodalne coraz częściej oferują możliwość wykonywania kodu. Ścieżki ucieczki umożliwiają atakującym włamanie się do infrastruktury bazowej. A ucieczki z sandboxów stanowią największy koszmar wizerunkowy dla dostawców.

Zatrucie pamięci długotrwałej i opóźnione wyzwalacze stanowią kolejne zagrożenia. Pamięć trwała umożliwia aktywację ukrytych ładunków w odpowiedzi na przyszłe komunikaty. Wyzwalacze międzymodalne (np. obrazy lub fragmenty tekstu) mogą aktywować zachowania przypominające bomby zegarowe.

Dlaczego ataki multimodalne są tak łatwo dostępne i niebezpieczne

Sztuczna inteligencja zdemokratyzowała możliwości ataków. Użytkownicy nie muszą już kodować ani tworzyć złośliwego oprogramowania; język naturalny staje się interfejsem do tworzenia złośliwego oprogramowania lub eksfiltracji danych. Oznacza to, że nawet osoby bez wiedzy technicznej mogą tworzyć złośliwe oprogramowanie lub prowadzić kampanie za pośrednictwem komunikatów.

Sztuczna inteligencja umożliwia również przyspieszenie i zwiększenie skali szkodliwych operacji. Agenci multimodalni mogą automatyzować pracę, która kiedyś wymagała specjalistycznego wysiłku. Kod, e-maile, badania i rekonesans mogą być generowane natychmiast.

Nadmierne zaufanie użytkowników i nieumyślne ujawnienie informacji przyczyniają się do potencjalnego zagrożenia ze strony sztucznej inteligencji. Użytkownicy często nie rozumieją, do czego sztuczna inteligencja może uzyskać dostęp, a ustawienia domyślne coraz częściej automatycznie włączają integrację ze sztuczną inteligencją. Wiele osób nie zdaje sobie sprawy, że przyznało sztucznej inteligencji nadmierny dostęp do poczty e-mail lub dokumentów.

Zasady i kontrole bezpieczeństwa multimodalnego

Organizacje muszą wdrożyć środki bezpieczeństwa chroniące przed atakami multimodalnymi. Zespoły ds. bezpieczeństwa będą musiały domyślnie ograniczyć dostęp do narzędzi. Kontrola dostępu oparta na wyrażeniu zgody powinna zastąpić automatycznie włączane integracje. Powinny one również stosować dostęp z minimalnymi uprawnieniami do wszystkich systemów połączonych ze sztuczną inteligencją oraz usuwać uprawnienia do zapisu/usuwania. Powinno to obejmować reguły międzydomenowe i białe listy domen (białe listy infrastruktury, a nie białe listy na poziomie LLM).

Kolejnym kluczowym krokiem jest zbudowanie jawnych zabezpieczeń dla wywołań narzędzi. Zastąp wyzwalacze języka naturalnego ustrukturyzowaną, typizowaną walidacją poleceń. Zabezpieczenia powinny stanowić punkty krytyczne zarówno dla wejścia, jak i wyjścia.

Inne ważne zasady i kontrole obejmują:

• Wprowadź rygorystyczne procesy zatwierdzania dla operacji wrażliwych.
• Unikaj umieszczania danych użytkownika w trwałej pamięci modelu. Stosuj automatyczną sanityzację pamięci i sprawdzanie pochodzenia.
• Wzmocnij i odizoluj środowiska wykonywania kodu.
• Monitoruj podejrzane zachowania i próby ucieczki.
• Wzmocnij edukację użytkowników i przejrzystość.
• Dodaj więcej potwierdzeń użytkownika, gdy agent wykonuje ryzykowne zadania.
• Wyraźnie określ, kiedy narzędzia AI uzyskują dostęp do wiadomości e-mail, plików lub zasobów w chmurze.
• Ostrzeż użytkowników o złączach wysokiego ryzyka.

Sukces w walce z atakami multimodalnymi

Technologie sztucznej inteligencji (AI) szybko przekształciły się w agentów operacji biznesowych, tworząc sytuację, w której sam język naturalny staje się formą exploita. Konwergencja multimodalności i dostępu do narzędzi otwiera powierzchnię ataku, zmieniając sztuczną inteligencję z asystenta w medium ataków. Ataki multimodalne wykorzystują luźną integrację między systemami LLM a kontrolowanymi przez nie systemami zewnętrznymi, takimi jak API, platformy pamięci masowej i automatyzacji plików.

W miarę ewolucji zagrożeń organizacje muszą wdrażać strategie, które wyraźnie uwzględniają multimodalne ścieżki ataków. Wzmocnienie mechanizmów obronnych z wykorzystaniem najlepszych praktyk opisanych powyżej jest niezbędne, aby zapobiec nieumyślnemu wykorzystaniu narzędzi AI jako ogniw w łańcuchu ataków cyberprzestępców.