Cybersäkerhet

DeepKeep Avslöjar ‘InkJect’, En Ny AI-Attack Som Döljer Skadliga Kommandon Inuti Bilder

mm
Lägg till Unite.AI bland dina föredragna källor på Google

Som företag snabbt antar multimodala AI-kapaciteter som kan förstå både text och bilder, upptäcker säkerhetsforskare att dessa kraftfulla nya funktioner introducerar lika sofistikerade nya angreppsytor. Det israeliska AI-säkerhetsföretaget DeepKeep har avslöjat en tidigare odocumenterad visuell promptinjektionsteknik som kallas InkJect, som visar att dolda instruktioner som är inbäddade i skenbart ofarliga bilder kan manipulera ledande vision-språkmodeller (VLM) samtidigt som de kringgår många av de säkerhetsrelaterade skydd som är utformade för att stoppa traditionella promptinjektionsattacker.

Enligt DeepKeeps forskning påverkar sårbarheten flera av dagens mest avancerade multimodala modeller, inklusive OpenAI:s GPT-5.2 och GPT-5.4 Mini, samt Anthropics Claude Sonnet 4.6 och Claude Opus 4.5. Resultaten avslöjar en betydande blind fläck i AI-säkerheten: medan branschen har investerat kraftigt i att skydda textbaserade interaktioner, har betydligt mindre uppmärksamhet ägnats åt den visuella resonemangsskikt som alltmer driver moderna AI-system.

En Ny Utveckling Av Promptinjektion

Traditionella promptinjektionsattacker försöker manipulera en AI-modell genom noggrant utformad text som åsidosätter dess ursprungliga instruktioner. Under de senaste två åren har ledande AI-leverantörer investerat kraftigt i skydd som upptäcker dessa attacker innan modellerna kan agera på dem.

InkJect tar en helt annan väg. Istället för att kommunicera direkt genom text, döljer angripare skadliga instruktioner inuti bilder som blir en del av AI:s normala arbetsflöde. Dessa bilder kan finnas i offentliga GitHub-repositorier, dokumentationssidor, designresurser, diagram eller andra visuella resurser som AI-kodassistenter och autonoma agenter vanligtvis hämtar medan de slutför legitima uppgifter. Från användarens perspektiv verkar ingenting ovanligt. AI bearbetar bilden som en annan bit av kontextuell information, omedveten om att den också innehåller dolda kommandon.

Utnyttjande Av AI:s Förmåga Att Se

Det som gör InkJect särskilt effektivt är att den riktar sig mot en av de nyaste funktionerna i moderna AI-system: visuell förståelse.

Vision-språkmodeller utför sofistikerad optisk teckenigenkänning som en del av tolkningen av bilder, vilket möjliggör för dem att läsa text som är inbäddad i diagram, skärmbilder, foton och gränssnittsdesign. DeepKeep upptäckte att dessa funktioner ofta överträffar dem hos traditionella OCR-baserade säkerhetsverktyg som används för att inspektera uppladdade bilder.

Forskarna demonstrerade att skadliga instruktioner kunde döljas med hjälp av tekniker som vit text på vita bakgrunder, extremt låg kontrast, perspektivförvrängning och förvrängd typografi. Medan befintliga säkerhetsskannrar ofta misslyckades med att känna igen dessa dolda kommandon, tolkade AI-modellerna dem utan svårighet. Detta skapar en farlig obalans där säkerhetsprogramvaran drar slutsatsen att bilden är ofarlig medan AI tyst extraherar och utför instruktioner som är osynliga för både skannern och den mänskliga användaren.

Indirekt Promptinjektion Gör Hotet Ännu Farligare

Till skillnad från många cyberattacker som kräver direkt tillgång till ett målsystem, förlitar sig InkJect på vad forskare beskriver som indirekt promptinjektion. Istället för att direkt ladda upp en skadlig bild till en AI-applikation, placerar en angripare bilden i en offentligt tillgänglig repository eller online-resurs.

Senare, när en utvecklare ber en AI-assistent att bygga en funktion med hjälp av den repositoryn eller analysera dess innehåll, hämtar modellen automatiskt bilden som en del av sitt normala arbetsflöde. Dolda instruktioner bearbetas tillsammans med legitima projektiljor utan att utvecklaren någonsin inser att ytterligare kommandon har kommit in i samtalet.

Denna attackmetod är särskilt oroväckande eftersom moderna AI-agenter alltmer hämtar externa resurser på egen hand. Varje offentlig repository, dokumentationssida eller delad resurs kan potentiellt bli en annan väg genom vilken skadliga instruktioner kan nå ett AI-system.

En Enkel Kodningsbegäran Med Allvarliga Konsekvenser

DeepKeep illustrerade påverkan med hjälp av ett mjukvaruutvecklingscenarium som ser helt rutinmässigt ut.

En utvecklare instruerade en AI-kodassistent att generera en grundläggande informationswebbsida. Okänt för utvecklaren innehöll en av de refererade bilderna dolda instruktioner. Istället för att endast producera den begärda webbsidan, lade AI tyst till ett fullt fungerande medlemssystem för inloggning, komplett med administratörskredensialer och backend-autentiseringslogik.

Webbsidan fungerade exakt som förväntat, vilket gav utvecklaren ingen anledning att misstänka att extra kod hade lagts till. Utan en detaljerad säkerhetsgranskning kunde den obehöriga bakdörren lätt ha distribuerats till produktionen, vilket skulle ha gett angripare administrativ åtkomst som ingen medvetet hade begärt.

Demonstrationen belyser hur visuell promptinjektion skiljer sig från tidigare AI-attacker. Istället för att endast påverka chatbot-svar, kan dolda visuella instruktioner manipulera genererad kod, införa säkerhetssårbarheter, ändra autonoma arbetsflöden och potentiellt kompromettera företagssystem.

Varför Befintliga AI-Skydd Missar Attacken

Forskningen understryker en arkitektonisk svaghet i dagens AI-säkerhetslandskap. De flesta kommersiella skydd har utformats för att inspektera textbaserade prompter innan de når modellen. Som ett resultat har organisationer blivit alltmer effektiva i att upptäcka skadliga skrivna instruktioner.

Visuella indata, däremot, följer ofta en helt annan bearbetningspipeline.

DeepKeep fann att flera frontmodeller avvisade identiska attacker när de presenterades som text men accepterade dem när samma instruktioner var inbäddade i en bild. I praktiken kan angripare kringgå skydd genom att ändra mediet genom vilket instruktioner levereras.

Medan multimodal AI blir standardgränssnittet för företagsapplikationer, blir denna distinktion alltmer viktig. Säkerhetssystem kan inte längre anta att farliga instruktioner anländer endast genom text.

Varför Företag Bör Bry Sig

Tidpunkten för DeepKeeps forskning speglar en större förändring som sker inom företags-AI. Branschprognoser tyder på att multimodala system som kan förstå bilder, dokument, video och text kommer att bli standard över hela mjukvaruutveckling, finansiella tjänster, hälsovård, tillverkning, kundsupport och affärsautomatisering.

Till skillnad från konsumentchatbots, opererar många företags-AI-system med förhöjda behörigheter. De hämtar konfidentiell dokumentation, skriver kod, kör kod, anropar API:er, interagerar med molninfrastruktur, analyserar konfidentiella dokument och fattar alltmer beslut på användarnas vägnar. Dolda instruktioner inbäddade i visuellt innehåll representerar därför mer än en akademisk nyfikenhet – de introducerar en ny kategori av företagssäkerhetsrisker som kan påverka verkliga system.

DeepKeeps Tillvägagångssätt För AI-Säkerhet

DeepKeep grundades 2021 och har fokuserat uteslutande på att säkra AI under hela dess livscykel, från modellutvärdering och testning till distribution och skydd under drift. Istället för att koncentrera sig enbart på stora språkmodeller, är företagets plattform utformad för att säkra multimodala AI-system, autonoma AI-agenter, datorseendeapplikationer och företags-AI-distributioner.

Deras säkerhetsplattform kombinerar flera lager av skydd, inklusive en AI-brandvägg som övervakar inferens i realtid, automatiserad AI Red Teaming som proaktivt söker efter sårbarheter innan distribution, en AI-agent skanner som analyserar autonoma arbetsflöden för exploateringsvägar, modellskanningsfunktioner som utvärderar AI-leveranskedjor för säkerhetsrisker och AI Lens, som ger organisationer insyn i hur anställda och applikationer använder AI över hela företaget.

Medan organisationer fortsätter att integrera AI i kritiska arbetsflöden, speglar DeepKeeps strategi en växande erkänsla av att säkra AI kräver skydd av varje stadium för hur modeller tar emot, bearbetar och agerar på information – inte bara filtrerar prompter som användare skriver.

Nästa Front I AI-Säkerhet

InkJect kommer troligen att kommas ihåg som mer än bara en annan promptinjektionsteknik. Den belyser hur den snabba utvecklingen av multimodal AI fundamentalt omformar säkerhetslandskapet.

Så länge modellerna blir alltmer kapabla att se, resonera, hämta information och agera autonomt, kommer angripare naturligt att söka efter nya sätt att utnyttja varje modalitet som systemen förstår. Bilder, diagram, PDF:er, webbplatser och andra visuella resurser kan alla bli fordon för dolda instruktioner som befintliga säkerhetsverktyg kanske aldrig upptäcker.

DeepKeep har på ett ansvarsfullt sätt delat sina fynd med både OpenAI och Anthropic, vilket ger företagen möjlighet att stärka skydden mot denna nyligen identifierade attackvektor. Oavsett om InkJect blir det första exemplet på en bredare klass av multimodala promptinjektionsattacker återstår att se, men dess upptäckt fungerar som en lämplig påminnelse om att AI-säkerhet måste utvecklas lika snabbt som AI själv. Medan modellerna lär sig att förstå den visuella världen med allt större sofistikering, kommer att försvara dem att kräva säkerhetssystem som kan göra detsamma.

Antoine är en visionär ledare och medgrundare av Unite.AI, driven av en outtröttlig passion för att forma och främja framtidens AI och robotik. En serieentreprenör, han tror att AI kommer att vara lika störande för samhället som elektricitet, och han fångas ofta i att prata om potentialen för störande teknologier och AGI.

Som en futurist är han dedikerad till att utforska hur dessa innovationer kommer att forma vår värld. Dessutom är han grundare av Securities.io, en plattform som fokuserar på att investera i banbrytande teknologier som omdefinierar framtiden och omformar hela sektorer.