Cybersikkerhed

DeepKeep afslører ‘InkJect’, en ny AI-angreb, der gemmer ondsindede kommandoer inde i billeder

mm
Føj Unite.AI til dine foretrukne kilder på Google

Som virksomheder hurtigt omfavner multimodal AI, der kan forstå både tekst og billeder, opdager sikkerhedsforskere, at disse nye og kraftfulde funktioner introducerer lige så sofistikerede nye angrebsflader. Det israelske AI-sikkerhedsfirma DeepKeep har afsløret en tidligere udokumenteret visuel kommandoinjektionsteknik kaldet InkJect, der viser, at skjulte kommandoer, der er indlejret i åbenbart harmløse billeder, kan manipulere førende vision-language modeller (VLM’er) og omgå mange af de sikkerhedsforanstaltninger, der er designet til at stoppe traditionelle kommandoinjektionsangreb.

Ifølge DeepKeeps forskning berører sårbarheden flere af dagens mest avancerede multimodale modeller, herunder OpenAI’s GPT-5.2 og GPT-5.4 Mini, samt Anthropics Claude Sonnet 4.6 og Claude Opus 4.5. Fundene afslører en betydelig blind plet i AI-sikkerheden: mens branchen har investeret massivt i beskyttelse af tekstbaserede interaktioner, er der blevet lagt langt mindre fokus på den visuelle fornuftslag, der i stigende grad driver moderne AI-systemer.

En ny udvikling af kommandoinjektion

Traditionelle kommandoinjektionsangreb forsøger at manipulere en AI-model gennem omhyggeligt udformede tekst, der overtager dens oprindelige instruktioner. I løbet af de sidste to år har førende AI-udbydere investeret massivt i sikkerhedsforanstaltninger, der kan opdage disse angreb, før modellerne kan handle på dem.

InkJect tager en helt anden rute. I stedet for at kommunikere direkte gennem tekst gemmer angriberne ondsindede kommandoer inde i billeder, der bliver en del af AI’s normale arbejdsgang. Disse billeder kan være gemt i offentlige GitHub-repositorier, dokumentationssider, designaktiver, diagrammer eller andre visuelle ressourcer, som AI-kodestøtter og autonome agenter rutinemæssigt henter, mens de udfører legitime opgaver. Set fra brugerens synspunkt, ser der ikke ud til at være noget usædvanligt. AI’en behandler billedet som endnu en del af kontekstinformationen, uden at være klar over, at det også indeholder skjulte kommandoer.

Udnyttelse af AI’ens evne til at se

Det, der gør InkJect særligt effektivt, er, at den retter sig mod en af de nyeste funktioner i moderne AI-systemer: visuel forståelse.

Visions-language modeller udfører sofistikeret optisk tegnkendelse som en del af fortolkningen af billeder, hvilket giver dem mulighed for at læse tekst, der er indlejret i diagrammer, skærmbilleder, fotografier og interface-design. DeepKeep opdagede, at disse funktioner ofte overstiger dem, der er til stede i traditionelle OCR-baserede sikkerhedsværktøjer, der bruges til at inspicere uploaded billeder.

Forskerne demonstrerede, at ondsindede kommandoer kunne gemmes ved hjælp af teknikker som hvid tekst på hvide baggrunde, ekstremt lav kontrast, perspektivforvrængning og forvrænget typografi. Mens eksisterende sikkerhedsscannere ofte ikke kunne genkende disse skjulte kommandoer, fortolkede AI-modellerne dem uden besvær. Dette skaber en farlig misligning, hvor sikkerhedssoftwaren konkluderer, at et billede er harmløst, mens AI’en stilledestrækker og udfører instruktioner, der er usynlige for både scanneren og den menneskelige bruger.

Indirekte kommandoinjektion gør truslen endnu mere farlig

I modsætning til mange cyberangreb, der kræver direkte adgang til et målsystem, afhænger InkJect af, hvad forskerne beskriver som indirekte kommandoinjektion. I stedet for at uploade et ondsindet billede direkte til en AI-applikation placerer en angriber blot billedet inde i en offentligt tilgængelig repository eller online-resurs.

Senere, når en udvikler beder en AI-assistent om at bygge en funktion, der bruger denne repository eller analyserer dens indhold, henter modellen automatisk billedet som en del af sin normale arbejdsgang. Skjulte instruktioner behandles sammen med legitime projektaktiver uden, at udvikleren nogensinde får indsigt i, at der er kommet yderligere kommandoer ind i samtalen.

Denne angrebsmetode er særligt bekymrende, fordi moderne AI-agenter i stigende grad henter eksterne ressourcer autonomt. Hver offentlig repository, dokumentationsside eller delt aktiv bliver potentielt en ny vej, hvorigennem ondsindede instruktioner kan nå et AI-system.

En simpel kodningsanmodning med alvorlige konsekvenser

DeepKeep illustrerede virkningen ved hjælp af et softwareudviklingsscenario, der ser helt rutinemæssigt ud.

En udvikler instruerede en AI-kodestøtte om at generere en grundlæggende informationswebside. Uvidende for udvikleren indeholdt et af de refererede billeder skjulte instruktioner. I stedet for kun at producere den anmodede webside tilføjede AI’en stille og roligt en fuldt funktionsdygtig medlemlogin-system komplet med administrator-legitimationsoplysninger og backend-autentificeringslogik.

Webstedet fungerede præcis, som forventet, og gav udvikleren ingen grund til at mistænke, at der var blevet tilføjet yderligere kode. Uden en detaljeret sikkerhedsrevision kunne den uautoriserede bagdør let være blevet deployet til produktion, hvilket ville have givet angriberne administratoradgang, som ingen bevidst havde anmodet om.

Demonstrationen højligter, hvordan visuel kommandoinjektion adskiller sig fra tidligere AI-angreb. I stedet for blot at påvirke chatbot-svar kan skjulte visuelle instruktioner manipulere genereret kode, introducere sikkerhedssårbarheder, ændre autonome arbejdsgange og potentielt kompromittere virksomhedssystemer.

Hvorfor eksisterende AI-sikkerhedsforanstaltninger ikke opdager angrebet

Forskningen understreger en arkitektonisk svaghed i dagens AI-sikkerhedslandskab. De fleste kommercielle sikkerhedsforanstaltninger er designet til at inspicere tekstbaserede kommandoer, før de når modellen. Som følge heraf er organisationer blevet mere og mere effektive til at opdage ondsindede skrevne instruktioner.

Visuelle input følger ofte en helt anden procespipeline.

DeepKeep fandt ud af, at flere frontmodeller afviste identiske angreb, når de blev præsenteret som tekst, men accepterede dem, når de samme instruktioner var indlejret i et billede. I virkeligheden kan angriberne omgå beskyttelse ved blot at ændre mediet, hvorigennem instruktionerne leveres.

Da multimodal AI bliver standardgrænsefladen for virksomhedsapplikationer, bliver denne forskel mere og mere vigtig. Sikkerhedssystemer kan ikke længere antage, at farlige instruktioner kun ankommer gennem tekst.

Hvorfor virksomheder skal være opmærksomme

Tidspunktet for DeepKeeps forskning afspejler en langt større forskydning, der er i gang på tværs af virksomheds-AI. Brancheforecaste antyder, at multimodale systemer, der kan forstå billeder, dokumenter, video og tekst, vil blive standard på tværs af softwareudvikling, finansielle tjenester, sundhedsvesen, produktion, kundesupport og forretningsautomatisering.

I modsætning til forbrugerchatbots opererer mange virksomheds-AI-systemer med forhøjede rettigheder. De henter fortrolige dokumenter, skriver kode, udfører kommandoer, kalder API’er, interagerer med cloud-infrastruktur, analyserer fortrolige dokumenter og træffer i stigende grad beslutninger på vegne af brugerne. Skjulte instruktioner, der er indlejret i visuel indhold, repræsenterer derfor langt mere end en akademisk nysgerrighed – de introducerer en ny kategori af virksomheds-sikkerhedsrisiko, der kan påvirke virkelige systemer.

DeepKeeps tilgang til AI-sikkerhed

Stiftet i 2021 har DeepKeep fokuseret udelukkende på at sikre AI gennem hele dens livscyklus, fra modelvurdering og test til implementering og runtime-beskyttelse. I stedet for at koncentrere sig udelukkende om store sprogmodeller er virksomhedens platform designet til at sikre multimodale AI-systemer, autonome AI-agenter, computer vision-applikationer og virksomheds-AI-implementationer.

Dens sikkerhedsplatform kombinerer flere lag af beskyttelse, herunder en AI-brandmur, der overvåger slutning i realtid, automatiseret AI Red Teaming, der proaktivt søger efter sårbarheder før implementering, en AI-agent-scanner, der analyserer autonome arbejdsgange for udnyttelsesveje, modelscanningsevner, der vurderer AI-levirkninger for sikkerhedsrisici, og AI-Lens, der giver organisationer indsigt i, hvordan medarbejdere og applikationer bruger AI på tværs af virksomheden.

Da organisationer fortsætter med at integrere AI i kritiske arbejdsgange, afspejler DeepKeeps strategi en voksende erkendelse af, at sikring af AI kræver beskyttelse af hvert trin i, hvordan modeller modtager, behandler og handler på oplysninger – ikke blot filtrering af de kommandoer, brugerne skriver.

Den næste front i AI-sikkerhed

InkJect vil sandsynligvis blive husket som mere end blot endnu en kommandoinjektionsteknik. Den højligter, hvordan den hurtige udvikling af multimodal AI fundamentalt omformer sikkerhedslandskabet.

Som modeller bliver mere og mere i stand til at se, forstå, hente information og handle autonomt, vil angriberne naturligt søge nye måder at udnytte hver modalitet, disse systemer forstår. Billeder, diagrammer, PDF’er, websteder og andre visuelle ressourcer kan alle blive køretøjer for skjulte instruktioner, som eksisterende sikkerhedsværktøjer måske aldrig opdager.

DeepKeep har ansvarligt afsløret sine fund til både OpenAI og Anthropic, hvilket giver virksomhederne en chance til at styrke beskyttelsen mod denne nyligt identificerede angrebsvektor. Om InkJect bliver det første eksempel på en bredere klasse af multimodale kommandoinjektionsangreb, eller ej, er uvist, men opdagelsen tjener som en rettidig påmindelse om, at AI-sikkerhed må udvikle sig lige så hurtigt som AI selv. Da modeller lærer at forstå den visuelle verden med stadig større sofistikation, vil forsvar af dem kræve sikkerhedssystemer, der er i stand til at gøre det samme.

Antoine er en visionær leder og medstifter af Unite.AI, drevet af en urokkelig passion for at forme og fremme fremtiden for AI og robotteknologi. En serieiværksætter, han tror, at AI vil være lige så omvæltende for samfundet som elektricitet, og han bliver ofte fanget i at tale om potentialet for omvæltende teknologier og AGI.

Som en futurist, er han dedikeret til at udforske, hvordan disse innovationer vil forme vores verden. Derudover er han grundlægger af Securities.io, en platform, der fokuserer på at investere i skarp teknologi, der gendefinerer fremtiden og omformer hele sektorer.