Säkerhetsrisker vi byggt in: AI-agenter och problemet med lydnad

LLM-baserade AI-agenter introducerar en ny klass av sårbarheter, där angripare injicerar skadliga instruktioner i data, vilket förvandlar hjälpsamma system till omedvetna medbrottslingar.

Microsoft Copilot blev inte hackad i klassisk mening. Det fanns inget malware, inga phishing-länkar, inget skadligt kod. Ingen klickade på något eller distribuerade någon exploit.

Hotaktören frågade helt enkelt. Microsoft 365 Copilot, som gjorde exakt vad den var byggd för att göra, följde order. I den nyliga Echoleak-attacken manipulerades AI-agenten av en prompt som var förklädd till data. Den lydde, inte för att den var trasig, utan för att den fungerade som den var utformad för.

Denna sårbarhet utnyttjade inte programvarubuggar. Den utnyttjade språk. Och det markerar en viktig vändpunkt i cybersäkerhet, där attackytan inte längre är kod utan konversation.

Det nya AI-lydnadsproblemet

AI-agenter är utformade för att hjälpa. Deras syfte är att förstå användaravsikter och agera effektivt. Den här nyttan kommer med risk. När de är inbäddade i filsystem, produktivitetsplattformar eller operativsystem följer dessa agenter naturliga språkkommandon med minimalt motstånd.

Hotaktörer utnyttjar just den här egenskapen. Med prompt-injektioner som verkar oskyldiga kan de utlösa känsliga åtgärder. Dessa promptrar kan innehålla:

• Multilingvala kodsnuttar
• Okända filformat och inbäddade instruktioner
• Icke-engelska språkingångar
• Flerstegskommandon dolda i vardagligt språk

Eftersom stora språkmodeller (LLM) är utbildade för att förstå komplexitet och tvetydighet blir prompten payloaden.

Spöket av Siri och Alexa

Det här mönstret är inte nytt. I de tidiga dagarna av Siri och Alexa visade forskare hur man kunde utlösa en åtgärd utan användarverifiering genom att spela en röstkommando som “Skicka alla mina foton till den här e-postadressen”.

Nu är hotet större. AI-agenter som Microsoft Copilot är integrerade djupt i Office 365, Outlook och operativsystemet. De har tillgång till e-post, dokument, autentiseringsuppgifter och API:er. Angripare behöver bara rätt prompt för att extrahera kritisk data, allt medan de utger sig för att vara legitima användare.

När datorer förväxlar instruktioner med data

Det här är inte en ny princip i cybersäkerhet. Injektioner som SQL-attacker lyckades för att systemen inte kunde skilja mellan indata och instruktion. Idag finns samma brist, men på språknivån.

AI-agenter behandlar naturligt språk som både indata och avsikt. Ett JSON-objekt, en fråga eller till och med en fras kan initiera en åtgärd. Denna tvetydighet är vad hotaktörer utnyttjar, genom att infoga kommandon inom vad som ser ut som ofarligt innehåll.

Vi har inbäddat avsikt i infrastrukturen. Nu har hotaktörer lärt sig hur man kan extrahera den för att göra deras bud.

AI-antagande överträffar cybersäkerhet

Medan företag skyndar sig att integrera LLM, förbiser många en kritisk fråga: vad har AI tillgång till?

När Copilot kan komma åt operativsystemet utvidgas skadans omfattning långt bortom inkorgen. Enligt Check Points AI-säkerhetsrapport:

• 62 procent av globala säkerhetschefer (CISO) är rädda för att de kan hållas personligen ansvariga för AI-relaterade brott
• Nästan 40 procent av organisationer rapporterar intern, oauktoriserad användning av AI, ofta utan säkerhetsövervakning
• 20 procent av cyberkriminella grupper använder nu AI i sina operationer, inklusive för att skapa phishing och genomföra rekognoscering

Det här är inte bara en framväxande risk. Det är en närvarande risk som redan orsakar skada.

Varför befintliga skydd är otillräckliga

Vissa leverantörer använder vaktande modeller — sekundära modeller som tränats för att upptäcka farliga promptrar eller misstänkt beteende. Dessa filter kan upptäcka grundläggande hot, men är sårbara för undvikningstekniker.

Hotaktörer kan:

• Överbelasta filter med brus
• Dela avsikt över flera steg
• Använda icke-uppenbar formulering för att kringgå upptäckt

I fallet med Echoleak var skydd på plats — och de kringgicks. Detta reflekterar inte bara en policybrist, utan en arkitekturbrist. När en agent har hög nivå behörighet men låg nivå kontext, även bra skydd är otillräckliga.

Upptäckt, inte perfektion

Att förhindra varje attack kan vara orealistiskt. Målet måste vara snabb upptäckt och snabb inneslutning.

Organisationer kan börja med:

• Övervaka AI-agentaktivitet i realtid och underhålla promptlogg
• Tillämpa strikt minsta behörighet till AI-verktyg, speglar admin-nivå kontroll
• Lägga till friktion till känsliga operationer, såsom kräva bekräftelser
• Flagga ovanliga eller fientliga promptramönster för granskning

Språkbaserade attacker kommer inte att visas i traditionella endpoint-detektion och respons (EDR)-verktyg. De kräver en ny upptäcktsmodell.

Vad organisationer bör göra nu för att skydda sig

Innan de distribuerar AI-agenter måste organisationer förstå hur dessa system fungerar och vilka risker de introducerar.

Nyckelrekommendationer inkluderar:

1. Granska all tillgång: Veta vad agenter kan komma åt eller utlösa
2. Begränsa omfattningen: Ge minimal nödvändig behörighet
3. Spåra alla interaktioner: Logga promptrar, svar och resulterande åtgärder
4. Stresstesta: Simulera fientliga indata internt och frekvent
5. Planera för undvikning: Anta att filter kommer att kringgås
6. Samordna med säkerhet: Se till att LLM-system stöder, snarare än komprometterar, säkerhetsmål

Den nya attackytan

Echoleak är en förhandsvisning av vad som kommer. När LLM utvecklas blir deras hjälpsamhet en belastning. Integrerade djupt i affärssystem erbjuder de angripare en ny väg in — genom enkla, välkonstruerade promptrar.

Det här handlar inte längre bara om att säkra kod. Det handlar om att säkra språk, avsikt och kontext. Spelplanen måste ändras nu, innan det är för sent.

Och ändå finns det några goda nyheter. Det sker framsteg i att utnyttja AI-agenter för att försvara mot nya och framväxande cyberhot. När de används på rätt sätt kan dessa autonoma AI-agenter svara på hot snabbare än någon människa, samarbeta över miljöer och proaktivt försvara mot framväxande risker genom att lära av ett enda intrångsförsök.

Agenta AI kan lära av varje attack, anpassa sig i realtid och förhindra hot innan de sprider sig. Den har potentialen att etablera en ny era av cybersäkerhet, men bara om vi griper tillfället och formar cybersäkerhetens framtid tillsammans. Om vi inte gör det kan den här nya eran signalera en cybersäkerhets- och dataskyddsmardröm för organisationer som redan har implementerat AI (ibland till och med omedvetet med skugg-IT-verktyg). Nu är tiden att vidta åtgärder för att säkerställa att AI-agenter används till vår fördel, inte till vår undergång.