Säkerhetsproblemen vi byggde in: AI-agenter och problemet med lydnad

LLM-baserade AI-agenter introducerar en ny klass av sårbarheter, där angripare injicerar skadliga instruktioner i data och förvandlar hjälpsamma system till omedvetna medbrottslingar.

Microsoft Copilot hackades inte i traditionell bemärkelse. Det fanns ingen skadlig kod, ingen nätfiskelänk, ingen skadlig kod. Ingen klickade på något eller använde någon exploit.

Hotaktören frågade helt enkelt. Microsoft 365 Copilot, som gjorde precis vad den var byggd för att göra, följde kraven. Under den senaste tiden Echoleak I en nollklickattack manipulerades AI-agenten av en prompt förklädd till data. Den lydde, inte för att den var trasig, utan för att den fungerade som den var avsedd att.

Denna sårbarhet utnyttjade inte programvarufel. Den utnyttjade språk. Och det markerar en viktig vändpunkt inom cybersäkerhet, där attackytan inte längre är kod utan konversation.

Det nya AI-lydnadsproblemet

AI-medel är utformade för att hjälpa. Deras syfte är att förstå användarnas avsikt och agera effektivt utifrån den. Den nyttan medför risker. När dessa agenter är inbäddade i filsystem, produktivitetsplattformar eller operativsystem följer de kommandon på naturligt språk med minimalt motstånd.

Hotaktörer utnyttjar just den egenskapen. Med snabba injektioner som verkar oskyldiga kan de utlösa känsliga åtgärder. Dessa uppmaningar kan inkludera:

• Flerspråkiga kodavsnitt
• Obskyra filformat och inbäddade instruktioner
• Inmatningar på andra språk än engelska
• Flerstegskommandon dolda i vardagligt språk

Eftersom stora språkmodeller (LLM) är tränade att förstå komplexitet och tvetydighet blir prompten nyttolasten.

Siris och Alexas spöke

Det här mönstret är inte nytt. I Siris och Alexas tidiga dagar hade forskare demonstreras hur uppspelning av ett röstkommando som "Skicka alla mina foton till den här e-postadressen" kan utlösa en åtgärd utan användarverifiering.

Nu är hotet större. AI-agenter som Microsoft Copilot är djupt integrerade i Office 365, Outlook och operativsystemet. De får åtkomst till e-postmeddelanden, dokument, inloggningsuppgifter och API:er. Angripare behöver bara rätt prompt för att extrahera kritisk data, samtidigt som de utger sig för att vara en legitim användare.

När datorer misstar instruktioner för data

Detta är inte en ny princip inom cybersäkerhet. Injektioner som SQL-attacker lyckades eftersom systemen inte kunde skilja mellan inmatning och instruktion. Idag finns samma brist, men på språklagret.

AI-agenter behandlar naturligt språk som både inmatning och avsikt. Ett JSON-objekt, en fråga eller till och med en fras kan initiera en åtgärd. Denna tvetydighet är vad hotaktörer utnyttjar, genom att bädda in kommandon i vad som ser ut som harmlöst innehåll.

Vi har integrerat avsikter i infrastrukturen. Nu har hotaktörer lärt sig hur de ska utvinna dem för att göra vad de vill.

AI-implementeringen överträffar cybersäkerhet

I takt med att företag skyndar sig att integrera juridikstudier (LLMs) förbiser många en kritisk fråga: vad har AI tillgång till?

När Copilot kan röra operativsystemet expanderar explosionsradien långt bortom inkorgen. Enligt Check Points AI-säkerhetsrapport:

• 62 procent av globala informationssäkerhetschefer (CISO:er) fruktar att de kan hållas personligen ansvariga för AI-relaterade intrång
• Nästan 40 procent av organisationerna rapporterar icke-godkänd intern användning av AI, ofta utan säkerhetsövervakning.
• 20 procent av cyberkriminella grupper integrerar nu AI i sin verksamhet, inklusive för att skapa nätfiske och utföra rekognoscering

Detta är inte bara en framväxande risk. Det är en befintlig risk som redan orsakar skada.

Varför befintliga skyddsåtgärder inte räcker till

Vissa leverantörer använder vakthundar – sekundära modeller som tränats för att upptäcka farliga uppmaningar eller misstänkt beteende. Dessa filter kan upptäcka grundläggande hot men är sårbara för undanflykter.

Hotaktörer kan:

• Överbelastade filter med brus
• Dela upp avsikten över flera steg
• Använd icke-uppenbar formulering för att kringgå detektering

I fallet med Echoleak fanns skyddsåtgärder – och de kringgicks. Detta återspeglar inte bara ett misslyckande i policyn, utan också ett misslyckande i arkitekturen. När en agent har behörigheter på hög nivå men kontext på låg nivå, kommer även bra skyddsräcken att misslyckas.

Upptäckt, inte perfektion

Att förhindra varje attack kan vara orealistiskt. Målet måste vara snabb upptäckt och snabb inneslutning.

Organisationer kan börja med att:

• Övervaka AI-agentaktivitet i realtid och upprätthålla snabba granskningsloggar
• Tillämpa strikt åtkomst med minsta behörighet till AI-verktyg, spegla kontroller på administratörsnivå
• Ökar friktionen vid känsliga operationer, som att kräva bekräftelser
• Flagg ovanliga eller kontradiktoriska uppmaningsmönster för granskning

Språkbaserade attacker kommer inte att förekomma i traditionella slutpunktsdetektering och svar (EDR)-verktyg. De kräver en ny detektionsmodell.

Vad organisationer bör göra nu för att skydda sig själva

Innan organisationer använder AI-agenter måste de förstå hur dessa system fungerar och vilka risker de medför.

Viktiga rekommendationer inkluderar:

1. Granska all åtkomst: Vet vilka agenter som kan röra vid eller utlösa
2. Begränsa omfattningen: Bevilja minsta nödvändiga behörigheter
3. Spåra alla interaktioner: Logga uppmaningar, svar och resulterande åtgärder
4. Stresstest: Simulera motståndskraftiga insignaler internt och ofta
5. Plan för kringgående: Anta att filter kommer att kringgås
6. Anpassa till säkerhet: Se till att LLM-system stöder, inte komprometterar, säkerhetsmål

Den nya attackytan

Echoleak är en förhandsvisning av vad som komma skall. I takt med att juridiktekniker utvecklas blir deras hjälpsamhet en belastning. De är djupt integrerade i affärssystem och erbjuder angripare ett nytt sätt att komma in – genom enkla, väl utformade uppmaningar.

Det här handlar inte längre bara om att säkra kod. Det handlar om att säkra språk, avsikt och sammanhang. Handlingsschemat måste förändras nu, innan det är för sent.

Och ändå finns det några goda nyheter. Det görs framsteg när det gäller att utnyttja AI-agenter för att försvara mot nya och framväxande cyberhot. När de utnyttjas på rätt sätt kan dessa autonoma AI-agenter reagera på hot snabbare än någon människa, samarbeta över olika miljöer och proaktivt försvara sig mot framväxande risker genom att lära sig av ett enda intrångsförsök.

Agentbaserad AI kan lära sig av varje attack, anpassa sig i realtid och förhindra hot innan de sprids. Den har potential att skapa en ny era av cybermotståndskraft, men bara om vi tar vara på detta tillfälle och formar framtiden för cybersäkerhet tillsammans. Om vi ​​inte gör det kan denna nya era signalera en mardröm inom cybersäkerhet och dataskydd för organisationer som redan har implementerat AI (ibland till och med omedvetet med skugg-IT-verktyg). Nu är det dags att vidta åtgärder för att säkerställa att AI-agenter används till vår fördel istället för vår undergång.