Från generativ till agensbaserad AI: Skiftet från innehållsrisk till exekveringsexponering

Företags-AI utvecklas snabbt. Det som började som generativ AI-kopiloter som utarbetade e-post och sammanfattade dokument är nu på väg att bli något mycket mer autonomt: system som planerar, beslutar och utför uppgifter över verktyg och miljöer.

Detta är skiftet från generativ till agensbaserad AI. Det handlar om att se risken förvandlas.

GenAI introducerade innehållsrisker, inklusive hallucinationer, dataläckage via prompter och fördomsfulla utdata. Agensbaserad AI-exponering sker genom dess autonoma system, som har behörighet, minne och möjlighet att komma åt alla tillgängliga verktyg i maskinens hastighet.

Detta är en möjlighet för säkerhets-, styrnings- eller AI-proffs att omvärdera sin position på dessa nya risker.

Vad är agensbaserad AI-risk?

Agensbaserad AI-risk refererar till säkerhets-, operativa och styrningsrisker som orsakas av AI-system som opererar autonomt, inte bara genererar text utan också utför flerstegsarbetsflöden på företagssystem.

Till skillnad från traditionella stora språkmodeller (LLM) kan agensbaserade system bryta ner uppgifter i dynamiska arbetsflöden, göra externa API-förfrågningar och anropa inbyggda applikationer, och lagra och återkalla minnen. De kan också operera under delegerad identitet och kommunicera med andra agenter.

Med andra ord är de mindre som chatbots och mer som juniora digitala anställda. Detta representerar en massiv ökning av AI-agentens angreppsyta.

Generativ vs agensbaserad AI: Vad förändras?

Generativ AI-risk fokuserar på utdata. Säkerhetsteam ställer frågor som om modellen läcker data, om den kan hallucinera eller om skadligt eller icke-kompatibelt innehåll genereras.

Människor är fast i loopen. AI föreslår, människor godkänner.

Agensbaserad AI-risk är handlingorienterad. Nu måste säkerhetsteam fråga sig vilka system agenten kan interagera med, vilka behörigheter den kommer att ärva, hur långt dess plan kan nå och vad som skulle hända om den blev bedragen medan den kördes.

Distinktionen kan vara mycket liten, men den är betydande: Generativ AI skapar innehåll. Agensbaserad AI skapar konsekvenser. Detta är skiftet från innehållsrisk till exekveringsexponering.

Hur utökar agensbaserad AI företagets angreppsyta?

Agensbaserad AI lägger inte bara till en ny applikation. Den skapar en ny operativ nivå. Här är hur angreppsytan växer:

1. Privilegerade AI-agenter

Det finns många agenter som agerar på uppdrag av användare eller tjänstekonton. När omfattningen av behörigheter inte är tight blir de värdefulla mål.

Detta kan leda till förvirrade ställföreträdarproblem, behörighetsuppgradering och lateralt rörelse. Detta är ett problem när moln-, SaaS- och interna system tillhandahåller dynamisk eller ärvt tillgång till agenter.

2. Dynamiska exekveringsvägar

Kontrollflöden i traditionella appar är deterministiska. Kontrollflöden i agensbaserade AI-system är inte deterministiska.

De resonerar om mål, handlingar, reflekterar, finslipar och anropar verktyg på ett icke-deterministiskt sätt. Detta leder till svåra att analysera felcase, komplexa beroendegrafiker och kaskadfel i multiagent-system. Säkerhetskontroller som utvecklats för deterministiska kontrollflöden är inte tillämpliga här.

3. Bestående minne

Angreppsytan som orsakas av agentminne är bestående.

När kort- eller långsiktigt minne är komprometterat kan en skadlig tillstånd påverka beslut över flera sessioner. Detta skiljer sig från en enskild injicering av en prompt, eftersom minneskorruption ger beständighet.

4. Maskinhastighetsbeslutsfattande risker

Autonoma agenter fattar beslut i en hastighet som är omöjlig att matcha. Detta medför maskinhastighetsbeslutsfattande utmaningar, såsom snabb felpropagation, missbrukscykler mycket snabbare än mänsklig reaktion och eskalering innan upptäckt är möjlig.

I multiagent-system är omfattningen av inflytande snabb. En skadlig agent kan utlösa en felkaskad i samordningskedjor.

Varför traditionella kontroller misslyckas med agensbaserad AI

De flesta traditionella företagssäkerhetsmodeller förlitar sig på statiska applikationer, förutsägbara anropsgrafiker, mänskliga godkännanden och en tydlig separation mellan data bearbetning och exekvering. Agensbaserad AI gör dessa antaganden ogiltiga.

Ta till exempel en traditionell kontroll som indatavalidering. Detta skyddar gränsen för ett system. Men agensbaserad risk visas vanligtvis i mitten av en loop, i planerings-, reflektions- eller verktygsfasen.

Traditionell sårbarhetsavskanning fokuserar också på infrastruktur och programvara. Men AI-exekveringsrisken bor i resonemangs- och aktionslagret hos agenten.

Frågan är: Hur skyddar man något som kan välja sin egen nästa åtgärd? Man kan inte bara lägga kontroller runt ett enskilt modellanrop. Man måste skydda arbetsflödet.

Säkra agensbaserad AI: Vad fungerar verkligen?

När det gäller att säkra agensbaserad AI måste man gå från perimeter-tänkande till livscykel-tänkande. Agenter bör inte tillåtas tolka mål oändligt, och det finns flera sätt att uppnå detta.

Att etablera tillåtna sekvenser av mål, reglera djupet av planeringsträd, övervaka resonemangsdrift och förhindra självskapade mål utanför omfång är alla viktiga kontroller. Oväntade variationer i resonemang är ofta föregångare till manipulation.

Hårdvara verktygsutförande. Verktyg är där planen möter verkligheten, och säkerhet behöver täcka behörighetskontroller före verktygsutförande, sandlådor för utförande, strikt parametervalidering och just-in-time-överföring av autentiseringsuppgifter. Varje verktygsutförande behöver loggas som en första klassens säkerhets händelse.

Isolera minne och behörighetsomfång. Minne behöver behandlas som känslig infrastruktur. Detta innebär att validera skrivoperationer, minnesdomän partitionering, begränsa omfånget för läsoperationer per uppgift, använda kortlivade autentiseringsuppgifter och förhindra ärftliga behörigheter. Ovaliderad behörighetsackumulering är en stor agensbaserad AI-risk.

Säkra multiagent-samordning. I distribuerade agentsystem blir kommunikationen i sig en attackvektor. Det bör innebära agentautentisering, meddelande schema validering, begränsade kommunikationskanaler och övervakning av avvikande påverkansmönster. När samordning avviker från förväntade flöden bör isolering ske automatiskt.

Från exponeringshantering till exponeringsbedömning för AI-system

Detta är där en bredare säkerhetsfilosofi blir nyckeln. Traditionell sårbarhets hantering identifierar kända svagheter. Men autonoma AI-system introducerar emergent exponering: risker som uppstår från konfiguration, behörighetsdesign, integrationsvägar och dynamiskt beteende.

Detta överensstämmer med vad branschen har kallat exponeringshantering och, mer nyligen, exponeringsbedömning.

Exponeringshantering handlar om att ha kontinuerlig insyn i hur system (inklusive molntillgångar, identiteter, applikationer och nu AI-agenter) skapar vägar som angripare kan utnyttja.

För autonoma AI-systems säkerhet innebär det att fråga: Vad kan denna agent nå? Vilka behörigheter ackumulerar den? Vilka system samordnar den? Och var möter exekvering känsliga data?

Lag som redan använder exponeringsbaserade strategier för att minska cyber risk är i en solid position att utöka dessa principer till sina AI-miljöer. Till exempel plattformar som förenar identitet, moln och sårbarhets synlighet ger ett sätt att förstå hur privilegerade AI-agenter möter befintliga angreppsvägar.

Nyckeln är inte leverantörsverktyg per se. Det är tankesättet:

Du säkrar inte agensbaserad AI genom att skydda modellen. Du säkrar den genom att kontinuerligt mäta och minska dess exponering.

Hantera exekveringslagersrisker i agensbaserad AI

Kännetecknet för agensbaserad AI-säkerhet är detta: Angreppsytan är inte svaret, utan arbetsflödet.

Exekveringslagersriskerna är många, inklusive oautentiserad verktygsanvändning, identitetsbedrägeri, behörighetskräp, minnesförgiftning, cross-agent-manipulation och människa-i-loopen-system under tvång.

Att mildra dessa risker innebär att ha insyn i identitetsrelationer, behörighetsarv, API-beroenden, körningsaktivitet och exekverings telemetri.

Detta är inte längre bara GenAI-säkerhet; det är AI-operativ säkerhet också.

Agensbaserad AI-risk är arkitektonisk, inte hypotetisk

Agensbaserad AI är nästa steg i utvecklingen av företags-AI-antagande. Den har löftet om effektivitet, automatisering och skalbarhet. Men den introducerar också risk från vad AI säger till vad AI gör.

Övergången från generativ till agensbaserad AI påverkar följande:

• Innehållsrisk till exekveringsrisk
• Statiska prompter till dynamiska exekveringsflöden
• Mänsklig granskning till autonom exekvering
• Applikationssäkerhet till exponeringshantering

Säkerhetsledare som förstår denna övergång kan arkitektera skydd som skalar med autonomi. Andra kommer att hamna med digitala insiders utan insiderkontroller.

Framtiden för AI i företaget är agensbaserad. Framtiden för AI-säkerhet måste vara exponeringsdriven, arbetsflödesmedveten och utformad för maskinhastighetsoperationer.

Eftersom när AI-agenter har möjlighet att exekvera är den enda möjliga strategin att kontinuerligt förstå (och mildra) vad de är utsatta för.