Fra generativ til agensbasert AI: Skiftet fra innholdrisiko til eksponeringsrisiko

Bedriftens AI utvikler seg raskt. Det som begynte som generative AI-kopiloter som utarbeidet e-poster og sammenfattet dokumenter, blir nå noe mye mer autonomt: systemer som planlegger, bestemmer og utfører oppgaver på tvers av verktøy og miljøer.

Dette er skiftet fra generativ til agensbasert AI. Det handler om å se risikoen forvandle seg.

GenAI innførte innholdrisiko, inkludert hallucinasjoner, datalækasje via forespørsler og forvrengte utdata. Agensbasert AI-eksponering skjer gjennom sine autonome systemer, som har tillatelse, minne og evne til å aksessere alle tilgjengelige verktøy med maskinens hastighet.

Dette er en mulighet for sikkerhets-, styrings- eller AI-eksperter til å vurdere sin posisjon på disse nye risikoene.

Hva er agensbasert AI-risiko?

Agensbasert AI-risiko refererer til sikkerhets-, operasjonelle og styringsrisiko som utgår fra AI-systemer som opererer autonomt, ikke bare genererer tekst, men også utfører flertrinns arbeidsflyter på bedriftssystemer.

I motsetning til tradisjonelle store språkmodeller (LLM), kan agensbaserte systemer bryte ned oppgaver i dynamiske arbeidsflyter, gjøre eksterne API-forespørsler og invokere interne applikasjoner, og lagre og gjenkalle minner. De kan også operere under delegert identitet og kommunisere med andre agenter.

Med andre ord, er de mindre som chatboter og mer som junior digitale ansatte. Dette representerer en massiv økning i AI-agentens angrepsflate.

Generativ vs agensbasert AI: Hva endrer seg?

Generativ AI-risiko sentrerer seg rundt utdata. Sikkerhetsteam spør spørsmål som om modellen lekker data, om den kan hallucinere, eller om skadelig eller ikke-samsvarande innhold genereres.

Mennesker er fast i løkken. AI foreslår, menneskene godkjenner.

Agensbasert AI-risiko er handlingsorientert. Nå må sikkerhetsteam spørre seg selv hva systemer agenten kan interagere med, hvilke tillatelser den vil arve, hvor langt dens plan kan nå, og hva som skjer hvis den blir bedratt mens den kjører.

Forskjellen kan være svært liten, men den er betydelig: Generativ AI skaper innhold. Agensbasert AI skaper konsekvenser. Dette er skiftet fra innholdrisiko til eksponeringsrisiko.

Hvordan utvider agensbasert AI bedriftens angrepsflate?

Agensbasert AI legger ikke bare til en ny applikasjon. Den skaper en ny operasjonslag. Her er hvordan angrepsflaten vokser:

1. Privilegerte AI-agenter

Det finnes mange agenter som handler på vegne av brukere eller tjenekontoer. Når omfanget av tillatelser ikke er stramt, blir de verdifulle mål.

Dette kan føre til forvirrede deputatproblemer, privilegieoppgradering og lateralt bevegelse. Dette er et problem når sky, SaaS og interne systemer gir dynamisk eller arvet tilgang til agenter.

2. Dynamiske eksekveringsveier

Kontrollflyt i tradisjonelle apper er deterministiske. Kontrollflyt i agensbaserte AI-systemer er ikke deterministiske.

De resonerer om mål, handlinger, reflekterer, finjusterer og invoker verktøy på en ikke-deterministisk måte. Dette fører til vanskelige å analysere feiltilfeller, komplekse avhengighetsgrafer og kaskadiske feil i multi-agentsystemer. Sikkerhetskontroller utviklet for deterministiske kontrollflyter er ikke anvendelige her.

3. Varig minne

Angrepsflaten som følger av agentminne er varig.

Når kort- eller langtidsminne er kompromittert, kan en ondsinnet tilstand påvirke beslutninger over flere sesjoner. Dette skiller seg fra en enkelt injeksjon av en forespørsel, da minnekompromittering gir varighet.

4. Maskinhastighets beslutningsrisiko

Autonome agenter tar beslutninger med en hastighet som er umulig å matche. Dette bringer maskinhastighets beslutningsutfordringer, som rask feilpropagering, misbrukssykluser mye raskere enn menneskelig reaksjon og eskalering før detektering er mulig.

I multi-agentsystemer er omfanget av innflytelse raskt. En ondsinnet agent kan utløse en feilkaskade i koordineringskjeder.

Hvorfor tradisjonelle kontroller feiler med agensbasert AI

De fleste tradisjonelle bedriftssikkerhetsmodeller avhenger av statiske applikasjoner, forutsigbare kallgrafer, menneskelig godkjenning og en tydelig skille mellom dataprosessering og eksekvering. Agensbasert AI gjør disse antagelsene ugyldige.

Ta for eksempel en tradisjonell kontroll som inndatavalidering. Dette sikrer grensen for et system. Men agensbasert risiko viser seg vanligvis i midten av en løkke, i planleggings-, refleksions- eller verktøysfasen.

Tradisjonell sårbarhets-scanning fokuserer også på infrastruktur og programvare. Men AI-eksekveringsrisiko bor i resonnerings- og handlingsslaget til agenten.

Spørsmålet er: Hvordan beskytter du noe som kan velge sin neste handling? Du kan ikke bare pakke kontroller rundt en enkelt modellkall. Du må sikre arbeidsflyten.

Sikre agensbasert AI: Hva fungerer faktisk?

Når det gjelder å sikre agensbasert AI, må det være et skifte fra perimetersyn til livssyklussyn. Agenter bør ikke tillates å reinterpretere mål uendelig, og det finnes flere måter å oppnå dette på.

Etablering av tillatte sekvenser av mål, regulering av dybden av planekspansjonstrær, overvåking av resonneringsavvik og forbud mot selvskrevne mål utenfor omfanget er alle essensielle kontroller. Uventede variasjoner i resonnering er ofte forløperne til manipulering.

Hardne verktøyseksekvering. Verktøy er der planen møter virkeligheten, og sikkerhet må dekke tillatelseskontroller før verktøyseksekvering, sandboxede eksekveringsmiljøer, strenge parametervalidering og just-in-time-creditterføring. Hver verktøyseksekvering må logges som en førsteklasses sikkerhetsbegivenhet.

Isolere minne og privilegieomfang. Minne må behandles som sensitiv infrastruktur. Dette betyr validering av skriveoperasjoner, minnedomænepartitionering, begrensning av omfanget for leseoperasjoner per oppgave, bruk av midlertidige kreditter og forhindring av arvet privilegier. Uvalideret tillatelsesakkumulering er en stor agensbasert AI-risiko.

Sikre multi-agentsamordning. I distribuerte agentsystemer blir kommunikasjonen selv en angrepsvektor. Dette bør innebære agentautentisering, meldings-skjemavalidering, begrensede kommunikasjonskanaler og overvåking av avvikende påvirkningsmønster. Når samordning avviker fra forventede flyter, bør isolering skje automatisk.

Fra eksponeringsstyring til eksponeringsvurdering for AI-systemer

Dette er der en bredere sikkerhetsfilosofi blir nøkkel. Tradisjonell sårbarhetsstyring identifiserer kjente svakheter. Men autonome AI-systemer introduserer emergent eksponering: risiko som oppstår fra konfigurasjon, privilegie-design, integrasjonsveier og dynamisk atferd.

Dette stemmer overens med hva industrien har kalt eksponeringsstyring og, mer nylig, eksponeringsvurdering.

Eksponeringsstyring handler om å ha kontinuerlig visibilitet i hvordan systemer (inkludert sky-aktiver, identiteter, applikasjoner og nå AI-agenter) skaper veier som angripere kan utnytte.

For autonome AI-systemers sikkerhet betyr det å spørre: Hva kan denne agenten nå? Hva tillatelser akkumulerer den? Hva systemer orkestrerer den? Og hvor møter eksekvering sensitive data?

Team som allerede bruker eksponeringsbaserte strategier for å redusere cyberrisiko er i en solid posisjon til å utvide disse prinsippene til sine AI-miljøer. For eksempel gir plattformer som unifierer identitet, sky og sårbarhetsvisibilitet en måte å forstå hvordan privilegerte AI-agenter møter eksisterende angrepsveier på.

Nøkkelen er ikke leverandørverktøy per se. Det handler om mindset:

Du sikrer ikke agensbasert AI ved å beskytte modellen. Du sikrer den ved kontinuerlig å måle og redusere dens eksponering.

Styring av eksekveringslagrisiko i agensbasert AI

Kjennetegnet på agensbasert AI-sikkerhet er dette: Angrepsflaten er ikke responsen, men arbeidsflyten.

Eksekveringslagrisiko er mange, inkludert uautentisert verktøybruk, identitetsspoofing, privilegiekryp, minnepoisonering, kryss-agents manipulering og menneske-i-løkken-systemer under tvang.

Å mildne disse risikoene betyr å ha visibilitet i identitetsforhold, privilegiearv, API-avhengigheter, runtime-aktivitet og eksekveringstelemetri.

Dette er ikke lenger bare GenAI-sikkerhet; det handler også om AI-operasjonssikkerhet.

Agensbasert AI-risiko er arkitektonisk, ikke hypotetisk

Agensbasert AI er neste skritt i utviklingen av bedriftens AI-tilpasning. Den holder løftet om effisiens, automatisering og skalerbarhet. Men den introduserer også risiko fra hva AI sier til hva AI gjør.

Overgangen fra generativ til agensbasert AI påvirker følgende:

• Innholdrisiko til eksponeringsrisiko
• Statiske forespørsler til dynamiske eksekveringsflyter
• Menneskelig gjennomgang til autonom eksekvering
• Applikasjonssikkerhet til eksponeringsstyring

Sikkerhetsledere som forstår denne overgangen først, kan arkitektur-sikre vegger som skalerer med autonomi. Andre vil ende opp med digitale insiders uten insiderkontroller.

Fremtiden for AI i bedriften er agensbasert. Fremtiden for AI-sikkerhet må være eksponeringsdrevet, arbeidsflyt-bevisst og designet for maskinhastighetsoperasjoner.

For når AI-agenter har evnen til å eksekvere, er den eneste gyldige tilnærmingen å kontinuerlig forstå (og mildne) hva de er eksponert for.