Den skjulte trusselen av AI-agenter krever et nytt sikkerhetsmodell

Agent-basert AI har blitt mer vanlig de siste årene. De brukes nå for flere funksjoner, inkludert å autentisere brukere, flytte kapital, utløse kompatibilitetsarbeidsflyter og koordinere på tvers av bedriftsmiljøer med minimal menneskelig overvåking.

Imidlertid oppstår det en merkelig problem med økende autonomi, ikke på niveauet med instruksjoner eller retningslinjer, men på niveauet med infrastruktur-tillit. Agent-systemer blir gitt innside-myndighet mens de fortsatt kjører på beregningsmiljøer som aldri var designet for å beskytte autonome besluttskyttere fra infrastrukturen under dem.

Tradisjonell sikkerhet antar at programvare er passiv, men agent-systemer er ikke. De resonerer, husker og handler kontinuerlig, autonomt og med delegerende myndighet.

Ikke å glemme at AI-agenter sannsynligvis har tilgang til personlige data, basert på deres brukstilfelle, som e-poster og samtalelogger, blant annet.

I tillegg, mens maskinvarubasert beskyttelse, som konfidensielle virtuelle maskiner og sikre områder, eksisterer, er de ikke ennå standardgrunnlaget for de fleste agent-baserte AI-utviklinger. Som resultat kjører mange agenter fortsatt i miljøer hvor sensitiv data er åpen for den underliggende infrastrukturen under kjøretid.

Agenter er innbyggere, ikke verktøy

Sikkerhetsteam vet allerede hvor utfordrende det er å begrense innbygder-trusler, et problem som er fremhevet i Verizon’s 2025 data-breach rapport, som viser at system-intrusjon var ansvarlig for over 53% av bekreftede brudd i fjor. I 22% av disse tilfellene, brukte angriperne stjålne legitimasjoner for å få tilgang, noe som viser hvor ofte de lykkes ved å bruke legitime identiteter i stedet for å utnytte tekniske svakheter.

Nå, vurdér en agent, som består av instruksjonslogikk, verktøy og tillegg, legitimasjoner, samt retningslinjer. Ikke bare kan den kjøre kode og bla gjennom nettet, men den kan også spørre CRM, lese e-poster og skyve billetter, blant mange andre ting. Hva kombinasjonen av funksjoner har ført til, er tradisjonelle angrepsflater i et moderne grensesnitt.

Faren som utgjøres av slike innbygder-trusler er ikke spekulativ. The Open Web Application Security Project (OWASP) listet “Prompt Injection” som en kritisk sårbarhet for LLM-applikasjoner, og bemerkte dens særlige fare for agent-systemer som kjeder handlinger. Microsoft’s Threat Intelligence team har også publisert råd som advarer mot at AI-systemer med verktøy-tilgang kan bli omgjort til å utføre data-tyveri hvis sikkerhetstiltak ikke er arkitektonisk tvungne.

Disse rapportene er en påminnelse om at agenter som har legitim tilgang til systemer og data kan bli snudd mot eierne sine. Men, risikolandsskapet for agent-systemer er ikke enhetlig. Applikasjonslag-trusler som prompt-injeksjon og verktøy-misbruk stammer fra modellens evne til å skille mellom tillitne instruksjoner og ustette bruker-inndata, en designbegrensning som ingen mengde minnehåndtering kan fikse.

Et annet og like viktig problem eksisterer på infrastruktur-nivå: noen agenter kjører i klartekst-minne, noe som betyr at sensitiv informasjon – som chatt-historikk, API-responser og dokumenter – kan sees mens den blir prosessert og kan forbli tilgjengelig senere. OWASP identifiserer denne risikoen som Sensitive Information Disclosure (LLM02) og System Prompt Leakage (LLM07) og forslår å bruke kontekst-isolasjon, namespace-segmentering og minne-sandboxing som viktige sikkerhetstiltak.

Slik sett, bør brukerne ikke behandle disse agentene som bare vanlige applikasjoner, ettersom de er dynamiske, resonerende utøvere som krever en sikkerhetsmodell som tar hensyn til deres unike natur som ikke-menneskelige enheter med myndighet. Dette tilnærmet må inkludere både programvare-kontroller for å begrense hvordan modellen handler og maskinvarubasert beskyttelse for å holde data trygg mens den brukes.

Tillits-arkitekturen har en kritisk feil

Gjeldende sikkerhetspraksis fokuserer på å beskytte data i ro og under overføring. Den siste grensen, data i bruk, er nesten helt åpen.

Når en AI-agent resonerer over en konfidensiell datasett for å godkjenne et lån, analysere pasientjournaler eller utføre en handel, er data vanligvis dechiffrert og prosessert i klartekst innenfor serverens minne.

I standard sky-modeller kan hvem som helst med tilstrekkelig kontroll over infrastrukturen, inkludert hypervisor-administratorene eller co-tenant-angripere, potensielt se inn i hva som skjer mens en arbeidsbyrde kjører. For AI-agenter er denne eksponeringen spesielt farlig, siden de trenger tilgang til sensitiv informasjon for å gjøre jobben sin, noe som potensielt kan bli angrepsflaten.

Som Lumia Security demonstrerte, kan angripere med tilgang til en lokal maskin få JWT og sesjonsnøkler direkte fra prosessminnet til ChatGPT, Claude og Copilot skrivebordsapplikasjoner. Disse stjålne legitimasjoner kan la dem late som om de er en annen bruker, stjele samtalehistorikk og injisere instruksjoner i pågående sesjoner som kan endre agentens atferd eller plante feil minner.

Et eksempel på dette kan være AWS CodeBuild’s minne-dump-episode i juli 2025. Angriperne la til hemmelig kode i et prosjekt, og når systemet kjørte det, kunne koden se inn i datamaskinens minne og stjele skjulte innloggings-token som var lagret der. Med disse tokenene kunne angriperne endre prosjektets kode og potensielt få tilgang til andre systemer.

For finansielle institusjoner er den stille manipuleringen eksistensiell. Banker, forsikringsselskaper og investeringsselskaper absorberer allerede gjennomsnittlige brudd kostnader på over 10 millioner dollar, og de forstår at integritet betyr like mye som konfidensialitet. Ifølge en nylig Informatica rapport, ble “tillits-paradokset” forklart som følger: organisasjoner deployerer autonome agenter raskere enn de kan verifisere deres utdata. Resultatet er automatisering som kan hardkode feil eller fordommer rett inn i kjerneprosesser, som opererer i maskin-hastighet.

Konfidensiell beregning og tilfelle for isolasjon

Inkrementelle fikser vil ikke løse problemet som ligger for hånden, selv om strengere tilgangskontroller og bedre overvåking kan hjelpe. Likevel kan ingen av dem endre det underliggende problemet. Problemet er arkitektonisk, og så lenge beregning skjer i åpen minne, vil agenter være sårbare i øyeblikket de betyr mest, som er resonnement.

Konfidensiell beregning, definert av Confidential Computing Consortium (CCC) som beskyttelse av data i bruk via maskinvarubasert Trusted Execution Environments (TEEs), adresserer direkte den kritiske feilen.

For AI-agenter er denne maskinvarubaserte isolasjonen transformasjonell, ettersom den tillater en agents identitets-legitimasjoner, dens modell-vekt, proprietære instruksjoner og sensitiv bruker-data som den prosesserer å forbli kryptert, ikke bare på en disk eller over et nettverk, men aktivt i minne under kjøring. Separasjonen bryter definitivt det tradisjonelle modellen hvor kontroll over infrastrukturen garanterer kontroll over arbeidsbyrden.

Fjern-attestasjon gir verifiserbar kryptografisk bevis for at en bestemt slutting-begjæring ble kjørt innenfor en maskinvarubasert tillitsfullstendig utførelse-miljø, enten det er en CPU eller GPU. Beviset genereres fra maskinmålinger og leveres sammen med svaret, og tillater uavhengig verifisering av hvor og hvordan arbeidsbyrden ble kjørt.

Attestasjons-poster avslører ikke koden som ble kjørt. I stedet er hver arbeidsbyrd knyttet til en unik arbeidsbyrd-ID eller transaksjons-ID, og TEE-attestasjons-posten er koblet til denne identifikatoren. Attestasjonen bekrefter at beregningen ble kjørt innenfor et tillitsfullstendig miljø uten å avsløre innholdet.

Oppsettet skaper en ny basis for overholdelse og granskning, og tillater kobling av en agents handlinger til en bestemt versjon av kode som har blitt attestert og en kjent mengde inn-data.

Mot ansvarlig autonomi

Konsekvensene for systemet beskrevet ovenfor går utover grunnleggende sikkerhet. Vurdér lovene som styrer finans, helse og personlige opplysninger. Mange jurisdiksjoner anvender data-suverenitetsregler som begrenser hvor informasjon kan bli prosessert. I Kina, krever Personopplysningsbeskyttelsesloven og Datatilsynsloven at bestemte kategorier av data, viktig personlig data for eksempel, skal bli lagret hjemme og gjennomgått før overføring til utlandet.

På samme måte har flere Gulf-land, som UAE og Saudi-Arabia, antatt lignende tilnærming, spesielt for finansiell, regjerings- og kritisk-infrastruktur-data.

Konfidensiell beregning kan styrke sikkerhet og granskning ved å beskytte data mens den blir prosessert og å tillate attestasjon av kjøretid-miljøet. Men det endrer ikke hvor prosessering skjer. Hvor data-suverenitetsregler krever lokal prosessering eller pålegger betingelser for grenseoverskridende overføringer, kan tillitsfullstendige miljøer støtte overholdelseskontroller, ikke erstatter juridiske krav.

Videre tillater konfidensiell beregning sikker samarbeid i multi-agent-systemer, hvor agenter fra forskjellige organisasjoner eller innenfor forskjellige avdelinger ofte må dele informasjon eller verifisere utdata uten å avsløre proprietær data.

Og når teknologien kombineres med null-tillit-arkitektur, er resultatet en mye sterkere basis. Null-tillit validerer kontinuerlig identitet og tilgang, mens konfidensiell beregning beskytter maskinens minne mot uautorisert uttrekk og forhindrer at sensitiv informasjon blir gjenopprettet i klartekst.

Sammen forsvarer de hva som virkelig betyr noe, for eksempel beslutningslogikk, sensitive inndata og de kryptografiske nøklene som autoriserer handling.

Nytt grunnlag for autonome systemer

Hvis hver interaksjon setter mennesker i fare for å bli utsatt, vil de ikke la AI håndtere ting som helsejournaler eller ta finansielle beslutninger. På samme måte vil selskaper ikke automatisere sine viktigste oppgaver hvis det kan føre til regulatoriske problemer eller tap av viktig data.

Alvorlige byggere erkjenner at applikasjonslag-fikser alene er utilstrekkelige i høy-tilgjengelighet-miljøer.

Når agenter blir betrodd med finansiell myndighet, regulert data eller tverr-organisatorisk koordinering, blir infrastruktur-eksponering mer enn et teoretisk bekymring. Og uten konfidensiell kjøring i slike sammenhenger, blir mange agenter et mykt mål, med nøklene stjålne og logikken formbar. Størrelsen på moderne brudd viser nøyaktig hvor den veien fører.

Personvern og integritet er ikke valgfrie funksjoner som kan legges til etter deployering. De må bli arkitektonisk bygget opp fra silisium og oppover. Derfor, for å sikre at agent-basert AI skal kunne skaleres trygt, kan maskinvarubasert konfidensialitet ikke bare betraktes som en konkurransefordel, men som grunnlaget.