Tankeledere

Fra Generative til Agentic AI: Skiftet fra Indholdrisiko til Udførelseseksponering

mm
Føj Unite.AI til dine foretrukne kilder på Google
A photorealistic widescreen image of a modern Security Operations Center (SOC) where a single glowing data stream from a computer screen branches out into multiple autonomous pathways, representing the shift from generative AI to complex agentic AI workflows.

Enterprise AI udvikler sig hurtigt. Det, der startede som generative AI-kopiloter, der udarbejdede e-mails og sammenfattede dokumenter, er nu på vej til at blive noget meget mere autonomet: systemer, der planlægger, beslutter og udfører opgaver på tværs af værktøjer og miljøer.

Dette er skiftet fra generative til agentic AI. Det er at se risikoen forvandle sig.

GenAI introducerede indholdrisici, herunder hallucinationer, dataleaks via prompts og fordomsfulde output. Agentic AI-eksponering sker gennem dets autonome systemer, der har tilladelse, hukommelse og evnen til at få adgang til alle tilgængelige værktøjer i maskinens hastighed.

Dette er en mulighed for sikkerheds-, governance- og AI-fagfolk til at omvurdere deres stilling til disse nye risici.

Hvad er agentic AI-risiko?

Agentic AI-risiko henviser til de sikkerheds-, operations- og governance-risici, der stilles af AI-systemer, der opererer autonomt, ikke kun genererer tekst, men også udfører multi-trins arbejdsprocesser på enterprise-systemer.

I modsætning til traditionelle store sprogmodeller (LLM’er) kan agentic-systemer bryde opgaver ned i dynamiske arbejdsprocesser, foretage eksterne API-anmodninger og aktiverer interne applikationer, og gemme og hente hukommelse. De kan også operere under delegueret identitet og kommunikere med andre agenter.

I andre ord er de mindre som chatbots og mere som junior-digitale medarbejdere. Dette repræsenterer en massiv øgning i AI-agentens angrebsoverflade.

Generative vs agentic AI: Hvad ændrer sig?

Generative AI-risiko er centreret om output. Sikkerhedsteams stiller spørgsmål som, om modellen lækker data, om den kan hallucinere, eller om skadelig eller ikke-sammenlignelig indhold genereres.

Mennesker er fast i løkken. AI foreslår, mennesker godkender.

Agentic AI-risiko er handlingssorienteret. Nu må sikkerhedsteams spørge sig selv, hvilke systemer agenten kan interagere med, hvilke tilladelser den vil arve, hvor langt dens plan kan nå, og hvad der vil ske, hvis den bliver bedraget under udførelse.

Forskellen kan være meget lille, men det er betydeligt: Generative AI skaber indhold. Agentic AI skaber konsekvenser. Dette er skiftet fra indholdrisiko til udførelseseksponering.

Hvordan udvider agentic AI enterprise-angrebsoverflader?

Agentic AI tilføjer ikke bare en ny applikation. Det skaber en ny operationslag. Her er, hvordan angrebsoverfladen vokser:

1. Privilegerede AI-agenter

Der er mange agenter, der handler på vegne af brugere eller servicekonti. Når omfanget af tilladelser ikke er stramt, bliver de værdifulde mål.

Dette kan føre til forvirrede stedfortræder-problemer, tilladelsesescalering og lateral bevægelse. Dette er et problem, når cloud-, SaaS- og interne systemer giver dynamisk eller arvet adgang til agenter.

2. Dynamiske udførelsesveje

Kontrollflader i traditionelle apps er deterministiske. Kontrollflader i agentic AI-systemer er det ikke.

De tænker over mål, handlinger, reflekterer, forfiner og aktiverer værktøjer på en ikke-deterministisk måde. Dette fører til svært-analyserede fejltilfælde, komplekse afhængighedsgrafer og kaskaderende fejl i multi-agent-systemer. Sikkerhedscontroller udviklet til deterministiske kontrollflader er ikke anvendelige her.

3. Varig hukommelse

Angrebsoverfladen, der skyldes agenthukommelse, er varig.

Når kort- eller langtids-hukommelse er kompromitteret, kan en ondsindet tilstand påvirke beslutninger på tværs af flere sessioner. Dette adskiller sig fra en enkelt injektion af en prompt, da hukommelseskorrigeringspersistence giver.

4. Maskin-hastigheds beslutningsrisici

Autonome agenter tager beslutninger i en hastighed, der er umulig at matche. Dette bringer maskin-hastigheds beslutningsudfordringer, såsom hurtig fejlpropagation, misbrugscykler langt hurtigere end menneskelig reaktion, og eskalering før detektering er mulig.

I multi-agent-systemer er omfanget af indflydelse hurtigt. En ondsindet agent kan udløse en fejlkaskade i koordineringskæder.

Hvorfor traditionelle kontroller fejler med agentic AI

De fleste traditionelle enterprise-sikkerhedsmodeller afhænger af statiske applikationer, forudsigelige kaldegrafer, menneskelig godkendelse og en klar adskillelse mellem databehandling og udførelse. Agentic AI gør disse antagelser ugyldige.

Tag for eksempel en traditionel kontrol som inputvalidering. Dette sikrer grænsen for et system. Men agentic-risiko viser sig ofte i midten af en løkke, i planlægnings-, refleksions- eller værktøjsfasen.

Traditionel sårbarhedsskanning fokuserer også på infrastruktur og software. Men AI-udførelsesrisiko bor i den resonnerende og handlingsslag af agenten.

Spørgsmålet er: Hvordan beskytter man noget, der kan vælge sin egen næste handling? Man kan ikke bare omringe kontroller omkring en enkelt modelkald. Man må sikre workflowet.

Sikring af agentic AI: Hvad virker?

Når det kommer til at sikre agentic AI, må der være et skift fra perimeter-tænkning til livscyklus-tænkning. Agenter bør ikke have lov til at fortolke mål uendeligt, og der er flere måder at opnå dette på.

Etablering af tilladte sekvenser af mål, regulering af dybden af plan-udvidelses-træer, overvågning af resonansdrift og forbuddet mod selv-udførte mål uden for omfanget er alle essentielle kontroller. Uventede variationer i resonans er ofte forløberne for manipulation.

Hærdning af værktøjsudførelse. Værktøjer er, hvor planen møder virkeligheden, og sikkerhed behøver at dække tilladelseskontroller før værktøjsudførelse, sandbox-udførelsesmiljøer, streng parameter-validering og just-in-time-legitimations-overførsel. Hver værktøjsudførelse skal logges som en førsteklasses sikkerhedsbegivenhed.

Isolér hukommelse og tilladelsesomfang. Hukommelse skal behandles som sensitiv infrastruktur. Dette betyder validering af skriveoperationer, hukommelsesdomæne-opdeling, begrænsning af omfanget for læseoperationer per opgave, brug af kortvarige legitimationer og forhindring af arvede tilladelser. Uvalideret tilladelsesakkumulation er en stor agentic AI-risiko.

Sikr multi-agent-koordination. I distribuerede agentsystemer bliver kommunikationen selv en angrebsvektor. Dette bør indebære agent-autentificering, meddelelsesskema-validering, begrænsede kommunikationskanaler og overvågning af usædvanlige indflydelsesmønstre. Når koordination afviger fra forventede flux, skal isolation ske automatisk.

Fra eksponeringsstyring til eksponeringsvurdering for AI-systemer

Dette er, hvor en bredere sikkerhedsfilosofi bliver nøglen. Traditionel sårbarhedsstyring identificerer kendte svagheder. Men autonome AI-systemer introducerer emergent eksponering: risici, der opstår fra konfiguration, tilladelsesdesign, integrationsveje og dynamisk adfærd.

Dette stemmer overens med, hvad branchen har døbt eksponeringsstyring og, mere nylig, eksponeringsvurdering.

Eksponeringsstyring handler om at have kontinuerlig indsigt i, hvordan systemer (herunder cloud-aktiver, identiteter, applikationer og nu AI-agenter) skaber vejene, som dårlige aktører kan udnytte.

For autonome AI-systemers sikkerhed betyder det at spørge: Hvad kan denne agent nå? Hvilke tilladelser akkumulerer den? Hvilke systemer orkestrerer den? Og hvor mødes udførelse med følsomme data?

Hold, der allerede bruger eksponeringsbaserede strategier til at reducere cyberrisiko, er i en solid position til at udvide disse principper til deres AI-miljøer. For eksempel giver platforme, der samler identitet, cloud og sårbarhedsindsigt, en måde at forstå, hvordan privilegerede AI-agenter mødes med eksisterende angrebsveje.

Nøglen er ikke vendor-værktøjer per se. Det er mindset:

Man sikrer ikke agentic AI ved at beskytte modellen. Man sikrer det ved kontinuerligt at måle og reducere dets eksponering.

Styring af udførelseslagsrisici i agentic AI

Kendetegnet for agentic AI-sikkerhed er dette: Angrebsoverfladen er ikke responsen, men workflowet.

Udførelseslagsrisici er mange, herunder ikke-autentificeret værktøjsbrug, identitets-spoofing, tilladelses-kryb, hukommelsesforgiftning, cross-agent-manipulation og menneske-i-løkken-systemer under pres.

At mildne disse risici kræver indsigt i identitetsrelationer, tilladelsesarv, API-afhængigheder, runtime-aktivitet og udførelsestelemetri.

Dette er ikke længere kun GenAI-sikkerhed; det er AI-operations-sikkerhed også.

Agentic AI-risiko er arkitektonisk, ikke hypotetisk

Agentic AI er det næste skridt i udviklingen af enterprise AI-adopteringsprocessen. Det rummer løftet om efficiens, automatisering og skalerbarhed. Men det introducerer også risiko fra, hvad AI siger til, hvad AI gør.

Overgangen fra generative til agentic-systemer påvirker følgende:

  • Indholdrisiko til udførelsesrisiko
  • Statisk prompt til dynamisk udførelsesflow
  • Menneskelig gennemgang til autonom udførelse
  • Applikationssikkerhed til eksponeringsstyring

Sikkerhedsledere, der forstår denne overgang først, kan arkitektur-sikre guardrails, der skalerer med autonomi. Andre vil ende med digitale insiders uden insider-kontroller.

Fremtiden for AI i virksomheden er agentic. Fremtiden for AI-sikkerhed skal være eksponeringsdrevet, workflow-bevidst og designet til maskin-hastighedsoperationer.

Fordi når AI-agenter har mulighed for at udføre, er den eneste gyldige tilgang at konstant forstå (og mildne) hvad de er eksponeret for.

Kirsten Doyle har været i teknologi-journalistik og redigering i 27 år, hvor hun har udviklet en stor kærlighed til alle aspekter af teknologi samt ord selv. Hendes erfaring omfatter B2B-teknologi med fokus på cybersikkerhed, cloud, virksomhed, digital transformation og datacenter. Hendes specialområder er nyheder, tankeledelse, funktioner, hvide papirer, e-bøger og PR-skrivning, og hun er en erfaren redaktør for både trykte og online publikationer. Hun er også en fast skribent på Bora.