AI‑agenter er klar til at handle. De fleste virksomheder er ikke klar til at lade dem gøre det.

I størstedelen af den generative AI‑æra har vi fokuseret på, hvad modellerne siger, og hvad vi putter i dem. Vi inspicerer prompts, filtrerer svar, udfører red‑team‑tests på modeller og bygger kontroller omkring input og output. Disse beskyttelser er stadig vigtige, men de blev designet til en verden, hvor AI primært genererede noget, som et menneske skulle forbruge.

Agenter ændrer den ligning. De forbruger eller genererer ikke blot information. De handler.

En agent kan udføre værktøjer, aktivere under‑agenter, samarbejde med andre agenter, kalde API’er, få adgang til data, bruge legitimationsoplysninger, kalde MCP‑servere, generere og udføre kode og træffe en række beslutninger autonomt i jagten på et mål. En ubønhørlig jagt. Når det sker, er det centrale spørgsmål ikke længere blot, om modellen leverede et sikkert svar. Det er, om de handlinger, den foretager, er sikre at udføre.

De seneste afsløringer fra OpenAI gør den sondring stadig vigtigere. OpenAI er begyndt systematisk at rapportere uventet eller bekymrende modeladfærd, mens deres bredere sikkerhedsarbejde i stigende grad adresserer de risici, der opstår, når modeller får større autonomi og adgang til værktøjer.

Læringen er ikke, at agenter er iboende usikre. Det er, at sikkerhedsgrænsen er flyttet.

Agentbaserede systemer kræver en anden driftsmodel

Agentbaseret AI er ikke blot en anden applikationsarkitektur. Softwaren selv bestemmer i stigende grad, hvordan arbejdet udføres.

En agent kan støde på et forhindring, fortolke hvad der skete og vælge en anden vej. Den kan kombinere værktøjer på måder, der ikke var eksplicit designet på forhånd. Den kan generere kode og udføre den kode som en del af den samme arbejdsproces. Handlingssekvensen kan ændre sig hver gang agenten kører.

Samtidig udvides befolkningen, der skaber denne software, dramatisk. Som vi har skrevet om fremkomsten af borgerudvikleren, AI forvandler folk, der aldrig har betragtet sig selv som udviklere, til software‑skabere. En marketingmedarbejder, finansanalytiker eller driftsleder kan nu beskrive, hvad de ønsker, og skabe en agent, der kan interagere med reelle forretningssystemer.

Det er en ekstraordinær udvidelse af, hvem der kan bygge software, og hvad den software kan gøre. Det betyder også, at organisationer vil have langt mere autonom software, der opererer på langt flere dele af forretningen.

Svaret kan ikke blot være at anvende gårsdagens kontroller i dette nye miljø. Hvis virksomheder ikke kan drive disse systemer sikkert, vil alternativet være at begrænse dem og i sidste ende bremse de produktivitetsgevinster, de forsøger at opnå.

Kontrol skal eksistere, hvor agenter handler

Efterhånden som AI bliver mere autonom, skifter udfordringen fra at kontrollere, hvad der kommer ind i en model, til at kontrollere, hvad der sker, når dens beslutninger bliver handlinger.

En agent kan starte med en godkendt bruger, en acceptabel prompt, legitime legitimationsoplysninger og autoriseret adgang til et værktøj. Ingen af disse ting garanterer, at hver efterfølgende handling bør udføres.

Det er her, runtime bliver kritisk. Organisationer skal ikke kun forstå, hvem agenten er, men også stille spørgsmål til, hvad den gør lige nu:

• Hvilke værktøjer den aktiverer,
• Hvilke ressourcer den får adgang til, hvilken kode den forsøger at udføre, 
• Hvilke under‑agenter og andre agentkommunikationer der foregår,
• Hvad der skete umiddelbart før den handling, og om dens adfærd forbliver inden for acceptable grænser,
• Hvad agenten laver bag kulisserne i runtime.

Og når den ikke gør det, har systemet brug for muligheden for at gribe ind i realtid før udførelse.

Dette er en vigtig sondring. Observabilitet fortæller dig, hvad der skete. Runtime‑kontrol giver dig mulighed for at indeholde agentens eksekveringslag.

Det bliver især vigtigt, fordi agentadfærd både er ikke‑deterministisk og multidimensional. En blokeret handling vil få en agent til at prøve en anden tilgang mod sit mål. Et tilsyneladende harmløst værktøjskald kan blive risikabelt på grund af, hvad der gik forud for det. At blot observere eller “detektere og reagere” er for sent i spillet til faktisk at kunne kontrollere agentens adgang og eksekvering.

Runtime‑miljøet skal være indlejret og synkront for at kunne holde trit med AI‑hastigheden. Den grundlæggende udfordring ved at omfavne sådanne tilgange hviler på tænkning fra før‑AI‑æraen, som bygger på en længerevarende analyse‑ og detekteringsmetodologi. Disse principper gælder ikke længere i nutidens verden.

Runtime‑sikkerhed kræver kontekst, ikke kun kontroller

Der er en tendens til at reagere på fremvoksende AI‑risiko ved at reducere autonomi: give agenter færre tilladelser, kræve menneskelig godkendelse oftere eller begrænse de miljøer, de opererer i. Sådanne kontroller kan nogle gange være passende, især for handlinger med høj risiko.

Men de kan ikke være den langsigtede driftsmodel.

Hvis et menneske skal godkende hver meningsfuld beslutning, har vi fjernet meget af værdien af en autonom agent. Ved at stole på strenge menneske‑i‑sløjfen‑interaktioner har vi forvandlet nogle af de mest talentfulde individer til “knap‑trykere”. Dette påvirker direkte evnen til at forstå omfanget og afhængighederne i den kodebase, som agentbaserede organisationer kører ovenpå.

Det økonomiske løfte ved agentisk AI kommer netop fra at lade software udføre meningsfuldt arbejde uafhængigt og kontinuerligt – 24/7. Målet bør derfor ikke være at fjerne autonomi, men at gøre større autonomi sikker at anvende.

Det kræver uafhængige kontroller uden for agentens egen ræsonnementproces. Anthropic’s forskning i agentisk misalignment, udført i bevidst konstruerede simulationer, illustrerer, hvorfor dette er vigtigt. Efterhånden som systemer bliver mere autonome, kan deres adfærd afvige fra, hvad deres operatører forventer, selv når det oprindelige mål synes klart.

Den praktiske implikation er enkel: organisationer kan ikke udelukkende stole på at forstå, hvad en agent blev bedt om at gøre. De skal forstå og kontrollere, hvad den faktisk gør.

Agenten er ikke længere den svære del

Industrien har brugt enorm energi på at gøre agenter mere kapable. Vi nærmer os hurtigt et punkt, hvor kapacitet ikke længere er den primære begrænsning for virksomheders adoption.

Begrænsningen er kontrol.

Efterhånden som agenter bliver mere autonome, øges konsekvenserne af deres handlinger – og kontroller designet til forudsigeligt software bliver mindre effektive. Virksomheder har brug for kontinuerlig synlighed i, hvad agenter gør, kontekst til at forstå, hvorfor disse handlinger betyder noget, og evnen til at gribe ind uden at placere et menneske i midten af hver beslutning.

Det ændrer, hvad det betyder at drive software.

• Udviklere skal forstå, hvordan agenter faktisk opfører sig, ikke kun hvordan de er designet til at opføre sig.
• Platform‑ og sikkerhedsteams skal etablere grænser, der forbliver håndhævelige, når agenter opererer på tværs af systemer og værktøjer.
• Forretningsledere har brug for tillid til, at større autonomi ikke betyder at miste kontrol.

Dette er grundlæggende anderledes end at sikre en anden applikation eller styre en anden model. Vi introducerer autonome aktører i virksomhedsmiljøer: systemer, der kan ræsonnere, træffe beslutninger og handle. Hvis organisationer ikke kan se og kontrollere disse handlinger, mens de sker, vil de til sidst blive nødt til at begrænse, hvad agenter kan gøre, hvilket begrænser meget af den værdi, autonomi skulle skabe.

Svaret er ikke at antage, at vi kan forhindre enhver dårlig beslutning. Efterhånden som systemer bliver mere autonome og ikke‑deterministiske, bliver det i stigende grad svært at garantere dette.

Målet er at sikre, at en dårlig eller destruktiv handling ikke fører til et negativt udfald.

Dette kræver et nyt operationelt lag omkring agenter: et lag, der kan observere adfærd kontinuerligt, forstå handlinger i kontekst, håndhæve grænser gennem hele agentens runtime‑stack og gribe ind, før en utilsigtet eller uacceptabel handling bliver til et irreversibelt resultat.

Den næste fase af enterprise‑AI vil ikke kun blive defineret af, hvor kapable agenter bliver. Den vil blive defineret af, hvor meget autonomi organisationer sikkert kan give dem.