AI‑agenter är redo att agera. De flesta företag är inte redo att låta dem göra det.

Under större delen av den generativa AI‑eran har vi fokuserat på vad modellerna säger och vad vi matar in i dem. Vi granskar uppmaningar, filtrerar svar, utför red‑team‑tester på modeller och bygger kontroller kring indata och utdata. Dessa skydd är fortfarande viktiga, men de designades för en värld där AI främst genererade något för en människa att konsumera.

Agenter förändrar den ekvationen. De konsumerar eller genererar inte bara information. De agerar.

En agent kan köra verktyg, anropa underagenter, samarbeta med andra agenter, anropa API:er, komma åt data, använda autentiseringsuppgifter, anropa MCP‑servrar, generera och köra kod, och fatta en rad beslut autonomt i strävan efter ett mål. En obeveklig strävan. När det väl sker är den centrala frågan inte längre bara om modellen levererade ett säkert svar. Det handlar om huruvida de handlingar den utför är säkra att verkställa.

Senaste avslöjandena från OpenAI gör den distinktionen allt viktigare. OpenAI har börjat systematiskt rapportera oväntat eller oroande modellbeteende, samtidigt som dess bredare säkerhetsarbete i allt högre grad adresserar de risker som uppstår när modeller får större autonomi och tillgång till verktyg.

Lärdomen är inte att agenter är inneboende osäkra. Det är att säkerhetsgränsen har förflyttats.

Agentbaserade system kräver en annan driftsmodell

Agentbaserad AI är inte bara en annan applikationsarkitektur. Programvaran själv bestämmer i allt högre grad hur arbete utförs.

En agent kan stöta på ett hinder, tolka vad som hänt och välja en annan väg. Den kan kombinera verktyg på sätt som inte uttryckligen designats i förväg. Den kan generera kod och köra den som en del av samma arbetsflöde. Sekvensen av handlingar kan förändras varje gång agenten körs.

Samtidigt växer befolkningen som skapar denna programvara dramatiskt. Som vi har skrivit om framväxten av medborgarutvecklare, AI förvandlar människor som aldrig betraktat sig själva som utvecklare till programvaruskapare. En marknadsförare, finansiell analytiker eller driftchef kan nu beskriva vad de vill ha och skapa en agent som kan interagera med verkliga affärssystem.

Det är en extraordinär expansion av vem som kan bygga programvara och vad den programvaran kan göra. Det innebär också att organisationer kommer att ha mycket mer autonom programvara som verkar över många fler delar av verksamheten.

Svaret kan inte bara vara att tillämpa gårdagens kontroller på denna nya miljö. Om företag inte kan driva dessa system på ett säkert sätt blir alternativet att begränsa dem och i slutändan bromsa de produktivitetsvinster de försöker uppnå.

Kontroll måste finnas där agenter agerar

Allt eftersom AI blir mer autonom förflyttas utmaningen från att kontrollera vad som matas in i en modell till att kontrollera vad som händer när dess beslut blir handlingar.

En agent kan börja med en godkänd användare, en acceptabel uppmaning, legitima autentiseringsuppgifter och auktoriserad åtkomst till ett verktyg. Ingen av dessa faktorer garanterar att varje efterföljande handling bör verkställas.

Det är här körningstid blir kritisk. Organisationer måste förstå inte bara vem agenten är, utan ställa frågor om vad den gör just nu:

• Vilka verktyg den anropar,
• Vilka resurser den får åtkomst till, vilken kod den försöker köra, 
• Vilka underagenter och annan agentkommunikation som pågår,
• Vad som hände omedelbart före den handlingen och om dess beteende fortfarande ligger inom acceptabla gränser,
• Vad agenten gör under huven under körningstid.

Och när den inte gör det, behöver systemet förmågan att ingripa i realtid innan verkställning.

Detta är en viktig distinktion. Observabilitet visar vad som hände. Körningstidskontroll ger dig möjlighet att begränsa agentens exekveringslager.

Det blir särskilt viktigt eftersom agentbeteende både är icke-deterministiskt och mångdimensionellt. En blockerad handling får en agent att prova ett annat tillvägagångssätt mot sitt mål. Ett till synes ofarligt verktygsanrop kan bli riskabelt på grund av vad som föregick det. Att bara observera eller “detecting and responding” är för sent i spelet för att faktiskt kunna kontrollera agentens åtkomst och exekvering.  

Körningstiden måste vara inline och synkron för att kunna hålla jämna steg med AI‑hastigheten.  Den grundläggande utmaningen med att omfamna sådana tillvägagångssätt ligger i föregående AI‑tids tänkesätt som förlitar sig på en längre analys‑ och upptäcktsmetodik.  Dessa principer gäller inte längre i dagens värld..

Säkerhet i körningstid kräver kontext, inte bara kontroller

Det finns en tendens att svara på framväxande AI-risker genom att minska autonomi: ge agenter färre behörigheter, kräva mänskligt godkännande oftare eller begränsa de miljöer de verkar i. Sådana kontroller kan ibland vara lämpliga, särskilt för högriskåtgärder.

Men de kan inte vara den långsiktiga driftsmodellen.

Om en människa måste godkänna varje meningsfullt beslut har vi tagit bort en stor del av värdet i en autonom agent. Genom att förlita oss på strikta människa‑i‑loopen‑interaktioner har vi förvandlat några av de mest begåvade individerna till “knapptryckare”. Detta påverkar direkt förmågan att förstå omfattningen och beroendena i den kodbas som agentbaserade organisationer kör ovanpå.

Det ekonomiska löftet med agentbaserad AI kommer precis från att låta mjukvara utföra meningsfullt arbete självständigt och kontinuerligt – dygnet runt. Målet bör därför inte vara att eliminera autonomi, utan att göra ökad autonomi säker att använda.

Det kräver oberoende kontroller utanför agentens egna resonemangsprocess. Anthropic’s forskning om agentisk missanpassning, genomförd i medvetet konstruerade simuleringar, illustrerar varför detta är viktigt. När system blir mer autonoma kan deras beteende avvika från vad deras operatörer förväntar sig, även när det ursprungliga målet verkar tydligt.

Den praktiska implikationen är enkel: organisationer kan inte förlita sig enbart på att förstå vad en agent blev ombedd att göra. De måste förstå och kontrollera vad den faktiskt gör.

Agenten är inte längre den svåra delen

Branschen har lagt enorm energi på att göra agenter mer kapabla. Vi närmar oss snabbt den punkt där förmåga inte längre är den främsta begränsningen för företagsadoption.

Begränsningen är kontroll.

När agenter blir mer autonoma ökar konsekvenserna av deras handlingar – och kontroller som är utformade för förutsägbar mjukvara blir mindre effektiva. Företag behöver kontinuerlig insyn i vad agenter gör, kontexten för att förstå varför dessa handlingar är viktiga och förmågan att ingripa utan att placera en människa i mitten av varje beslut.

Det förändrar vad det innebär att driva mjukvara.

• Utvecklare måste förstå hur agenter faktiskt beter sig, inte bara hur de är designade att bete sig.
• Plattform- och säkerhetsteam måste etablera gränser som förblir verkställbara när agenter agerar över system och verktyg.
• Affärsledare behöver förtroende för att ökad autonomi inte innebär att ge upp kontroll.

Detta är i grunden annorlunda än att säkra en annan applikation eller styra en annan modell. Vi introducerar autonoma aktörer i företagsmiljöer: system som kan resonera, fatta beslut och vidta åtgärder. Om organisationer inte kan se och kontrollera dessa handlingar i realtid kommer de så småningom att behöva begränsa vad agenter kan göra, vilket minskar en stor del av det värde som autonomi skulle skapa.

Svaret är inte att anta att vi kan förhindra varje dåligt beslut. När system blir mer autonoma och icke-deterministiska blir det allt svårare att garantera.

Målet är att säkerställa att en dålig eller destruktiv handling inte leder till ett negativt resultat.

Detta kräver ett nytt operativt lager kring agenter: ett som kan observera beteende kontinuerligt, förstå handlingar i kontext, upprätthålla gränser genom hela agentens körstack och ingripa innan en oavsiktlig eller oacceptabel handling blir ett irreversibelt resultat.

Nästa fas av företags‑AI kommer inte bara att definieras av hur kapabla agenter blir. Den kommer att definieras av hur mycket autonomi organisationer säkert kan ge dem.