Fra intelligens til beslutningsmyndighed

Kunstig intelligens er ved at bevæge sig ud over blot at besvare spørgsmål og generere indhold. I stigende grad kan AI-systemer fortolke instruktioner, udarbejde planer, vælge værktøjer og udføre opgaver uden løbende menneskelig styring.

Den forskel er vigtig.

Et AI-system, der anbefaler en handling, er ikke det samme som et, der har bemyndigelse til at udføre den. Forskellen handler ikke nødvendigvis om intelligens eller avanceret teknologi. Den handler om beføjelser.

Autonome systemer er ikke begrænset til de mest avancerede store sprogmodeller. De omfatter specialiserede maskinlæringssystemer, robotteknologi, autonome køretøjer, softwareagenter og kombinationer af teknologier, der selvstændigt træffer beslutninger eller udfører handlinger inden for fastlagte driftsforhold.

De potentielle fordele er betydelige. De kan understøtte videnskabelige opdagelser, industrielle processer, sundhedspleje, softwareudvikling og cybersikkerhed. De kan også føre til utilsigtede konsekvenser, afsløre følsomme oplysninger eller iværksætte handlinger, der går ud over det, deres operatører havde til hensigt.

I Sikkerhedsudfordringer ved design af autonome systemer undersøger Mohammad Hamad og Sebastian Steinhorst sikkerhedsudfordringer inden for autonom hændelseshåndtering, risikovurdering, adgangskontrol, datas troværdighed og samspillet mellem autonome systemer. Deres forskning, som i vid udstrækning vedrører cyberfysiske systemer, viser, at udfordringerne ved at sikre maskiners selvstændige handlinger rækker ud over nutidens LLM-agenter.

Autonomiens bredere konsekvenser fortjener en grundig undersøgelse, herunder risikoen for fysisk skade. Men evidens skal fortolkes med omhu. Hændelser med automatiserede køretøjer kan for eksempel ikke uden videre tilskrives de samme mekanismer, som påvirker autonome cybersikkerhedsagenter. Graden af autonomi, driftsforholdene, menneskers involvering og den dokumenterede årsagssammenhæng har betydning.

Tilsvarende viser evidens for, at autonom AI kan forårsage skade, ikke, at reguleringen nødvendigvis halter bagefter. Vi bør heller ikke antage, at autonome systemer i sig selv er vanskelige at sikre.

Det centrale spørgsmål er ikke, om AI kan udføre komplekst arbejde, men om de arkitektoniske, sikkerhedsmæssige og organisatoriske rammer for autonome systemer kan fastsætte passende grænser for delegerede beføjelser og fremlægge verificerbar dokumentation for, at disse grænser overholdes.

Cybersikkerhed giver et særligt nyttigt perspektiv på dette spørgsmål, fordi sikkerhedseksperter i årtier har udfordret antagelser om tillid, tilladelser, adgang og systemadfærd.

Katte-og-mus-legen i maskintempo

Cybersikkerhed er længe blevet beskrevet som en katte-og-mus-leg.

Angribere finder sårbarheder, forsvarere indfører beskyttelsesforanstaltninger, og begge parter tilpasser sig. Cyklussen fortsætter, efterhånden som teknologier, taktikker og driftsmiljøer ændrer sig.

Autonom AI ændrer ikke nødvendigvis spillets grundlæggende regler. Den kan ændre, hvem – eller hvad – der deltager, hvor hurtigt de handler, og hvor meget arbejde der kan udføres uden løbende menneskelig indgriben.

Et autonomt system til offensiv sikkerhed kan identificere eksponerede tjenester, undersøge sårbarheder, udarbejde mulige angrebsveje og teste, om de kan udnyttes. Et defensivt system kan bruge tilsvarende funktioner til at undersøge trusler, finde svagheder og kontrollere, om afhjælpningen virker.

Dette potentiale for dobbelt anvendelse er afgørende for forståelsen af de sikkerhedsmæssige konsekvenser af autonom AI.

Anthropics Projekt Glasswing er et eksempel på AI-understøttet opdagelse af sårbarheder. I sin forskningsopdatering fra maj 2026 rapporterede Anthropic om omfattende resultater med at finde sårbarheder, samtidig med at virksomheden understregede de praktiske udfordringer ved verificering, offentliggørelse og udrulning af sikkerhedsrettelser.

Den forskel er vigtig. At finde en sårbarhed er ikke det samme som at bekræfte, at den kan udnyttes, afhjælpe den eller påvise, at det berørte system er sikkert.

Flere fund kan give bedre indsigt, men samtidig øge kravene til de mennesker og processer, der har ansvaret for at håndtere dem.

Sikkerhedsresultatet afhænger af, hvad der sker derefter.

Hvis angribere og forsvarere kan automatisere dele af deres arbejde, er det relevante spørgsmål ikke blot, hvilken side der har den mest kapable model. Spørgsmålet er, om forsvarerne kan omsætte opdagelser til effektiv afhjælpning og uafhængigt kontrollere resultaterne.

Traditionel penetrationstest bliver ikke forældet, fordi AI kan udføre offensive opgaver. Omfanget skal udvides, så det også omfatter systemer, der fortolker instruktioner, anvender værktøjer, kombinerer tilladelser og forfølger mål over flere trin.

Målet er stadig velkendt: Find svagheder, fastslå deres betydning, afhjælp dem, og bevis, at sikkerhedsforanstaltningerne virker.

Arkitektoniske grænseflader: Hvor sikkerhedsgrænser mødes

En af de mere subtile risici ved autonome systemer opstår, når komponenter, der hver især er autoriseret, interagerer på måder, der fører til utilsigtede resultater.

Jeg betegner disse interaktionspunkter som arkitektoniske grænseflader.

Lad os se på et velkendt eksempel. En organisation begrænser adgangen til en fil ved hjælp af NTFS-tilladelser. En separat cloudbaseret fildelingstjeneste giver en autoriseret bruger mulighed for at dele oplysningerne eksternt.

Hvert system fungerer muligvis efter sine egne regler. Men samspillet mellem dem kan føre til deling af oplysninger på en måde, der overskrider organisationens tilsigtede sikkerhedsgrænse.

Dette er et eksempel på politikker, der potentielt kan være i konflikt, ikke en påstand om, at et fildelingsprodukt er sårbart.

Problemet behøver ikke skyldes en fejl i nogen af kontrollerne isoleret set. Det kan skyldes, at den tilsigtede sikkerhedspolitik ikke håndhæves på tværs af hele arbejdsgangen.

Autonom AI kan støde på lignende forhold, når modeller, applikationer, identiteter, værktøjer, lagre og eksterne tjenester forbindes.

En agent kan have tilladelse til at læse et dokument, oprette et repository og uploade filer. Det betyder ikke nødvendigvis, at den har bemyndigelse til at kombinere disse handlinger på en måde, der blotlægger fortrolige oplysninger.

Forskning giver en praktisk grund til at undersøge disse interaktioner.

I AgentDojo evaluerede forskere promptinjektionsangreb mod AI-agenter, der bruger værktøjer, på tværs af 97 realistiske opgaver og 629 sikkerhedstesttilfælde. Resultaterne viste, at ondsindede instruktioner, der blev indført via output fra værktøjer, som ikke var betroet, kunne kompromittere visse sikkerhedsegenskaber, selvom hverken angrebene eller agenterne havde ensartet succes.

Forskningen fastslår ikke, hvor ofte disse angreb lykkes i produktionsmiljøer. Den viser dog, hvorfor det ikke er tilstrækkeligt kun at evaluere modellens svar, hvis man vil forstå, hvordan et system, der er forbundet med værktøjer, opfører sig.

En beslægtet risiko betegnes undertiden som tilladelsesvask: En handling fremstår legitim, fordi den går gennem et autoriseret værktøj eller mellemled, selvom den samlede adfærd overskrider den tilsigtede bemyndigelsesgrænse.

Når flere agenter samarbejder, kræver disse relationer eksplicitte regler for deltagelse, informationsudveksling og tilladte handlinger.

Ansvarsfordelingen skal også fastlægges på tværs af arkitekturen.

Modeludbydere, platformoperatører, agentudviklere og organisationer, der implementerer systemet, kan kontrollere forskellige dele af det. En brugbar model for delt ansvar fastlægger, hvem der kontrollerer hver grænse, hvem der kan godkende undtagelser, hvem der overvåger udførelsen, og hvem der reagerer, når noget går galt.

Autonomi fjerner ikke ansvaret. Den gør det endnu vigtigere at vide, hvor ansvaret ligger.

Offensiv stringens: Test af det, vi tror, vi ved

Det fører os til et begreb, jeg kalder offensiv stringens.

Offensiv stringens er en disciplineret tilgang til adversarial testning, kritisk undersøgelse og evidensbaseret validering, der udfordrer sikkerhedsantagelser. Tilgangen vurderer, hvordan systemer opfører sig under realistiske forhold, frem for udelukkende at basere sig på arkitekturdesign, dokumenterede kontroller eller formodede beskyttelsesforanstaltninger.

De underliggende metoder er veletablerede. Penetrationstest, trusselsmodellering, red teaming og sikkerhedsvalidering har længe udfordret defensive antagelser.

Offensiv stringens samler disse metoder om ét centralt spørgsmål:

Hvilken dokumentation viser, at den tilsigtede sikkerhedsgrænse holder?

En organisation kan have politikker, der begrænser adgangen til følsomme oplysninger, en model, der er konfigureret til at afvise forbudte anmodninger, og en agent, der arbejder med begrænsede tilladelser.

Det er meningsfulde sikkerhedsforanstaltninger. At de findes, dokumenterer dog ikke i sig selv, at hele systemet opfører sig sikkert under fjendtlige forhold.

En model afviser måske en ondsindet instruktion, mens et autoriseret værktøj stadig tillader en utilsigtet handling. En politik kan se korrekt ud, selvom samspillet mellem systemer skaber en uventet vej uden om den.

Jeg kalder undertiden dette en »værnillusion«: Man forveksler tilstedeværelsen af sikkerhedsforanstaltninger med bevis på, at systemet ikke kan overskride den grænse, som foranstaltningerne skulle håndhæve.

Sikkerhedsforanstaltninger er nyttige. Deres effektivitet skal stadig dokumenteres.

Forestil dig en autonom agent, der har fået tilladelse til at undersøge et formodet sikkerhedsbrud. Den kan hente logfiler, undersøge brugeraktivitet og anbefale afværgeforanstaltninger.

Under en autoriseret sikkerhedstest indfører en adversarial tester vildledende instruktioner i oplysninger, som agenten forventes at behandle.

Testen bør ikke stoppe ved at fastslå, om agenten fulgte instruktionerne.

Den bør undersøge, om agenten forsøgte at udføre en uautoriseret handling, om uafhængige kontroller forhindrede udførelsen, om forsøget blev registreret, og om systemet kom sig på passende vis.

Offensiv stringens forbinder fem aktiviteter:

1. Fastlæg antagelsen: Identificér den sikkerhedsegenskab, som arkitekturen forventes at håndhæve.
2. Udfordr antagelsen: Afprøv realistiske angrebsveje, manipulerede input og kombinationer af legitime funktioner.
3. Indsaml dokumentation: Fastslå, hvad systemet forsøgte, hvad der blev udført, og hvilke kontroller der var aktive.
4. Afhjælp svagheden: Håndtér den model, arbejdsgang, tilladelse, arkitektur eller driftsproces, der var ansvarlig for fejlen.
5. Kontrollér afhjælpningen: Test den relevante angrebsvej igen, og bekræft, at den tilsigtede sikkerhedsegenskab håndhæves.

Det er forskellen på at teste en models svar og at teste sikkerheden i det samlede system.

Det kræver også, at man undersøger, hvad der sker efter den første adgang. En angriber kan forsøge at indsamle legitimationsoplysninger, opnå højere privilegier, etablere en vedvarende adgang eller bevæge sig sideværts ved at misbruge funktioner, der allerede er tilgængelige i et miljø.

At et værktøj er legitimt, betyder ikke, at enhver brug af værktøjet er legitim.

Formålet med offensiv stringens er ikke at antage, at autonome systemer er usikre. Det er gennem test at fastslå, hvor deres sikkerhedsgrænser holder.

Betinget autonomi: Adskil intelligens fra bemyndigelse

En arkitektonisk løsning er at skelne mellem, hvad et AI-system kan gøre, og hvad det har tilladelse til at gøre.

Jeg beskriver denne tilgang som betinget autonomi.

Betinget autonomi anerkender, at den passende grad af selvstændighed afhænger af opgaven, driftsmiljøet, de potentielle konsekvenser, usikkerheden og den dokumentation, der er til rådighed for at begrunde en handling.

En agent, der opsummerer offentligt tilgængelige oplysninger, kræver ikke nødvendigvis samme grad af tilsyn som en agent, der har tilladelse til at deaktivere konti, ændre firewallregler eller foretage ændringer i produktionsinfrastrukturen.

Sidstnævnte kan kræve eksplicitte regler for opgaveudførelsen, tilladelser, der håndhæves uafhængigt, stærkere autorisation og menneskelig godkendelse af handlinger med vidtrækkende konsekvenser.

Disse grænser bør ikke udvides, blot fordi en agent beslutter, at bredere adgang vil hjælpe med at nå dens mål.

En agent kan overveje en anden måde at udføre en godkendt opgave på uden at få yderligere bemyndigelse.

OWASP’s top 10 over risici ved LLM-applikationer behandler dette problem i kategorien LLM06:2025 – overdreven handlefrihed. OWASP peger på overdreven funktionalitet, for vidtgående tilladelser og for stor autonomi som risikokilder og anbefaler at begrænse funktionerne og håndhæve autorisation uafhængigt.

Betinget autonomi anvender disse principper ud fra den operationelle risiko.

Adgangen til oplysninger bør begrænses til det, opgaven kræver. Værktøjstilladelser bør afgrænses til godkendte handlinger. Handlingsbudgetter, hastighedsbegrænsninger, godkendelseskrav og stopbetingelser kan begrænse udførelsen.

Disse sikkerhedsforanstaltninger er særligt vigtige ved autonom offensiv testning.

En testagent kan med rette finde legitimationsoplysninger eller følsomme oplysninger, mens den arbejder hen imod et godkendt mål. Men at finde en legitimationsoplysning betyder ikke, at modellen behøver at få dens værdi i klartekst.

Et sikkerhedsrammeværk kan holde følsomme legitimationsoplysninger adskilt fra modellen og styre brugen af dem gennem autorisation, der håndhæves uafhængigt. En legitimationsmægler kan for eksempel levere en hemmelighed direkte til en godkendt tjeneste uden unødigt at eksponere den for modellen.

Dette bygger på de veletablerede principper om mindst mulige privilegier og adskillelse af opgaver.

Det rejser også et interessant spørgsmål om arkitekturen Bring Your Own Model (BYOM) eller Bring Your Own LLM (BYO-LLM).

Hvis den underliggende model udskiftes i morgen, hvilke sikkerhedsgarantier vil så fortsat gælde?

Autorisation af opgaver, isolering af legitimationsoplysninger, begrænsninger af anvendelsesområdet, logning og håndhævelse af politikker kan ligge i det omgivende sikkerhedsrammeværk i stedet for udelukkende at afhænge af modellens adfærd.

Det betyder ikke, at sikkerhedsrammeværket automatisk er sikkert, eller at modeller kan udskiftes indbyrdes. Forskellige modeller kan fortolke instruktioner forskelligt, bruge værktøjer på forskellige måder og medføre forskellige fejltyper.

En meningsfuld evaluering skal teste både de kontroller, der er tiltænkt at forblive uændrede, og den adfærd, der ændres, når modellen skiftes ud.

Måske er nogle af de mest holdbare sikkerhedsegenskaber dem, der fortsat kan håndhæves uafhængigt, selv når intelligenskomponenten udvikler sig.

Når AI handler på AI’s vegne: Verifikationsproblemet

Forestil dig følgende hypotetiske arbejdsgang i sikkerhedsdriften:

Undersøg denne hændelse, indsaml dokumentation, identificér de berørte identiteter, foreslå inddæmning, udfør de godkendte handlinger, og kontrollér resultatet.

En undersøgelsesagent analyserer telemetridata. En anden anbefaler, hvordan truslen skal inddæmmes. En autoriseret udførelsesagent gennemfører ændringerne. En verifikationsagent vurderer resultatet.

Dette er et eksempel på autonom hændelseshåndtering i en lukket sløjfe, ikke på et dokumenteret svigt i hele branchen.

Forestil dig, at den første agent fejlagtigt identificerer en identitet som kompromitteret. En anden agent accepterer konklusionen og deaktiverer kontoen. En tredje bekræfter, at kontoen er blevet deaktiveret, og melder, at opgaven er løst.

Den valgte handling blev gennemført.

Men var den oprindelige vurdering korrekt? Var handlingen autoriseret? Håndterede inddæmningen den faktiske trussel? Skabte den unødige forstyrrelser?

Verifikation kan ikke alene bestå i at bekræfte, at en agent gennemførte den handling, den selv valgte.

At overlade verifikationen til en anden AI-agent gør heller ikke automatisk resultatet uafhængigt.

Forskellige agenter kan basere sig på de samme unøjagtige telemetridata, kompromitterede oplysninger eller fejlagtige antagelser. At de er enige, fastslår ikke de underliggende fakta uafhængigt.

Jo større konsekvenserne af en autonom handling er, desto større er behovet for verifikation, der er uafhængig af det system, som træffer beslutningen.

Denne uafhængighed kan sikres gennem evidens fra separate kilder, deterministiske kontrol af politikker, begrænsede udførelsesmiljøer, menneskelig gennemgang eller en kombination af sikkerhedsforanstaltninger.

De relevante kontroller bør stå i et rimeligt forhold til konsekvenserne af fejl.

Handlinger med begrænset effekt, som kan omgøres, kan være velegnede til automatisk verifikation. Handlinger med stor effekt eller handlinger, der er vanskelige at omgøre, kan kræve en stærkere autorisation, uafhængig bekræftelse og udtrykkelig godkendelse fra et menneske.

Fire spørgsmål hjælper med at skelne mellem de relevante sikkerhedsegenskaber:

• Fortolkede systemet den tilsigtede opgave korrekt?
• Lå handlingen inden for de beføjelser, systemet havde fået delegeret?
• Holdt udførelsen sig inden for de tilladte grænser?
• Opfyldte resultatet det tilsigtede sikkerhedsmål?

Disse spørgsmål hænger sammen, men kan ikke bruges i stedet for hinanden.

En agent kan udføre en autoriseret handling, der får et utilsigtet resultat. Den kan også opnå et tilsyneladende fordelagtigt resultat gennem en uautoriseret handling.

Ingen af delene bør automatisk betragtes som vellykket sikkerhedsarbejde.

Efterhånden som autonome systemer bliver mere avancerede, består udfordringen ikke blot i at sætte dem i stand til at gennemføre komplekse arbejdsgange. Det handler om at tilvejebringe tilstrækkelig dokumentation for, at deres handlinger fortsat er autoriserede, passende og korrekte.

Det indebærer også at vide, hvornår systemet skal stoppe, eskalere sagen, omgøre en handling eller acceptere en begrænset risiko, der er forstået til fulde.

Tillid skal bygge på evidens

De sikkerhedsmæssige konsekvenser af autonom AI er ikke udelukkende negative.

Autonome systemer kan hjælpe forsvarere med at finde svagheder, undersøge trusler og udføre valideringsarbejde, som ellers ville kræve en betydelig menneskelig indsats.

Bedre modeller, stærkere eksterne kontroller og mere modne driftspraksisser kan mindske nogle af de risici, der er forbundet med delegerede beføjelser.

Det ville derfor være for tidligt at konkludere, at autonom AI i sagens natur er usikker, eller at styringen ikke kan følge med udviklingen.

Der er også et vægtigt modargument mod forestillingen om, at autonom AI kræver grundlæggende nye sikkerhedsprincipper.

Mange af de underliggende problemer – for omfattende privilegier, upålidelige input, svag autorisation, inkonsekvent håndhævelse af politikker og utilstrækkelig verifikation – har været undersøgt i årtier.

Etablerede kontroller kan allerede udgøre brugbare løsninger, når de implementeres og afprøves korrekt.

Autonomi kan ændre tempoet, omfanget og kompleksiteten af deres anvendelse. Den gør dem ikke automatisk ugyldige.

Evidensen peger på et mere nyttigt spørgsmål: Under hvilke betingelser kan autonome systemer betros udøvelsen af delegerede beføjelser, og hvordan påviser vi, at disse betingelser er opfyldt?

Svaret afhænger ikke alene af modellernes kapacitet.

Det kræver arkitektoniske grænser, klart placeret ansvar, autorisation, der håndhæves uafhængigt, passende tilsyn og dokumentation for, at sikkerhedsforanstaltningerne virker under realistiske forhold.

Det kræver også en konsekvent, men løbende udviklet forståelse af sikkerhed og risiko.

Vores grundlæggende sikkerhedsprincipper behøver ikke at ændre sig, hver gang en ny model kommer til. Men vores antagelser om, hvordan principperne anvendes, skal løbende udfordres, efterhånden som kapaciteter, driftsmiljøer og delegerede beføjelser udvikler sig.

Det er formålet med Offensive Rigor.

Ikke for at bevise, at AI-systemer vil fejle, men for at afdække, hvor de kan fejle, fastslå konsekvenserne og validere de kontroller, der skal forhindre eller begrænse sådanne fejl.

Måske ligger den mere holdbare fordel ikke blot i at vælge en mere kapabel model, men i at opbygge en arkitektur, hvor modeller kan udskiftes uden at gå på kompromis med grænserne for tillid, beføjelser og verifikation.

Katten-og-musen-legen fortsætter. I stigende grad kan begge sider have autonome aktører.

Den afgørende disciplin er at sikre, at vores evne til at finde svagheder, rette dem og dokumentere resultaterne ikke går tabt i kapløbet om at automatisere alt andet.

Tillid skal bygge på evidens.

Forfatterens note: Synspunkterne og fortolkningerne i denne artikel er mine egne og afspejler ikke nødvendigvis min arbejdsgivers officielle standpunkter, politikker eller produktfunktioner.