De sværeste AI-sikkerhedsproblemer lever nu uden for modellen

Den 2026 OWASP Top 10 for LLM-applikationer giver et kritisk perspektiv på modenheden af produktions‑AI. Den indfanger et afgørende skift: branchen bevæger sig ud over sandkassen og kæmper med kompleksiteten ved integration i den virkelige verden.

Når du forbinder en LLM med virksomhedsværktøjer og -arbejdsprocesser, ændrer trusselsfladen sig grundlæggende. Risici forbundet med autoritet og ressourceudnyttelse bliver betydeligt sværere at indeholde. Samtidig træder sårbarheder som forkert håndtering af output fra forgrunden, ikke fordi de er løst, men fordi andre problemer er sprunget frem i forgrunden.

OWASP Top 10‑rangeringen afspejler denne udvikling. “Excessive Agency” er steget fra sjette til tredje plads, mens “Unbounded Consumption” er klatret til sjette. Omvendt er “Improper Output Handling” faldet til tiende.

Dette mindsker ikke risikoen ved output‑håndtering. Hvis et LLM‑svar når en shell eller database uden grundig validering, vedvarer traditionelle injektionsfejl. Paradigmet har dog skiftet. I et agentbaseret system er modellens svar ikke destinationen; det er en input, der bærer autoritet. Når en model har legitimationsoplysninger eller interagerer med et API, fungerer dens output som en vektor, der kan udløse handlinger på tværs af forskellige systemer.

Sikkerhedsudfordringen er ikke længere blot at evaluere modellen; den handler om at definere grænserne for, hvad der sker efter inferens. Din arkitektur bestemmer, om en hallucination forbliver i tekst eller manifesterer sig som en uautoriseret database‑mutation.

Rangeringen følger skaden

OWASP udnyttede 7,714 hændelser, 75 % drevet af fællesskabskonsensus og 25 % af empiriske hændelsesdata. Dette evidensgrundlag tvang en reel omprioritering af prioriteringer.

“Excessive Agency” steg, fordi realiteten i produktionsmiljøer indhentede teorien. Organisationer accelererer udrulningen af autonome funktioner hurtigere, end de etablerer nødvendige kontrolplaner. Den kritiske sårbarhed er ikke blot modellens svar, men den autorisationskontekst, hvori svaret udføres.

Selvom “Improper Output Handling” stadig er en bekymring, har DevOps‑teams modnet i deres evne til at sikre nedstrøms destinationer gennem skemavalidering og parameteriserede forespørgsler. Dette er etablerede praksisser inden for applikationssikkerhed.

Agency er dog en anden klasse af problem. Et værktøjskald kan være strukturelt gyldigt, men kontekstuelt illegitimt. Modellen kan påkalde en godkendt funktion til en upassende opgave eller ramme den forkerte ressource. Statisk sanitering kan ikke bedømme intentionen. Dette kræver sofistikeret, kontekstbevidst autorisation, som modellen aldrig bør udføre i isolation.

Behandl hvert værktøj som en eksponeret funktion

Mange teams behandler værktøjsdefinitioner som blot integrationsrørledninger. Dette er en temmelig latterlig og grundlæggende fejl. Hvert værktøj, connector eller API‑endpoint udvider AI‑applikationens påvirkningsområde.

Forestil dig en agent designet til at opsummere en postkasse. Hvis implementeringen bruger en bred connector, der inkluderer skrive‑ eller slettefunktioner, har du indført overdreven funktionalitet, før den første prompt overhovedet er behandlet.

Du skal håndhæve princippet om mindst mulig privilegium:

• Indsnævr grænsefladen: Giv agenten kun læse‑værktøjer i stedet for generelle connectors.
• Afgrænset kontekst: Udfør anmodninger inden for brugerens OAuth‑afgrænsede identitet.
• Policy Enforcement Points (PEP): Implementér autorisationslogik som obligatorisk middleware mellem modellen og nedstrøms systemer. Enhver handling skal valideres mod politikken før udførelse.
• Human-in-the-loop (HITL): Kræv eksplicit godkendelse for operationer, der er svære at tilbagekalde eller har høj materielforvirkning.

Denne tilgang kræver et skift i leverings‑pipeline’en. Din review‑proces skal udvides ud over modellen til også at omfatte ændringer i værktøjsskemaer, serviceidentiteter og tilladelses‑omfang. En modelopdatering kan forekomme harmløs, men en ændring i en connectors autorisationskontekst kan skabe en katastrofal sårbarhed.

Synlighed er ufravigelig. Du skal logge den specifikke værktøjs‑eksekvering, den autoriserende identitet og den resulterende ændring i målsystemet. Denne kæde af ansvar er afgørende for incident response, så du kan afbryde en aktiv proces og genopbygge revisionssporet efter en hændelse.

Hver autonom kørsel kræver et hårdt stop

“Unbounded Consumption” er steget kraftigt, fordi anmodningsvolumen er en utilstrækkelig måling for ressourcerisiko. En enkelt, kortfattet prompt kan udløse en rekursiv, ressourcekrævende kæde af værktøjs‑kald. Måleren stopper ikke, før agenten er færdig.

Simpel alarmering er utilstrækkelig, når udførelseshastigheden overstiger den menneskelige reaktion. Du har brug for deterministiske, hårde grænser, der ligger uden for agentens kontrol. Implementér strenge loft for token‑forbrug, forløbet tid, rekursionsdybde og samlet driftsomkostning. Hvis en eksekvering overskrider disse parametre, skal systemet afslutte eller throttlere kørslen.

Det operationelle omfang kræver samme stringens. Bestem det maksimale antal poster, en agent kan ændre, og definer grænserne for opgaveudbredelse. Hvis din arkitektur mangler en deterministisk “stop”-mekanisme, har du i praksis delegere autoritet uden at definere dens omfang.

Byg til det forkerte svar

Systemteknik har længe været afhængig af robust arkitektur for at sikre iboende upålidelige komponenter. Vi forudser komponentfejl og netværksinstabilitet; sikkerheden udspringer af denne antagelse, ikke af en illusion om perfektion. LLM’er kræver den samme arkitektoniske disciplin.

Byg ikke din sikkerhedsstrategi på antagelsen om perfekt modeljustering. Antag fejl, uanset om de skyldes godartet misforståelse eller ondsindet udnyttelse. Begræns agentens kapaciteter til det absolut nødvendige minimum, og oprethold strenge brugerautorisationer for alle nedstrøms‑kald. Vigtigst er, at politikgennemførelse skal foregå uden for modellen for at forhindre prompt‑injektion eller ræsonnementfejl i at omgå dine kontroller.

Vi ser nu Prompt Injection mindre som en sårbarhed og mere som en fysisk lov. Den vil altid ligge i baggrunden. Faktum er, at modellerne selv ikke kan fungere som effektive beslutningstagere i sikkerhedskritiske spørgsmål. I et reelt agentprojekt, jeg bygger, har vi omkring 100 automatiserede “red team”-tests. Vi sikrer, at vi består dem alle. Men vi gør det ved at bygge hårde kontroller uden for modellen. Vi kan slå dette fra og se bestå/fejl‑raterne for kun modellen. Den ældste, svageste model, vi tester, fejler 17 % af tiden. Den nyeste, største model fejler 2 % af tiden. Stor fremgang, ikke? Men er 98 % nok, når hver fejl betyder lækage af følsomme data? Ikke engang i nærheden.

Operationer med høj påvirkning skal kunne observeres, revideres og ideelt set reverseres. Hver autonom udførelse kræver uforanderlige sikkerhedsrammer, der forbliver uden for modellens rækkevidde.

2026‑rankingerne kaster virkelig lys over, hvornår AI‑fejl udvikler sig til materielle konsekvenser. Modellen kan starte fejlen, men arkitekturen definerer eksplosionens radius. For produktions‑AI foregår det mest kritiske sikkerhedsarbejde i post‑inference‑pipeline’en.