AI-overvågning har tre blinde pletter — og de fleste virksomheder overvåger ingen af dem

Det meste af AI-sikkerhedsdiskussionen inden for virksomheder er rettet mod det forkerte mål. Holdene bruger uger på at diskutere, hvilket model at bruge, og derefter forbinder de modellen til deres e-mail, deres betalinger, deres kundebase og deres kode, uden at stoppe og spørge en meget enklere spørgsmål: Når dette gør noget, hvem overvåger det, og kan nogen stoppe det?

Tallene siger, at dette er ved at blive dyrt. Gartner mener, at mindst 15% af rutinemæssige arbejdsbeslutninger vil blive truffet autonomt af AI i 2028, op fra næsten ingen i 2024. I samme forskning advarer de om, at over 40% af agentic AI-projekter vil blive annulleret ved udgangen af 2027, og en af årsagerne er svage risikostyring. Læs det igen. Projekterne dør ikke, fordi modellerne er dårlige. De dør, fordi ingen byggede en måde at styre dem på.

Jeg bygger styringssystemer for AI til livet, så jeg ser de samme huller igen og igen. Der er tre af dem. De fleste virksomheder overvåger ingen af dem ordentligt, og mange overvåger ingen af dem.

Agenterne er de høje

Alle bekymrer sig om autonome agenter, og de har ret i at gøre det. Men de fleste mennesker bekymrer sig om det forkerte aspekt. Det urolige ved en agent er ikke, at den resonnerer. Det er, at den handler. Den betaler ikke bare refusionen; den sender den. Den udarbejder ikke e-mailen; den sender den. Giv en model et sæt værktøjer, og du har givet den evnen til at nå ind i virkelige systemer og ændre ting.

Får man det galt, og fejlen er ikke en klodset sætning. Det er penge ud af døren eller en tabel, der stille og roligt bliver slettet fra en database. Og der er en skarpere kant til det. Prompt-injektion sidder lige på toppen af OWASP-listen over risici for LLM-applikationer, og det er af god grund: Fodrer man en model den forkerte tekst, kan den tales ind i at gøre noget, som ingen har bedt om. Når modellen kun kan tale, er det en gener, men når modellen kan kalde værktøjer, er det en angriber, der holder dine API-nøgler.

Det standard svar er at logge alt, hvad agenten gør, og overvåge spor. Fint. Men et spor er en beskrivelse af noget, der allerede er sket. Det er CCTV-optagelsen efter kassen er blevet tømt, nyttig til efterforskningen, men værdiløs til at stoppe tyveriet.

Den stille, som ingen nævner

Den anden blinde plet kommer aldrig på en skærm, fordi den er kedelig. Det er den almindelige API-opkald. Ikke en agent, ikke en ramme, bare et stykke kode et sted i en tjeneste, der samler en prompt og affyrer den mod en model.

Det meste af AI i produktion ser faktisk ud sådan, og det er den mindst styrede del af hele stakken, præcis fordi det er så almindeligt. Det er et HTTP-opkald begravet tre lag dybt i en tjeneste, skrevet af en ingeniør, der aldrig har hørt om din AI-politik og ikke ville vide, hvor at finde den. Det ene opkald kan sende en kundes data til en tredjepartsmodel eller udløse en handling nedstrøms, og intet checker, om det skal, og intet uafhængigt skriver ned, at det gjorde.

Den rodende er mennesker

Den tredje blinde plet er mennesker, og det er derfor, det er den værste. Dit personale fandt ud af for måneder siden, at indsættelse af en opgave i ChatGPT eller Claude får det gjort hurtigere, så de gør det hele dagen, som regel fra personlige konti, du ikke kan se. Dette er ikke hypotetisk. Cyberhavens kig på virkelig arbejdspladsbrug fandt, at en reel andel af medarbejdere har indsættet fortrolige virksomhedsdata i ChatGPT, meget af det gennem konti, virksomheden ikke har noget vindue ind i.

Hvis du vil have en advarselshistorie, er det Samsung. I 2023 forbød Samsung generativ AI internt efter, at ingeniører havde indsættet proprietær kildekode i ChatGPT, tre separate gange på under en måned. Disse var ikke slemme aktører. De var gode ingeniører, der prøvede at fejlfinde hurtigere. Det er hele fælden: Lækagen ligner produktivitet. Og dine gamle data-tab-værktøjer vil ikke fange det, fordi det er en kopier-indsætning i en browserfane, ikke en fil, der forlader bygningen.

Så hvad virker faktisk

Stil de tre op, og løsningen stopper med at være om agenter specifikt og bliver til en enkelt idé: Styre, hvad enhver AI gør, før det gør det, ikke efter. Nogle ting, der virkelig betyder noget, lært mest på den hårde måde.

Sid foran handlingen, ikke bag den. Dette er hele spillet, og det er derfor, jeg insisterer på, at overvågning og styring ikke er det samme ord. En dashboard, der fortæller dig, at en agent flyttede 40.000 pund i går, er en tab-rapport. Noget, der kan holde overførslen tilbage for en menneskelig at se på, før den forlader, er en kontrol. Hvis din opsætning kun kan fortælle dig, hvad der skete, har du ikke oversigt. Du har bagklogskab.

Brug en checkpoint, ikke en per værktøj. Agenter, API-opkald og personale, der indsætter i en chatbot, føles som tre separate problemer, så virksomheder køber tre separate værktøjer og ender med tre sæt huller imellem dem. De dårlige ting lever i hullerne. Alt, hvad en AI gør, uanset hvor det kommer fra, skal have lov til at passere den samme port.

Hold en log, som AI ikke kan omskrive. Hvis systemet, der udfører handlingen, også er det eneste, der optager, at det udførte handlingen, har du ikke en optagelse. Du har en dagbog, det er tilladt at redigere. Dette er præcis, hvor reglerne er på vej hen. EU’s AI-akt’s krav om optagelse, artikel 12, findes, så det, en højrisiko-system gjorde, kan rekonstrueres af nogen anden end systemet. I praksis betyder det en log, der holdes uden for det, der logger, en, der ikke kan blive stille og roligt ændret efter faktum.

Sæt et menneske på de store, uoprettelige opkald. Ikke alt, gør det, og du vil drukne mennesker i godkendelser, indtil de stempelgodkender det hele. Men opkaldene, du ikke kan tage tilbage, overførsel af penge, eksport af data, sletning af poster, skal stoppe og vente. EU’s AI-akt gør menneskelig overvågning obligatorisk for højrisiko-systemer, artikel 14. Fælden, der er værd at huske, er, at overvågning kun tæller, hvis personen har tid og kontekst til faktisk at sige nej. En godkendelse, ingen læser, er bare teater.

Den ærlige mavecheck

Ingen af disse tre er en hjørnefald. De er den almindelige måde, de fleste virksomheder kører AI lige nu, stille og roligt, uden meget af en sikkerhedsnet. Holdene, der kommer igennem de næste par år uden en grim episode, vil ikke være dem med de flotteste diagrammer. De vil være dem, der besluttede tidligt, at alt, hvad deres AI gør, agenten, API-opkaldet, den indsættede afsnit, går gennem en port før det sker, ikke efter.

Hvis du vil have en hurtig test af din egen opsætning, besvar to spørgsmål ærligt. Af de tre overflader, hvor mange kan du faktisk se? Og af dem, du kan se, hvor mange kan du stoppe? For mange virksomheder er det ærlige svar til det andet zero. Det er det tal, du skal løse først.