Pålidelighed er den virkelige prøve for agentisk AI

I de seneste to år har branchen stillet ét spørgsmål: Er AI-agenter dygtige nok til at håndtere virkeligt arbejde? Det behøver vi ikke længere spørge om. Vi ved, at de kan, men vi skal fokusere skarpt på, om vi kan opdage, når en agent er ved at begå en kostbar fejl, og om vi kan stoppe den, før det sker.

De værste fejl i produktion ligner typisk ikke en tydelig modelfejl. En agent kan gennemføre hvert API-kald korrekt og stadig arbejde ud fra forældet kontekst, prøve et værktøj igen, selv om det svigter, eller bevæge sig mod en handling, der bryder en regel. Pålidelighed afgør, om et program med agentisk AI kommer videre fra pilotfasen.

Ifølge “The state of AI in 2025: Agents, innovation, and transformation”, en undersøgelse fra McKinsey, eksperimenterer 62% af organisationerne med AI-agenter, men kun omkring ti procent skalerer ikke i nogen af disse funktioner. Det er nemt at vise kolleger, at en agent virker. Det er ikke nemt at drive den sikkert på tværs af virkelige data og forbundne systemer.

Hvorfor agentisk AI forstærker risikoen

Agenter kombinerer sandsynlighedsbaseret ræsonnement, brug af værktøjer og en vis grad af autonomi. Det gør dem nyttige, men udsætter også virksomheder for fejl, der vokser hurtigere, end de ville i en mere traditionel applikation.

Kontekst

Agenter kan kun arbejde ud fra den kontekst, de får. Hvis konteksten er ufuldstændig, forældet eller forkert, følger en dårlig tidlig fortolkning derfor med gennem hvert efterfølgende trin. Et forkert svar fra en chatbot er irriterende. En forkert fortolkning, der ændrer en adgangstilladelse eller berører infrastrukturen, er en hændelse. Hvis noget går galt, er det vigtigt at vide, om agenten brugte den rette dokumentation, fulgte politikken og holdt sig inden for en acceptabel skadesradius.

Vidensbaser

Agenter forbindes også med vidensbaser, ticketsystemer og betalingsplatforme; hver forbindelse udvider angrebsfladen. En agent kan kalde det forkerte værktøj, kalde det rette værktøj i den forkerte rækkefølge eller handle på instruktioner, der er skjult i hentet indhold. Det er kendte fejltilstande, og de omfatter konfabulering og sikkerhedssårbarheder, som opstår gennem den måde, agenter kæder værktøjer og kontekst sammen på.

Et grønt kontrolpanel kan bedrage dig: Infrastrukturen ser ud til at fungere, mens en agent i stilhed spørger det samme værktøj igen og igen. Det er et tidligt tegn på afdrift snarere end et almindeligt nedbrud.

Ikke-determinisme

Ikke-determinisme gør også håndtering af hændelser vanskeligere. En traditionel tjenestefejl kan normalt genskabes med et anmodnings-id og en kendt softwareversion. En agentkørsel afhænger af modelversionen, de dokumenter, den hentede, de værktøjsresultater, den fik tilbage, og en kæde af mellemliggende beslutninger. Uden en registrering af, hvad agenten modtog og forsøgte, bliver både analyse af den grundlæggende årsag og styring langt vanskeligere.

Omkostninger og latenstid

Omkostninger og latenstid fortæller den samme historie fra en anden vinkel. En pludselig stigning i tokenforbrug eller gentagne forsøg kan signalere en dårlig plan eller en løkke, selv hvis brugeren til sidst får et svar. Omkostningerne ved inferens er faldet kraftigt i de seneste år, og billigere inferens gør det lettere at ignorere ineffektiv adfærd, indtil den gentages på tværs af tusindvis af arbejdsgange. Betragt omkostninger, latenstid og gentagne forsøg som signaler om pålidelighed, ikke kun som økonomiske målepunkter.

Decentral AI kræver stadig central synlighed

Decentralisering mislykkes uden klare sikkerhedsrammer. Placer ansvaret for arbejdsgange og eskalering hos de teams, der arbejder tættest på opgaven, men behold identitet, adgang og hændelseshåndtering på virksomhedsniveau. Et økonomiteam kan skelne mellem en legitim fakturaundtagelse og en forkert betalingsbeslutning på en måde, som en generel benchmark aldrig kan. I den samme undersøgelse fandt McKinsey, at organisationer, der rapporterede reel effekt af AI, havde næsten tre gange større sandsynlighed for at have redesignet deres arbejdsgange i stedet for blot at føje AI til det eksisterende.

Afvejningen er dog reel: Ansvaret bliver hurtigt uklart, når en hændelse krydser systemer. Løsningen er et fælles operationelt overblik over hver agent, dens værktøjer, dens dataadgang og dens hændelseshistorik.

Distribuerede arkitekturer gør det let at miste hele billedet, når noget svigter. Mange teams kan se tokenmængde og omkostninger, men de kan ikke se, om en agent faktisk nåede det tilsigtede resultat på en sikker måde. Når registreringer fra en arbejdsgang ligger forskellige steder, ender teams med at jagte symptomer frem for årsager.

Standardiserede telemetrisignaler som modelidentitet og værktøjskald kan hjælpe. Adfærdsmæssige basislinjer, såsom det normale antal trin i en arbejdsgang, er også nødvendige for at skelne nyttig vedholdenhed fra et system, der sidder fast. Evaluering er ikke en engangskontrol før lancering. Det er en kontinuerlig cyklus.

Sådan ser pålidelig AI faktisk ud i produktion

Pålidelig AI handler om at håndtere fejl, ikke om at undgå dem. Teams har brug for indsigt i adfærd, advarsler når ydelsen afviger, og en plan for inddæmning, når noget går galt. Først og fremmest har hver agent brug for klare sikkerhedsrammer omkring adgang og selvstændige handlinger. De har også brug for menneskelig godkendelse.

Begynd med handlinger med lav risiko, som kan rulles tilbage. Hold handlinger med store konsekvenser, såsom produktionsændringer og finansielle transaktioner, bag reelle kontroller. Arbejdsgange med store konsekvenser skal kunne rekonstrueres bagefter, herunder den kontekst agenten hentede, de værktøjer den kaldte, de godkendelser den fik, og om resultatet faktisk var korrekt.

Traditionelle mål for serviceniveau skal også udvides til at omfatte agentkvalitet og sikkerhed. De omfatter valideret succesrate for opgaver, grad af overholdelse af politikker, grad af menneskelig eskalering, omkostning pr. vellykket opgave og hyppigheden af uønskede resultater. Tærsklerne bør variere efter anvendelse. En intern vidensassistent kan tåle en anden fejlprofil end en agent, der arbejder med regulerede data.

De mest nyttige pålidelighedssystemer lærer at opdage de forhold, der ofte går forud for en fejl, såsom en usædvanlig stigning i gentagne forsøg eller en vej, der historisk har ført til menneskelig tilsidesættelse. En arbejdsgang med lav risiko kan udløse en automatisk rettelse. En arbejdsgang med højere risiko bør sættes på pause og sende beslutningen til en autoriseret person. Målet er ikke autonom handling for autonomiens egen skyld. Målet er hurtigere og sikrere handling, når dokumentationen understøtter den.

AI SRE lukker kredsløbet

Det er her, AI SRE kommer ind. En AI SRE-agent kan samle en tidslinje for en hændelse, sammenligne den aktuelle adfærd med tidligere hændelser og forberede en anbefalet handling, mens organisationen bevarer kontrolleret afhjælpning for opgaver, der kan rulles tilbage, og menneskelig godkendelse for alt med store konsekvenser.

Indførelsen af AI går hurtigt. Men indførelse er ikke det samme som operationel modenhed. De virksomheder, der skalerer agentisk AI med succes, er ikke nødvendigvis dem, der isoleret set kører den mest kapable model. Det er dem, der kan se, hvordan deres agenter opfører sig på tværs af virksomheden, fange tidlige tegn på afdrift og gribe ind, før en lille fejl bliver til en kunde-, sikkerheds- eller compliancehændelse.

Det er den rolle, AI SRE udfylder: at forbinde decentral innovation med central synlighed og gøre agentisk AI til et system, som virksomheden kan have tillid til.