Tillförlitlighet är det verkliga provet för agentisk AI

Under de senaste två åren har branschen ställt en fråga: Är AI-agenter tillräckligt kapabla för att hantera verkligt arbete? Vi kan sluta fråga. Vi vet att de är det, men vi måste fokusera skarpt på om vi kan upptäcka när en agent är på väg att göra ett kostsamt misstag och om vi kan stoppa den innan det händer.

De värsta felen i produktion ser vanligtvis inte ut som ett tydligt modellfel. En agent kan slutföra varje API-anrop utan problem och ändå arbeta utifrån inaktuell kontext, försöka använda ett verktyg som inte fungerar igen eller vara på väg mot en åtgärd som bryter mot en regel. Tillförlitlighet avgör om ett program med agentisk AI tar sig ur pilotfasen.

Enligt “Läget för AI 2025: Agenter, innovation och transformation”, en undersökning från McKinsey, experimenterar 62% av organisationerna med AI-agenter, men bara omkring tio procent skalar inte inom någon av dessa funktioner. Det är lätt att visa kollegor att en agent fungerar. Att driva den säkert med verkliga data och anslutna system är det inte.

Varför agentisk AI förstärker riskerna

Agenter kombinerar sannolikhetsbaserade resonemang, användning av verktyg och en viss grad av självständighet. Det gör dem användbara men utsätter också företag för fel som växer snabbare än de skulle göra i en mer traditionell applikation.

Kontext

Agenter kan bara arbeta utifrån den kontext de får. Om kontexten är ofullständig, inaktuell eller felaktig följer därför en dålig tidig tolkning med i varje efterföljande steg. Ett felaktigt svar från en chattbot är irriterande. En felaktig tolkning som ändrar en åtkomstbehörighet eller påverkar infrastrukturen är en incident. Om något går fel är det viktigt att veta om agenten använde rätt underlag, följde policyn och höll sig inom en godtagbar skaderadie.

Kunskapsbaser

Agenter ansluts också till kunskapsbaser, ärendehanteringssystem och betalningsplattformar; varje anslutning breddar angreppsytan. En agent kan anropa fel verktyg, anropa rätt verktyg i fel ordning eller agera efter instruktioner som är dolda i hämtat innehåll. Det här är kända fellägen och de omfattar konfabulering och säkerhetssårbarheter som uppstår genom det sätt på vilket agenter kedjar samman verktyg och kontext.

En grön instrumentpanel kan lura dig: Infrastrukturen ser ut att fungera medan en agent i tysthet frågar samma verktyg om och om igen. Det är ett tidigt tecken på avvikelse snarare än ett vanligt avbrott.

Icke-determinism

Icke-determinism gör också incidenthanteringen svårare. Ett traditionellt tjänstefel kan vanligtvis återskapas med ett förfrågnings-id och en känd programvaruversion. En agentkörning beror på modellversionen, de dokument den hämtade, verktygsresultaten den fick tillbaka och en kedja av mellanliggande beslut. Utan en registrering av vad agenten tog emot och försökte göra blir både rotorsaksanalys och styrning mycket svårare.

Kostnad och fördröjning

Kostnad och fördröjning berättar samma historia ur en annan vinkel. En plötslig ökning av tokenanvändning eller upprepade försök kan signalera en dålig plan eller en loop, även om användaren till slut får ett svar. Kostnaderna för inferens har sjunkit kraftigt under de senaste åren, och billigare inferens gör det lättare att bortse från ineffektivt beteende tills det upprepas i tusentals arbetsflöden. Behandla kostnad, fördröjning och upprepade försök som signaler om tillförlitlighet, inte bara som ekonomiska mått.

Decentraliserad AI kräver fortfarande central insyn

Decentralisering misslyckas utan tydliga skyddsräcken. Lägg ansvaret för arbetsflöden och eskalering hos teamen i frontlinjen, men behåll identitet, åtkomst och incidenthantering på företagsnivå. Ett ekonomiteam kan skilja mellan ett legitimt fakturaundantag och ett olämpligt betalningsbeslut på ett sätt som en allmän jämförelse aldrig kan. I samma undersökning fann McKinsey att organisationer som rapporterade verklig AI-effekt hade nästan tre gånger större sannolikhet att ha utformat om sina arbetsflöden i stället för att bara lägga AI ovanpå det som redan fanns.

Avvägningen är samtidigt verklig: Ansvaret blir snabbt otydligt när en incident korsar flera system. Lösningen är en gemensam operativ bild av varje agent, dess verktyg, dess dataåtkomst och dess incidenthistorik.

Distribuerade arkitekturer gör det lätt att förlora helhetsbilden när något går sönder. Många team kan se tokenvolym och kostnad, men de kan inte se om en agent faktiskt uppnådde det avsedda resultatet på ett säkert sätt. När poster från ett arbetsflöde finns på olika platser jagar team till slut symtom i stället för orsaker.

Standardiserade telemetrisignaler, som modellidentitet och verktygsanrop, kan hjälpa. Beteendemässiga baslinjer, som det normala antalet steg i ett arbetsflöde, behövs också för att skilja användbar uthållighet från ett system som har fastnat. Utvärdering är inte en engångskontroll före lansering. Det är en kontinuerlig återkopplingsslinga.

Så ser tillförlitlig AI faktiskt ut i produktion

Tillförlitlig AI handlar om att hantera misstag, inte om att undvika dem. Team behöver insyn i beteende, varningar när prestandan avviker och en plan för begränsning när något går fel. Framför allt behöver varje agent tydliga skyddsräcken kring åtkomst och självständiga åtgärder. De behöver också mänskligt godkännande.

Börja med åtgärder med låg risk som kan återställas. Håll åtgärder med stora konsekvenser, som produktionsändringar och finansiella transaktioner, bakom verkliga kontroller. Arbetsflöden med stora konsekvenser ska kunna återskapas i efterhand, inklusive den kontext agenten hämtade, de verktyg den anropade, de godkännanden den fick och om resultatet faktiskt var korrekt.

Traditionella servicenivåmål måste också utvidgas till att omfatta agentkvalitet och säkerhet. De omfattar validerad framgångsfrekvens för uppgifter, grad av policyefterlevnad, grad av mänsklig eskalering, kostnad per lyckad uppgift och hur ofta oönskade resultat uppstår. Trösklarna bör variera med användningsfallet. En intern kunskapsassistent kan tåla en annan felprofil än en agent som hanterar reglerade data.

De mest användbara tillförlitlighetssystemen lär sig att upptäcka de förhållanden som brukar föregå ett fel, som en onormal ökning av upprepade försök eller en väg som historiskt har lett till mänskliga åsidosättanden. Ett arbetsflöde med låg risk kan utlösa en automatisk korrigering. Ett arbetsflöde med högre risk bör pausas och beslutet skickas till en behörig person. Målet är inte självständig handling för självständighetens egen skull. Målet är snabbare och säkrare handling när underlaget stöder den.

AI SRE sluter kretsloppet

Det är här AI SRE kommer in. En AI SRE-agent kan sammanställa en tidslinje för en incident, jämföra det aktuella beteendet med tidigare incidenter och förbereda en rekommenderad åtgärd, medan organisationen behåller kontrollerad åtgärd för uppgifter som kan återställas och mänskligt godkännande för allt som får stora konsekvenser.

Införandet av AI går snabbt. Men införande är inte samma sak som operativ mognad. Företagen som lyckas skala agentisk AI behöver inte vara de som kör den mest kapabla modellen isolerat. Det blir de som kan se hur deras agenter beter sig i hela verksamheten, upptäcka tidiga tecken på avvikelse och ingripa innan ett litet fel blir en kund-, säkerhets- eller regelefterlevnadsincident.

Det är den roll AI SRE fyller: att koppla samman decentraliserad innovation med central insyn och göra agentisk AI till ett system som företaget kan lita på.