Autonome agenter har brug for mere end AI-overvågning

Da virksomheder bruger AI-agenter til at tænke, handle og initiere arbejdsgange, er det afgørende at udvikle en plan til at overvåge og styre dem.

Når forskellige komponenter i et AI-system begynder at træffe beslutninger på egen hånd, er overvågning alene ikke nok til at sikre, at operationerne forbliver stabile, sikre eller pålidelige.

For at kunne styre AI-agenter effektivt i hele virksomheden må virksomhederne brobygge mellem problemdetektion og handling. Det går ud over blot at observere problemer; virksomhederne må aktivt forhindre dem.

De autonome agenters opdukken

Den første bølge af virksomheds-AI var prompt-baserede systemer; en bruger stillede et spørgsmål, modellen svarede, og udvekslingen sluttede der. Selv om disse tidlige teknologier i virkeligheden var reaktive, var de nyttige til søgning, copilot, indholdsskabelse og sammenfatning.

Den efterfølgende bølge er anderledes. Autonome AI-agenter reagerer ikke blot, men de kan også resonere over mål, vælge værktøjer, trække informationer, tage handling og initiere arbejdsgange. De arbejder undertiden sammen med andre agenter eller systemer og fungerer mere og mere som operationelle spillere inden for virksomheden i stedet for som et interface-lag for menneskelige instruktioner.

Denne ændring er betydelig, fordi den påvirker AI’ens operationelle karakteristika. Holdene overvåger ikke længere kun modeloutput. I stedet styre de dynamiske systemer, der kan påvirke kunder, medarbejdere, infrastruktur, forretningsprocesser og andre applikationer øjeblikkeligt.

Agenternes evner i dag

Agenternes evner udvikler sig sammen med dem. Agenter kan vælge, hvad de skal gøre herefter, opdele et mål i trin og gennemføre aktiviteter på forskellige niveauer. Ved at kontakte API’er, forespørgsel af databaser, søgning i interne systemer, opdatering af poster og initiering af downstream-handlinger kan de koordinere arbejdsgange. Ved at integrere prompts, hukommelse, forretningsregler, hentet information og realtidsoperationssignaler kan agenter også træffe kontekstbaserede beslutninger.

Mere avancerede agenter kan identificere, når en arbejdsproces mislykkes, prøve igen, eskalere problemer eller videregive job til en menneskelig gennemgående. Inden for CRM, ticketing, cloud-infrastruktur, interne videnbasers, overvågningsplatforme og forretningsapplikationer kan agenter fungere uafhængigt. Vi forventer, at disse færdigheder vil fortsætte med at udvikle sig hurtigt.

Hvordan virksomheder integrerer autonome AI-agenter

Agenter indarbejdes i en udvidende række af organisatoriske operationer, og de kommer tættere på operationelle processer, hvor hastighed, præcision, sikkerhed og governance er vigtige. Nogle af disse operationer omfatter kundeservice og sagshåndtering, incidentrespons og IT-operationer, arbejdsgange for DevOps og webstedssikkerhed, kodekorrektion og softwareudvikling, operationel og forsyningskædeplanlægning og mere.

Fremvoksende operationelle trusler

Men da agenter bliver mere og mere uafhængige, må virksomheder håndtere en ny type operationel risiko.

• Dårlige valg bliver ikke blot anbefalet; de bliver ofte gennemført
• Små fejl kan hurtigt sprede sig til andre forbundne systemer
• Reelle handlinger kan udløses af hallucinationer
• Agenter kan afvige fra forretningshensigt, politik eller overholdelse
• Interaktioner mellem flere komponenter kan resultere i fejl
• Automatiseret beslutningstagning kan træffe beslutninger hurtigere end menneskelig evaluering

Selv om holdene måske observerer symptomer, må de også være i stand til at forstå årsagerne bag systemets adfærd. Enterprise-AI har brug for pålidelighedskontroller ud over synlighed.

AI-systemers kompleksitet

I dag er AI-drevne systemer sjældent et enkelt model. De er distribuerede, lagdelte systemer bestående af mange interagerende komponenter, der omfatter:

• Fundamentale modeller (LLM)
• Finjusterede eller opgave-specifikke små sprogmodeller (SLM)
• Indlejringmodeller
• Vektordatabaser
• Hentningsrørledninger og RAG-komponenter
• Prompt-skabeloner og prompt-koordineringslag
• Trænings- og evalueringssæt
• Guardrails og politiklag
• Agenter og arbejdsgange
• Værktøj-kaldssystemer
• Telemetri (også kendt som logfiler, målinger og spor)
• Menneske-i-løkken-godkendelseskontrolpunkter

Deres risici

Hver komponent tilføjer en anden fejltilstand, og måden, de interagerer på, tilføjer yderligere kompleksitet. Selv om et system ser stærkt ud på infrastrukturniveau, kan det stadig træffe dårlige beslutninger og generere tilfredsstillende resultater; samtidig med at det bygger op operationel risiko under overfladen.

Nogle af de tilknyttede risici omfatter: introduktion af dårlige eller korrupte indgange via datapipelines, infrastrukturbottlenecks, der reducerer pålideligheden, skadelige eller fejlbehæftede resultater og operationelle bottlenecks i respons til menneskelig gennemgang. Yderligere komplicerende problemer, systemer med flere agenter eller trin kan fejle på måder, der ikke er øjeblikkeligt åbenlyse.

AI-overvågning

Traditionel overvågning er utilstrækkelig til at forstå promptadfærd, hentningskvalitet, modeldrift, agent-udførelseskanaler eller forbindelsen mellem AI-adfærd og downstream-forretnings- eller operationel påvirkning.

Det er her, AI-overvågning kommer ind. AI-overvågning giver holdene mulighed for at forstå, hvordan AI-systemer fungerer i produktion ved at samle, korrelerer og evaluere indgange og udgange, ønskede adfærd og beslutningssignaler genereret af disse systemer. Det er afgørende, fordi AI-systemer er spredt, ikke-deterministiske og ekstremt kontekstfølsomme.

AI-overvågning giver en indsigt i AI-arbejdsgange fra ende til anden, så hold, der anvender det, kan forstå, hvordan prompts, modeller, hentningslag, værktøjer og downstream-systemer interagerer under udførelse.

AI-overvågning giver mulighed for at overvåge ydeevne og adfærd, herunder latency, omkostninger, tokenbrug, gennemløb, fejlhastigheder, modeladfærd og udgangskvalitetsindikatorer. Det sporer og analyserer udførelsesstier i komplekse agent-arbejdsgange og viser, hvordan resultater opnås over flere trin og afhængigheder.

AI-overvågning finder også anomalier over operationelle og AI-signaler ved at afsløre usædvanlig adfærd i modeller, pipelines, infrastruktur eller brugerfacing-resultater, før holdene opdager dem manuelt. Det accelererer diagnostik, når noget går galt, og gør rodårsagsundersøgelser lettere ved at inkludere AI-specifikke operationer i systemtelemetri (logfiler, målinger, spor og begivenheder).

Overvågning alene er ikke nok

Trods at det er en afgørende forretningspraksis, har AI-overvågning indbyggede begrænsninger.

Overvågning er diagnostisk snarere end forebyggende; hold kan lære, hvad der gik galt, men ikke nødvendigvis, hvordan de kan forhindre det i at ske igen. Det er vigtigt at forstå, at kendskab til en agents tidligere handlinger ikke automatisk oversætter sig til kontrol over agentens fremtidige handlinger.

Når det kommer til komplekse, ikke-deterministiske systemer, kan overvågning ofte overvælde hold med data, der fører til usikkerhed. I stedet for at tilbyde en operationel løsning slutter overvågning ofte ved en forklaring. Selv om holdene er bekendt med et problem, kan de måske ikke have den automation, sikkerhedsforanstaltninger og kontrolloop, der er nødvendig for at træffe korrektive handlinger.

Dette skaber en operationel lukke. Virksomheder kan måske identificere drift, dårlige resultater, farlig adfærd eller nedsat produktivitet, men de kan måske ikke forhindre det i at ske igen, mindske dets virkninger eller opretholde autonome systemer inden for sikre driftsparametre.

Det betyder, at holdene fortsætter med at operere reaktivt. De bruger manuel indgriben, når noget går galt, undersøger incidenter efterfølgende og afhænger af menneskelig arbejdskraft for at kompensere for systemer, der bliver hurtigere og mere autonome.

En oversigt over AI-pålidelighed

AI-pålidelighed går ud over blot at observere problemer. Det er disciplinen om at sikre, at AI-systemer fungerer sikkert, konsekvent, forudsigeligt og succesfuldt i virkelige produktionskontekster. AI-pålidelighed forstår og styrer det komplette system af systemer omkring AI. Det lukker cirklen mellem detektion og handling.

AI-pålidelighed fokuserer på, om det hele AI-drevne system kan fungere inden for rimelige operationelle begrænsninger over tid, snarere end blot om en model gav en præcis respons. Kvalitet, sikkerhed, robusthed, forklarbarhed, politikoverholdelse, omkostningseffektivitet og operationel stabilitet er alle en del af ligningen.

Overgangen fra detektion til forebyggelse

AI-pålidelighed reducerer tiden mellem at genkende et problem og håndtere dets løsning. Det skifter samtalen fra “hvad gik galt?” til “hvordan hurtigt vil vores AI forbedre sig?” Anvendelse af følgende teknikker flytter overvågning fra passiv observation til proaktiv forebyggelse:

• Korrelation af signaler på tværs af modeller, data og infrastruktur for at identificere problemer
• Proaktiv fejldetektion før indvirkning
• Verificering af alle indgange og udgange i sandsynlighedsbaserede AI-systemer for at spotte subtile adfærdsændringer
• Oprettelse af en feedback-løkke mellem detektion af uønsket output i produktion og brug af denne til at generere finjusteringsdata, der forbedrer nøjagtigheden af underliggende modeller
• Multi-agent-arbejdsgangs-sporing for at sikre, at du kan forbinde punkterne på, hvorfor og hvordan data udviklede sig for at informere komplekse handlinger
• Defineret menneske-i-løkken-agenter-arbejdsgange for sikker respons og automatiseret afhjælpning

Lukning af gapet mellem kontrol og observation

Virksomheder kan drage fordel af rammer, der integrerer synlighed og kontrol, og kræver mere end blot et overvågningslag på toppen af generativ AI. I både deterministiske og ikke-deterministiske systemer kan en pålidelighedsplatform identificere, forudse, forklare og hjælpe med at kontrollere problemer.

Følgende skal være inkluderet i en brugbar ramme for pålidelig AI-drift:

• Integreret telemetri for både IT-systemer og AI-systemer
• End-to-end-agenter-arbejdsgangs- og systemafhængighedssporing
• AI-specifik adfærd og kvalitetssporingsfunktioner (prompts og evals)
• Avanceret anomalidetektion, uanset kilde
• Årsagsrelateret forklaring og rodårsagsanalyse
• Alarm, der automatisk tilpasser sig til din omgang og ikke kræver manuel grænseværdi
• Politikgennemførelse og guardrails
• Menneske-i-løkken-evaluering af følsomme eller vigtige handlinger
• Automatisering af arbejdsgange og koordination af afhjælpning
• Brug af prognoseanalyse til at forhindre problemer i at opstå
• Feedback-løkker, der forbinder anomalidetektion med forbedret AI-modelkvalitet

Facilitering af AI-funktioner

AI-systemer afhænger af infrastruktur, tjenester, datapipelines og operationelle rutiner; de fejler ikke på egen hånd. Holdene får det komplette billede, når både AI- og IT-pålidelighed kombineres.

En tynd LLM-indkapsling bør ikke være grundlaget for en pålidelig platform. For at identificere og løse problemer, som andre generative AI-værktøjer overser, bør en række AI-teknikker overvejes, herunder usupervised AI, prognose-AI, årsags-AI og generativ AI. Denne blanding af teknikker kaldes ofte “sammensat AI”.

Generativ AI er god til at sammenfatte naturligt sprog. Det er bedst egnet til situationer, der kræver resonnering gennem ustruktureret data eller når der interageres med mennesker. Men det passer ikke formen på de fleste pålidelighedsproblemer i produktion.

Prognose-AI fokuserer på at identificere tidlige signaler, før de bliver afbrydelser, dårlige kundeoplevelser eller dyre fejl ved at bruge anomalidetektionsalgoritmer.

Årsags-AI hjælper med at bestemme den sande årsag til at afsløre, om hentningskvalitet, modeladfærd, infrastruktursløvhed, opstrømsdata-drift eller downstream-systemfejl var årsagen til en ydelsesnedgang.

Usupervised AI afdekker selvstændigt skjulte mønstre, strukturer eller anomalier i data uden menneskelig vejledning. Det overgår generativ AI til pålidelighed, fordi det fokuserer på at finde skjulte strukturer inden for komplekse, uklassificerede data for at gruppere lignende elementer eller finde relationer.

Når risiko, usikkerhed eller forretningsvirkninger er betydelige, må operationelle AI-agenter kunne automatisere reaktion, samtidig med at de opretholder menneskelig indgriben for pålidelig drift.

AI-modellens forståelse af den specifikke forretningskontekst kan forbedres i hver enkelt møde ved at bruge forstærkning fra reel brugerdata i produktion.

Selv de mest avancerede systemer går ud over alarm; lukket remediering lærer af hver enkelt incident over tid, automatiserer genkendte reaktioner og initierer sikre foranstaltninger.

Forberedelse til autonome AI-systemer

Virksomheder kan forberede sig til autonome AI-systemer på flere måder. Først skal agenterne betragtes som operationelle systemer snarere end som produktivitetsværktøjer. Når en agent har mulighed for at handle, bliver det en integreret del af virksomhedens operationer og skal regulérer efterfølgende.

Hold kan optage signaler fra modeller, prompts, værktøjer, arbejdsgange, infrastruktur og brugerresultater med det samme ved at instrumentere agenter. Denne grundlæggende overvågning kan og bør ikke udsættes, til agenterne bliver essentielle for virksomheden.

At etablere pålidelighedskrav før en omfattende udrulning af agenter er også afgørende. I stedet for at introducere dem efterfølgende skal accepterede grænseværdier for sikkerhed, latency, fejlhastigheder, hallucinationsrisiko, politikoverholdelse og forretningsvirkning indarbejdes i deres design.

At kobling af AI-adfærd til de underliggende systemer og procedurer, der støtter det, giver virksomheder mulighed for at integrere AI- og IT-drift. At bruge forskellige værktøjer til infrastruktur og modelovervågning skaber blindspots.

Platformteknik, SRE, sikkerhed, datateam, AI-team og forretnings ejere må arbejde sammen for at give pålidelig AI-drift, og autonome systemer overstiger konventionelle siloer.

Hver enkelt incident, anomalie og nærmisse vil forbedre systemet ved at inkorporere feedback-løkker i drift, så virksomheder kan lære kontinuerligt fra produktionsadfærd.

Til sidst er det kritisk at vælge platforme, der er designet til kontrol snarere end blot overvågning. Virksomheder vil have gavn af systemer, der integrerer overvågning, prognose, forklaring og handling, når AI-agenter bliver mere autonome. Organisationer, der med held går over fra at identificere problemer til sikkert at kontrollere resultater, vil være vinderne.

Det afgørende

AI i virksomheder er nu et operationelt system i virksomheds-miljøer snarere end et værktøj. I virkelige produktionsmiljøer garanterer tilføjelse af pålidelighed til AI-systemer sikre, konsekvente, forudsigelige og effektive operationer.