Agenții autonomi necesită mai mult decât observabilitatea AI

Pe măsură ce companiile utilizează agenți AI pentru a gândi, a acționa și a iniția fluxuri de lucru, este imperativ să dezvolte un plan pentru a monitoriza și gestiona acești agenți.

Când diverse componente ale unui sistem AI încep să ia decizii, observabilitatea singură nu este suficientă pentru a asigura că operațiunile vor rămâne stabile, sigure sau fiabile.

Pentru a gestiona eficient agenții AI în întreaga întreprindere, companiile trebuie să acopere decalajul dintre identificarea problemelor și luarea de măsuri. Acest lucru depășește simpla observare a problemelor; companiile trebuie să prevină activ apariția lor.

Apariția agenților autonomi

Prima undă de inteligență artificială în întreprinderi a fost reprezentată de sisteme bazate pe prompturi; un utilizator punea o întrebare, modelul răspundea, iar schimbul se încheia acolo. Deși aceste tehnologii timpurii erau esențial reactive, ele au fost utile pentru căutare, copiloți, creare de conținut și rezumare.

Următoarea undă este diferită. Agenții autonomi AI nu numai că reacționează, dar și raționează obiective, selectează instrumente, extrag informații, iau măsuri și inițiază fluxuri de lucru. Ei lucrează uneori în tandem cu alți agenți sau sisteme și servesc din ce în ce mai mult ca jucători operaționali în cadrul companiei, în loc de a fi o interfață pentru instrucțiuni umane.

Această schimbare este semnificativă, deoarece afectează caracteristicile operaționale ale inteligenței artificiale. Echipele nu mai supraveghează doar ieșirile modelului. În schimb, ele gestionează sisteme dinamice care pot afecta instantaneu clienții, personalul, infrastructura, procesele de afaceri și alte aplicații.

Puterile agenților astăzi

Talentele agenților evoluează odată cu ei. Agenții pot selecta ce să facă următorul, pot descompune un obiectiv în etape și pot finaliza activități la diferite niveluri. Prin contactarea API-urilor, interogarea bazelor de date, căutarea în sisteme interne, actualizarea înregistrărilor și inițierea acțiunilor în aval, ei coordonează fluxurile de lucru. Prin integrarea prompturilor, memoriei, regulilor de afaceri, informațiilor recuperate și semnalelor operaționale în timp real, agenții pot face judecăți bazate pe context.

Agenții mai sofisticați pot identifica când un flux de lucru eșuează, pot încerca din nou, pot escalada problemele sau pot trimite sarcinile unui reviewer uman. În cadrul CRM, ticketing, infrastructură cloud, baze de cunoștințe interne, platforme de observabilitate și aplicații de afaceri, agenții pot funcționa independent. Ne așteptăm ca aceste abilități să continue să se extindă rapid.

Cum integrează companiile agenții autonomi AI

Agenții sunt integrați într-o gamă tot mai largă de operațiuni organizaționale și se apropie de procesele operaționale în care viteza, precizia, siguranța și guvernanța sunt importante. Unele dintre aceste operațiuni includ: servicii pentru clienți și gestionarea cazurilor, răspuns la incidente și operațiuni IT, fluxuri de lucru pentru DevOps și dependența site-ului, corectarea codului și dezvoltarea software, planificarea operațională și a lanțului de aprovizionare, și multe altele.

Amenințări operaționale emergente

Cu toate acestea, pe măsură ce agenții devin din ce în ce mai independenți, companiile trebuie să facă față unui nou tip de risc operațional.

• Alegerile proaste nu sunt doar recomandate; ele sunt adesea puse în aplicare
• Greșelile minore pot fi propagate rapid către alte sisteme conectate
• Acțiunile din lumea reală pot fi declanșate de halucinații
• Agenții pot devia de la intenția, politica sau conformitatea cu regulile de afaceri
• Interacțiunile dintre multiple componente pot duce la eșecuri
• Luarea deciziilor automate poate lua decizii mai repede decât evaluarea umană

Deși echipele pot observa simptomele, ele trebuie să poată înțelege și motivele din spatele comportamentului sistemului. Inteligența artificială din întreprinderi are nevoie de controale de fiabilitate în plus față de vizibilitate.

Complexitățile sistemelor AI

Sistemele bazate pe inteligență artificială de astăzi sunt rareori un singur model. Ele sunt sisteme distribuite, stratificate, compuse din multiple componente care interacționează și care includ:

• Modele fundamentale (LLM)
• Modele fine-tunate sau specifice unor sarcini (SLM)
• Modele de încorporare
• Baze de date vectoriale
• Pipe-line de recuperare și componente RAG
• Șabloane de prompt și straturi de orchestrare a prompturilor
• Seturi de date de antrenament și evaluare
• Baraje și straturi de politici
• Agenți și fluxuri de lucru
• Sisteme de apelare a unor instrumente
• Telemetrie (adică jurnale, metrice și urme)
• Puncte de aprobare umană în buclă

Riscurile lor

Fiecare componentă adaugă un mod de eșec diferit, iar modul în care interacționează adaugă complexitate suplimentară. Chiar dacă un sistem pare puternic la nivelul infrastructurii, el poate totuși lua decizii proaste și genera rezultate satisfăcătoare; toate acestea în timp ce se acumulează riscuri operaționale sub suprafață.

Unele dintre riscurile asociate includ: introducerea de intrări proaste sau corupte de către pipe-line de date, blocaje ale infrastructurii care reduc fiabilitatea, rezultate dăunătoare sau eronate și blocaje operaționale în răspuns la revizuirea umană. Problemele sunt și mai complicate de sistemele cu mai mulți agenți sau etape care pot eșua în moduri care nu sunt imediat evidente.

Observabilitatea AI

Monitorizarea tradițională este insuficientă pentru a înțelege comportamentul prompturilor, calitatea recuperării, deriva modelului, canalele de execuție ale agenților sau legătura dintre comportamentul AI și impactul operațional sau de afaceri în aval.

Acesta este locul în care observabilitatea AI intervine. Observabilitatea AI permite echipelor să înțeleagă cum funcționează sistemele AI în producție prin colectarea, corelarea și evaluarea intrărilor și ieșirilor, a comportamentelor dorite și a semnalelor de decizie generate de aceste sisteme. Acest lucru este esențial, deoarece sistemele AI sunt dispersate, nedeterministe și extrem de sensibile la context.

Observabilitatea AI oferă o perspectivă de la cap la coadă asupra fluxurilor de lucru AI, astfel încât echipele care o utilizează pot înțelege cum interacționează prompturile, modelele, straturile de recuperare, instrumentele și sistemele în aval în timpul execuției.

Observabilitatea AI permite monitorizarea performanței și a comportamentului, inclusiv a întârzierilor, costurilor, utilizării token-urilor, debitului, ratelor de eroare, indicatorilor de calitate a modelului și a calității ieșirilor. Ea urmărește și analizează căile de execuție în fluxurile de lucru complexe ale agenților și demonstrează cum se ajunge la rezultate pe parcursul mai multor etape și dependențe.

Observabilitatea AI găsește, de asemenea, anomalii în semnalele operaționale și AI, expunând comportamentul anormal în modele, pipe-line, infrastructură sau rezultate cu față umană, înainte ca echipele să le descopere manual. Ea accelerează diagnosticarea atunci când apare o problemă și facilitează investigațiile asupra cauzelor de bază, incluzând operațiuni specifice AI în telemetria sistemului (jurnale, metrice, urme și evenimente).

Observabilitatea singură nu este suficientă

În ciuda faptului că este o practică comercială esențială, observabilitatea AI are limite inerente.

Observabilitatea este diagnostică, mai degrabă decât preventivă; echipele pot învăța ce a mers prost, dar nu neapărat cum să prevină ca aceasta să se întâmple din nou. Este important să înțelegem că cunoașterea acțiunilor trecute ale unui agent nu se traduce automat în control asupra acțiunilor viitoare ale agentului.

În ceea ce privește sistemele complexe și nedeterministe, observabilitatea poate adesea copleși echipele cu date care duc la incertitudine. Mai degrabă decât să ofere un răspuns operațional, observabilitatea se încheie adesea la o explicație. Chiar dacă echipele sunt conștiente de o problemă, ele pot să nu aibă automatizarea, barajele și buclele de control necesare pentru a lua măsuri corective.

Acest lucru creează un decalaj operațional. Companiile pot identifica deriva, rezultatele slabe, comportamentul periculos sau productivitatea scăzută, dar ele pot să nu poată preveni ca acestea să se întâmple din nou, să atenueze efectele sau să mențină sisteme autonome în parametrii de funcționare siguri.

Acest lucru face ca echipele să continue să opereze reactively. Ele utilizează intervenția manuală atunci când apare o problemă, investighează incidentele după faptă și se bazează pe munca umană pentru a compensa sistemele care devin mai rapide și mai autonome.

O privire de ansamblu asupra fiabilității AI

Fiabilitatea AI depășește simpla observare a problemelor. Ea reprezintă disciplina de a asigura că sistemele AI funcționează în siguranță, consistent, previzibil și cu succes în contexte de producție din lumea reală. Fiabilitatea AI cuprinde și gestionează sistemul complet de sisteme din jurul AI. Ea închide bucla dintre detectare și acțiune.

Fiabilitatea AI se concentrează asupra faptului dacă întregul sistem condus de AI poate funcționa în limite operaționale rezonabile pe termen lung, și nu doar dacă un model a oferit un răspuns precis. Calitatea, siguranța, reziliența, explicabilitatea, conformitatea cu politicile, eficiența costurilor și stabilitatea operațională fac toate parte din ecuație.

Tranzitarea de la detectare la prevenire

Fiabilitatea AI reduce timpul dintre recunoașterea unei probleme și rezolvarea ei. Ea mută conversația de la “ce a mers prost?” la “cât de repede se va îmbunătăți AI-ul nostru?” Utilizarea următoarelor tehnici mută observabilitatea de la observarea pasivă la prevenirea proactivă:

• Corelarea semnalelor din modele, date și infrastructură pentru a identifica probleme
• Detectarea proactivă a problemelor înainte de impact
• Verificarea tuturor intrărilor și ieșirilor în sistemele AI probabilistice pentru a detecta schimbări subtile de comportament
• Crearea unei bucle de feedback între detectarea ieșirilor nedorite în producție și utilizarea acesteia pentru a genera date de ajustare care îmbunătățesc precizia modelelor subiacente
• Urmărirea fluxurilor de lucru ale mai multor agenți pentru a asigura posibilitatea de a conecta punctele pe de ce și cum datele au evoluat pentru a informa acțiuni complexe
• Definirea unor fluxuri de lucru agențice cu implicare umană pentru răspunsuri sigure și remedieri automate

Închiderea decalajului dintre control și observație

Companiile beneficiază de cadre care integrează vizibilitatea și controlul și necesită mai mult decât doar un strat de observabilitate pe generarea de inteligență artificială. În sisteme atât deterministe, cât și nedeterministe, o platformă de fiabilitate poate identifica, anticipa, explica și ajuta la controlul problemelor.

Următoarele ar trebui să fie incluse într-un cadru viabil pentru operațiuni AI fiabile:

• Telemetrie integrată atât pentru sisteme IT, cât și pentru sisteme AI
• Urmărirea fluxurilor de lucru agențice și a dependențelor sistemului de la cap la coadă
• Urmărirea comportamentului și calității specifice AI (prompturi și evaluări)
• Detectarea avansată a anomaliilor, indiferent de sursă
• Raționament cauzal și analiză a cauzelor de bază
• Alerte care se adaptează automat la mediul dvs. și nu necesită praguri manuale
• Aplicarea politicilor și barajelor
• Evaluarea umană a acțiunilor delicate sau semnificative
• Automatizarea fluxurilor de lucru și coordonarea remedierii
• Utilizarea analizei predictive pentru a preveni apariția problemelor
• Bucle de feedback care conectează detectarea anomaliilor cu îmbunătățirea calității modelului AI

Facilitarea funcțiilor AI

Sistemele AI se bazează pe infrastructură, servicii, pipe-line de date și proceduri operaționale; ele nu eșuează singure. Echipele primesc imaginea de ansamblu atunci când se combină atât fiabilitatea AI, cât și cea IT.

Un înveliș subțire LLM nu ar trebui să fie baza unei platforme de încredere. Pentru a identifica și remedia probleme pe care alte instrumente doar AI nu le iau în considerare, ar trebui să se ia în considerare o varietate de tehnici AI, inclusiv inteligență artificială nesupravegheată, inteligență artificială predictivă, inteligență artificială cauzală și inteligență artificială generativă. Această combinație de tehnici este cunoscută în mod obișnuit sub numele de “inteligență artificială compusă”.

Inteligența artificială generativă este bună la rezumarea limbajului natural. Ea este cea mai potrivită pentru situații care necesită raționament prin date nestructurate sau atunci când interacționează cu oamenii. Dar acest lucru nu se potrivește formei majore a problemelor de fiabilitate din producție.

Inteligența artificială predictivă se concentrează asupra identificării semnalelor timpurii înainte ca acestea să devină opriri, experiențe proaste ale clienților sau eșecuri costisitoare, utilizând algoritmi de detectare a anomaliilor.

Inteligența artificială cauzală ajută la determinarea cauzelor reale pentru a dezvălui dacă calitatea recuperării, comportamentul modelului, încetinirea infrastructurii, deriva datelor în amonte sau eșecul sistemului în aval a fost cauza scăderii performanței.

Inteligența artificială nesupravegheată descoperă în mod autonom modele, structuri sau anomalii ascunse în date fără îndrumarea umană. Ea depășește inteligența artificială generativă pentru fiabilitate, deoarece se concentrează asupra găsirii structurilor ascunse din date complexe și neselectate pentru a grupa articole similare sau a găsi relații.

Când riscul, ambiguitatea sau efectele asupra afacerii sunt semnificative, agenții operaționali AI trebuie să poată automatiza reacția, menținând în același timp implicarea umană pentru operațiuni fiabile.

Înțelegerea modelului AI a contextului de afaceri specific poate fi îmbunătățită la fiecare întâlnire, utilizând învățarea prin întărire din datele reale ale utilizatorilor în producție.

Chiar și cele mai avansate sisteme merg dincolo de alerte; remedierea în buclă închisă învață din fiecare incident de-a lungul timpului, automatizează reacții recunoscute și inițiază măsuri sigure.

Pregătirea pentru sistemele AI autonome

Companiile se pot pregăti pentru sistemele AI autonome în mai multe moduri. În primul rând, agenții ar trebui să fie priviți ca sisteme operaționale, mai degrabă decât ca instrumente de productivitate. Odată ce un agent are capacitatea de a acționa, el devine o parte integrantă a operațiunilor companiei și ar trebui să fie reglementat în consecință.

Echipele pot înregistra semnale de la modele, prompturi, instrumente, fluxuri de lucru, infrastructură și rezultate ale utilizatorilor imediat, instrumentând agenții. Această supraveghere de bază nu ar trebui să fie amânată până când agenții devin esențiali pentru companie.

Stabilirea standardelor de fiabilitate înainte de implementarea pe scară largă a agenților este, de asemenea, crucială. Pragurile acceptabile pentru siguranță, întârziere, rate de eroare, risc de halucinație, conformitate cu politicile și impactul asupra afacerii ar trebui să fie încorporate în proiectarea lor, mai degrabă decât să fie introduse ulterior.

Conectarea comportamentului AI la sistemele și procedurile subiacente care îl sprijină permite companiilor să integreze operațiunile AI și IT. Utilizarea unor instrumente diferite pentru infrastructură și monitorizarea modelului creează puncte oarbe.

Ingineria platformei, SRE, securitatea, echipele de date, echipele AI și proprietarii de afaceri trebuie să colaboreze pentru a asigura operațiuni AI fiabile, iar sistemele autonome depășesc silozurile convenționale.

Fiecare incident, anomalie și aproape-accident va îmbunătăți sistemul, integrând bucle de feedback în operațiuni, permițând companiilor să învețe în mod continuu din comportamentul de producție.

În cele din urmă, este crucial să se selecteze platforme care sunt destinate controlului, mai degrabă decât doar observării. Companiile vor beneficia de sisteme care integrează observabilitatea, predicția, explicația și acțiunea, pe măsură ce agenții AI devin mai autonomi. Organizațiile care reușesc să treacă de la identificarea problemelor la controlul în siguranță al rezultatelor vor fi câștigătorii.

Rezumatul

Inteligența artificială în companii este acum un sistem operațional în medii enterprise, mai degrabă decât un instrument. În contexte de producție din lumea reală, adăugarea fiabilității la sistemele AI garantează operațiuni sigure, consistente, previzibile și eficiente. Companiile care reușesc să treacă de la identificarea problemelor la controlul în siguranță al rezultatelor vor fi câștigătorii.