Cine supraveghează agenții? Noua eră a supravegherii inteligenței artificiale

Când discutăm despre agenți inteligenți, majoritatea oamenilor își imaginează sisteme superintelligente care acționează singure, făcând lucruri imprevizibile. Așadar, într-o zi, agentul-secretar ar putea fi incredibil de util, iar a doua zi ar putea oferi credențialele bancare unui persoană aleatoare.

Partea “superinteligentă” nu contează de fapt în această preocupare. Problema cheie nu este cât de “deștept” este un agent inteligent, ci mai degrabă câtă libertate și acces la infrastructură are.

În practică, valoarea unui agent este definită mai puțin de nivelul său de inteligență și mai mult de limitele autorității sale. Chiar și un agent relativ simplu, odată ce primește acces la seturi de date, sisteme corporatiste, operațiuni financiare sau API-uri externe, capătă capacitatea de a influența procese la o scară care cere atenție și supraveghere specială.

De aceea, sistemele de monitorizare și conținere devin din ce în ce mai vitale, nu numai la nivelul modelului, ci și la nivelul comportamentului lor în cadrul infrastructurii.

Nu este o coincidență faptul că inițiativele menite să observe și să controleze activitatea agenților au câștigat impuls în ultimii ani. Aceste soluții practice sunt deja implementate de companii tehnologice majore.

Cum funcționează un agent

Pentru a înțelege cum funcționează supravegherea, trebuie să aruncăm o privire la ceea ce constituie un agent. În termeni simpli, poate fi văzut ca o combinație între un nucleu cognitiv, “creierul” și unelte.

Uneltele sunt servicii externe și integrări la care agentul poate accesa. De exemplu, pentru un agent de călătorie, acestea ar putea include Booking.com sau Airbnb pentru găsirea hotelurilor, agregatoare de bilete de avion pentru cumpărarea biletelor și sisteme de plată sau carduri bancare pentru efectuarea plăților. În sine, aceste unelte nu sunt inteligente; ele permit doar agentului să acționeze în lumea reală.

Nucleul cognitiv este un model de limbaj (LLM). Acesta permite agentului să lucreze în mod semnificativ cu solicitările formulate de oameni. De exemplu, solicitarea “Vreau să zbor în Europa pentru trei zile în următoarea lună, unde vremea va fi frumoasă” este prea vagă. Agentul solicită LLM-ului să “descompună solicitarea în categorii”. În răspuns, primește parametri structurați: unde, când, pentru cât timp și în ce condiții.

Anterior, ChatGPT genera doar răspunsuri text. Acum, încorporat într-un agent, devine o combinație de “creier + unelte”, capabilă nu numai să explice, dar și să acționeze. LLM-ul structurează sarcina, iar uneltele permit executarea unor acțiuni specifice.

Cum funcționează supravegherea

La acest stadiu, intră în joc un sistem de control. Eu numesc această soluție de siguranță un “câine de pază” (cu ceva timp în urmă, chiar am luat în considerare ideea de a crea o companie care să se axeze pe acest aspect), un fel de câine de pază încorporat în agent. Rolul său este de a monitoriza acțiunile agentului și de a le verifica împotriva solicitării originale. Scopul este de a asigura că agentul operează în limitele intenționate.

Revenind la exemplul de călătorie: să zicem că utilizatorul nostru dorește să rezerve o călătorie de trei zile în Europa. Agentul interacționează cu servicii meteo, bilete de avion și contul bancar pentru plată. Totul pare normal. Dar brusc, “câinele de pază” observă că agentul solicită acces la o bază de date corporativă sau un cont bancar nelegat de plata călătoriei. Acest lucru declanșează o alertă de siguranță și semnalează un comportament suspect.

Este important să înțelegem scala: un agent poate deservi mii de utilizatori pe zi, cu fiecare solicitare declanșând sute de operațiuni, rezultând milioane de acțiuni. “Câinele de pază” analizează toate acțiunile și generează statistici. Rapoartele ar putea indica: “13% din acțiuni au fost redundante, 7% s-au referit la securitatea financiară.” Detalii suplimentare explică care acțiuni specifice au apărut suspecte.

Acest instrument permite dezvoltatorilor să vadă imaginea de ansamblu și să răspundă prompt la anomalii, formând o soluție practică de control al inteligenței artificiale care combină monitorizarea în timp real, detectarea anomaliilor și responsabilitatea.

Cine beneficiază de “câinele de pază”: dezvoltatorii sau utilizatorii?

În primul rând, “câinele de pază” este destinat dezvoltatorilor pentru a asigura funcționarea corectă a sistemului. Cu toate acestea, se poate imagina și o versiune externă: un agent de supraveghere separat care monitorizează agentul principal. Acest lucru adaugă o altă strat de siguranță a inteligenței artificiale, extinzând supravegherea dincolo de sistemul intern.

Există o limitare importantă: procesul intern al agentului rămâne “închis”. Putem observa doar comportamentul său, nu procesele cognitive. O analogie cu oamenii: pot vedea pe cineva ridicând un telefon, formând un număr și vorbind. Dar nu știu care număr a fost format, ce a fost intenția sau ce s-a spus. La fel, un observator extern vede acțiunile agentului, dar nu și nucleul său cognitiv.

O altă considerare intrigantă: agenții ar putea încerca să ocolească sau să dezactiveze astfel de observatori în viitor, la fel cum oamenii adesea rezistă supravegherii constante. Deși acest lucru poate părea științifico-fantastic astăzi, este posibil. Integrarea soluțiilor interne de siguranță a inteligenței artificiale, detectarea anomaliilor și supravegherea stratificată poate ajuta la mitigarea acestor riscuri și menține controlul asupra sistemelor din ce în ce mai autonome.

Reguli primitive sau analiză conștientă de context?

Astăzi, astfel de sisteme “câine de pază” funcționează pe un principiu simplu: “permis” sau “interzis”. De exemplu, dacă regula spune “accesul la Amazon este interzis” și agentul merge acolo, se înregistrează o încălcare. Dar această abordare nu înțelege contextul.

Un sistem mai avansat ar trebui să analizeze încălcarea și motivul acesteia. De ce a mers agentul la Amazon? A fost justificat în ceea ce privește sarcina? Aici vorbim despre supraveghere conștientă de context, asemănătoare cu munca unui psiholog.

Pentru moment, astfel de soluții există doar ca concepte. Sistemele existente sunt limitate la controlul strict alb-negru. Dar în viitor, pe măsură ce agenții devin mai complecși, va apărea un “câine de pază” capabil să ia în considerare contextul.

Astăzi, asistăm la o creștere a inițiativelor pentru monitorizarea agenților. Acestea sunt dezvoltate activ la nivelul celor mai mari companii tehnologice. De exemplu, ActiveFence lucrează cu jucători importanți precum NVIDIA și Amazon.

Este sigur să presupunem că Google, OpenAI, Anthropic și Amazon deja folosesc sisteme interne de “câine de pază”, analitică și telemetrie.

Am observat această cerere și printre clienții enterprise ai Keymakr – supravegherea și monitorizarea devin o parte centrală a infrastructurii de inteligență artificială. Fără ele, implementarea pe scară largă a agenților ar fi imposibilă.