Vin Sharma, cofondator și director general al Vijil – serie de interviuri

Vin Sharma este cofondator și director general al Vijil și are peste 30 de ani de experiență în domeniul securității cibernetice, al tehnologiilor open source, al cloud computingului și al infrastructurii IA. Înainte de a fonda compania, a condus activități de inginerie în domeniul învățării profunde la AWS pentru Amazon SageMaker și Amazon Bedrock, a dezvoltat infrastructura centrelor de date la Intel și a ocupat funcții în domeniul produselor și al ingineriei la Hewlett-Packard. Și-a început cariera cu testarea automatizată de tip red team pentru sisteme UNIX de încredere, experiență care îi influențează preocuparea de a face agenții IA pentru companii fiabili, securizați și siguri.

Vijil oferă infrastructură pentru asigurarea încrederii în agenții IA destinați companiilor, ajutând organizațiile să le evalueze comportamentul, să aplice măsuri de control și să le sporească reziliența pe tot parcursul ciclului de viață. Abordarea sa combină testarea, securitatea și feedbackul continuu pentru a alinia comportamentul agenților la scopul și politicile stabilite de organizație. În acest interviu, Sharma discută despre cum poate fi definită și măsurată încrederea, de ce testarea agenților diferă de securitatea software-ului tradițional și ce supraveghere le este necesară companiilor pe măsură ce agenții capătă autonomie.

Ați lucrat peste 30 de ani la companii precum AWS, Intel și Hewlett-Packard, înainte de a fonda Vijil. Ce v-a convins, în cele din urmă, că încrederea și securitatea în domeniul IA reprezentau o problemă nerezolvată suficient de importantă pentru a construi o companie în jurul ei?

Înainte să mă alătur unui startup din domeniul securității, acum 30 de ani, eram la facultate, unde studiam IA și învățarea automată. De atunci, am lucrat în echipe de produs care au integrat securitate de nivel militar în sisteme de operare bazate pe Unix și Linux, au creat servere web securizate pentru serviciile bancare online, medii de execuție de încredere pentru cloud computing și funcționalități de criptare în platforme de analiză a datelor; cel mai recent, am revenit la punctul de plecare, contribuind la dezvoltarea unor servicii IA/ML pregătite pentru companii la AWS. Această călătorie m-a convins că integrarea încrederii într-un sistem inteligent este mai dificilă decât construirea sistemului inteligent în sine. Deși industria IA pare, în general, hotărâtă să sporească capabilitățile agenților, eu cred că trebuie să investim tot atâtea resurse în crearea unor mecanisme scalabile de supraveghere și control integrate în agenți. Fără indicatori și mecanisme adaptate nevoilor anumitor organizații, valul inițial de adoptare entuziastă se va risipi în fața riscurilor și a randamentului investiției, deoarece companiile nu vor putea demonstra că agenții lor acționează în interesul lor.

Vijil pornește de la ideea că mulți agenți IA nu ajung niciodată în producție, deoarece companiile nu le pot verifica în mod adecvat fiabilitatea, securitatea și siguranța. Unde observați cele mai mari lacune de încredere pe măsură ce companiile trec de la prototipuri IA la implementări în producție?

Blocajul în calea implementării unui număr tot mai mare de agenți cu autonomie sporită ține de capacitatea organizațiilor de a specifica comportamentul dorit al agenților și de a verifica dacă aceștia se comportă conform așteptărilor. Mai mult, organizațiile trebuie să poată face acest lucru la scara și cu viteza la care operează agenții. Este firesc să avem nevoie de o modalitate prin care agenții să poată măsura și modifica comportamentul altor agenți. Două dintre cele mai mari lacune țin de a ști ce trebuie măsurat (ce înseamnă „bun” în cazul agenților) și ce trebuie modificat (ce componente ale sistemului agentului trebuie ajustate pentru a obține comportamentul dorit de entitatea care îl controlează: modelul și parametrii acestuia, promptul de sistem, instrucțiunile utilizatorului, cadrul agentului sau graful sistemelor cu mai mulți agenți).

Cum definește și măsoară Vijil „încrederea” într-un agent IA și ce semnale sau criterii de evaluare contează cel mai mult atunci când se stabilește dacă un agent este pregătit să funcționeze într-un mediu de companie?

Definim încrederea ca beneficiul preconizat al delegării către un agent autonom, diminuat în funcție de riscul ca acesta să ne trădeze intențiile. Asta înseamnă că putem avea încredere într-un agent dacă se comportă corect în condiții normale, perturbate și ostile și, atunci când eșuează, limitează amploarea efectelor. Putem măsura apoi încrederea pe baza a trei piloni: fiabilitate, securitate și siguranță. Agenții sunt fiabili atunci când funcționează conform așteptărilor în condiții diverse, sunt securizați atunci când funcționează conform așteptărilor în condiții ostile și sunt siguri atunci când pot reduce la minimum riscurile comerciale, juridice și tehnice.

Agenții IA se pot comporta imprevizibil, deoarece combină modele, instrumente, surse de date, memorie și sisteme externe. Prin ce diferă testarea unui agent de testarea tradițională a securității aplicațiilor sau de evaluarea convențională a modelelor?

Eșecurile software-ului tradițional se manifestă în moduri cunoscute în prezent; în linii mari, printre acestea se numără incapacitatea de a gestiona intrări malformate, punctele slabe ale logicii și proiectării sistemului, erorile de implementare, vulnerabilitățile ascunse la atacuri și efectele secundare nedorite ale rezultatelor. Testarea pentru depistarea acestor probleme este, în mod firesc, previzibilă. Agenții extind considerabil suprafața de risc, până într-atât încât aceasta nu mai poate fi acoperită în mod adecvat de evaluarea modelelor, testele unitare, testele de integrare, testele de securitate a aplicațiilor, testele de penetrare și verificările de conformitate. Pentru a testa noua suprafață de risc asociată agenților, avem nevoie de indicatori și mecanisme noi, care să evalueze comportamentul agentului în raport cu scopul stabilit de entitatea care îl controlează, cu profilurile utilizatorilor săi și cu politicile organizației, ale industriei și ale regiunii în care funcționează.

Experiența dumneavoastră include coordonarea unor proiecte de inginerie în domeniul învățării profunde pentru Amazon SageMaker și Amazon Bedrock. Ce lecții desprinse din dezvoltarea infrastructurii AI la AWS v-au influențat cel mai mult abordarea securității și fiabilității agenților la Vijil?

Cea mai importantă lecție a fost că identificarea din timp, în ciclul de dezvoltare, a problemelor de fiabilitate, securitate și conformitate ale serviciilor era mult mai eficientă și mai puțin costisitoare decât descoperirea lor în ajunul lansării, cum se proceda în mod tradițional, sau, mai rău, după ce serviciul ajungea în producție, când telefoanele despre un serviciu care nu funcționa vă trezeau din somn.

Vijil se concentrează nu doar pe testarea agenților înainte de implementare, ci și pe protejarea și îmbunătățirea lor continuă în producție. Ce tipuri de riscuri devin vizibile abia după ce un agent începe să interacționeze cu utilizatori reali, date reale și sisteme de întreprindere?

Lumea reală are o capacitate infinită de a ne surprinde. Iar un agent surprins este un agent predispus la erori. Nu-i pasă nimănui dacă un agent face o greșeală când generează un meme. Însă un agent conceput să asiste sau să înlocuiască un consilier financiar, un asistent juridic, un avocat, o asistentă medicală, un medic, un pacient sau orice profesionist dintr-un domeniu în care trebuie să existe dovezi ale conduitei fiduciare nu poate funcționa decât dacă nivelurile de toleranță sunt definite cu strictețe, monitorizate cu atenție, iar comportamentul agentului este readus rapid în limitele acceptabile.

Pe măsură ce întreprinderile implementează agenți tot mai autonomi, capabili să întreprindă acțiuni, nu doar să genereze răspunsuri, cum trebuie să evolueze modelul de securitate? Sunt suficiente conceptele tradiționale, precum permisiunile, identitatea și controlul accesului?

Nu. Pe măsură ce agenții devin actori în cadrul unei organizații, trebuie să li se atribuie identități unice, care pot fi verificate; trebuie să li se atribuie roluri care să le limiteze atât comportamentul, cât și componentele funcționale (instrumentele cu permisiuni de acces la resurse), prin politici obligatorii de control al accesului; trebuie monitorizați continuu pentru a detecta orice abatere de la scopul stabilit și ghidați astfel încât să rămână rezilienți în fața atacurilor.

Vijil a evoluat de la o rundă de finanțare Seed de 6 milioane de dolari la o rundă Series A de 17 milioane de dolari, construind în același timp o echipă fondatoare de aproximativ 20 de persoane și atingând primul milion de dolari în venituri recurente anuale. Care au fost cele mai importante decizii care v-au permis să treceți de la un concept tehnic aflat la început la adoptarea comercială?

Am ales încă de la început să construim un nivel de încredere care se integrează cu platforma aleasă de client, dar am anticipat că întreprinderile vor căuta tot mai mult posibilități de personalizare mai ample, un control mai granular și costuri mai mici pentru sistemele cu mai mulți agenți bazate pe modele deschise. Strategia pe termen lung de a construi un nivel de platformă, în locul unui produs punctual, ne oferă avantaje competitive, dar creează și condiții dificile: nu este la fel de simplu să găsim întreprinderi pregătite să guverneze agenți la scară largă precum să vindem un serviciu de migrare de tip „lift-and-shift”.

V-ați început cariera în 1995, dezvoltând teste automate de tip red team pentru sisteme UNIX de încredere. Aproape trei decenii mai târziu, cum au evoluat principiile testării de tip red team atunci când sistemul testat este un agent AI capabil să raționeze, să se adapteze și să folosească instrumente externe?

În mod tradițional, testarea de tip red team presupunea verificarea apărării unei organizații în fața unui atac coordonat. Principiile generale rămân valabile. Avem în continuare nevoie de atacuri coordonate, desfășurate în condiții controlate, pentru a identifica punctele slabe ale organizației testate. Totuși, metodele din perioada intermediară, când exercițiile red team erau alcătuite din scenarii prestabilite pentru testarea sistemelor software, nu mai sunt suficiente, deoarece agenții AI nu sunt asemenea programelor deterministe: sunt concepuți să se adapteze la mediul în care funcționează, astfel încât același atac nu poate fi repetat în mod previzibil. Susțin că agenții ar trebui tratați ca niște corporații. Prin urmare, testarea agenților de tip red team trebuie neapărat să țină cont de scopul agentului, să cerceteze abaterile acestuia de la intențiile utilizatorilor și să-i evalueze disponibilitatea și capacitatea de a eluda politicile mediului în care funcționează.

Privind spre viitor, credeți că testarea independentă și standardele măsurabile de încredere pentru agenții AI vor deveni o condiție prealabilă pentru implementarea lor în întreprinderi? Ce trebuie să se întâmple la nivelul întregii industrii pentru ca acest nivel de asigurare să devină o practică standard?

În prezent, dezvoltatorii evaluează capacitățile agenților, echipele red team le testează rezistența la injectarea de prompturi și la jailbreak-uri, iar echipele GRC abia încep să le verifice conformitatea cu reglementările. Foarte puține organizații instituie un regim de verificare a comportamentului care să funcționeze continuu în fundal pe tot parcursul ciclului de viață al agentului, pe măsură ce se schimbă modelele, instrumentele, resursele, fluxurile de lucru și mediul-țintă. Mai important, Vijil le oferă întreprinderilor un avantaj unic: urmărește comportamentul efectiv al agentului în producție până la specificațiile acestuia, printr-un circuit de feedback care îl îmbunătățește continuu. Agenții care supraviețuiesc atacurilor sunt cei care se adaptează pentru a-și menține reziliența.

Vă mulțumim pentru acest interviu excelent. Cititorii care doresc să afle mai multe despre testarea, protejarea și îmbunătățirea continuă a agenților AI pentru întreprinderi pot vizita Vijil.