Bo Li, CEO, Virtue AI – Interviu în serie

Bo Li, CEO al Virtue AI, este un cercetător și antreprenor de seamă, specializat în siguranța și securitatea sistemelor de inteligență artificială. El conduce Virtue AI, iar în același timp, este profesor la Universitatea din Illinois Urbana-Champaign, unde cercetările sale se axează pe securitatea învățării automatizate, inteligența de încredere și robustețea adversă. Cariera sa cuprinde atât mediul academic, cât și cel industrial, ceea ce îi permite să traducă cercetările avansate de IA în aplicații practice care ajută organizațiile să construiască tehnologii de IA mai sigure și mai rezistente.

Virtue AI este o companie axată pe protejarea și guvernanța sistemelor de IA utilizate în medii de întreprindere. Platforma sa oferă capacități precum testarea automată de securitate, garduri de protecție în timp real și monitorizarea continuă pentru a identifica vulnerabilități precum injecția de prompturi, halucinații și scurgeri de date. Prin integrarea directă în fluxurile de dezvoltare și implementare a IA, compania ajută organizațiile să utilizeze în siguranță modelele de limbaj și aplicațiile alimentate de IA, menținând în același timp standarde solide de securitate și guvernanță.

Ce v-a motivat să treceți de la o carieră pur academică la fondarea și conducerea Virtue AI, și ce problemă ați simțit că industria nu reușește să abordeze la scară largă?

Uneltele de securitate tradiționale au fost create pentru aplicații previzibile cu căi fixe. Ele nu au fost proiectate pentru sisteme care raționează, se adaptează și acționează autonom. Co-fondatorii mei și eu am identificat o lacună între ceea ce cercetarea fundamentală de securitate a IA a produs și ceea ce întreprinderile aveau realmente la dispoziție. Cercetarea exista. Realitatea de producție nu. Acesta este ceea ce am încercat să schimbăm.

Virtue AI se axează pe siguranța, securitatea și conformitatea pentru modelele de limbaj și agenții autonomi. Care dintre aceste domenii credeți că întreprinderile le subestimează cel mai mult astăzi?

Întreprinderile înțeleg toate aceste domenii într-o anumită măsură, mai ales securitatea, dar există încă o lacună mare.

Întreprinderile au început să ia în serios securitatea modelului, cel puțin la nivel de suprafață. Dar agenții reprezintă o problemă diferită. Ei primesc acces la cele mai sensibile părți ale infrastructurii întreprinderii: execută cod, apelează API-uri, navighează pe web și iau decizii în lanț care ating date, finanțe și operațiuni. Majoritatea echipelor de securitate nu sunt pregătite să raționeze despre acest tip de sistem. Uneltele pe care le au nu au fost create pentru asta.

Riscul nu este teoretic. Fără securitate construită special pentru sisteme agențiale, eșecurile mici se pot acumula rapid. Un apel de instrument neașteptat, o instrucțiune ambiguă, un prompt care trece de gardurile de protecție—oricare dintre acestea poate escalada în acțiuni neautorizate sau expunere de date înainte de a observa că ceva a mers prost.

Testarea continuă de securitate este centrală în abordarea Virtue AI. Ce tipuri de eșecuri sau riscuri tind să apară numai atunci când sistemele sunt live în producție?

Majoritatea celor grave.

Într-un mediu controlat, testați modelul și agenții. În producție, testați sistemul—and those sunt lucruri diferite. Odată ce un model este conectat la unelte, conducte de recuperare, intrări de utilizator și alți agenți, spațiul de comportament se extinde în moduri pe care testarea pre-deployare nu le captează. Un agent “configurat în siguranță” poate acționa foarte diferit atunci când este conectat la baze de date reale, servere MCP noi sau alți agenți. Sistemul devine nedeterminist. Începe să ia decizii pe baza contextului care nu a existat în timpul evaluării.

Acolo găsiți eșecurile care contează cu adevărat.

Cum gândiți “siguranța IA” în practică, mai ales atunci când sistemele evoluează prin fine-tuning, recuperare și utilizare de unelte?

În practică, siguranța IA nu poate fi măsurată printr-un singur benchmark static, deoarece sistemele de IA moderne evoluează continuu prin fine-tuning, recuperare și interacțiuni cu agenți sau unelte. În schimb, siguranța trebuie evaluată ca o proprietate a sistemului pe parcursul întregului ciclu de viață al unei aplicații de IA. Acest lucru include testarea modelului și a agenților cu atacuri de testare diverse, monitorizarea comportamentului în timp real, precum prompturi, apeluri de unelte și acțiuni, și evaluarea rezultatelor împotriva politicilor de risc definite (de exemplu, utilizare abuzivă, halucinații, scurgeri de date sau acțiuni neautorizate).

De exemplu, lucrarea noastră câștigătoare a premiului (Cel mai bun articol la National Security Agency și NeurIPS), DecodingTrust, a oferit o testare cuprinzătoare de securitate și siguranță pentru modelele de bază. Platforma noastră DecodingTrust-Agent a construit un simulator realist de agenți care găzduiește medii diverse cu agenți de testare nativi pentru a efectua teste de securitate dinamice, adaptive și continue.

Mai important, măsurarea siguranței trebuie să fie continuă și adaptivă, deoarece actualizările prompturilor, surselor de recuperare sau uneltelor pot introduce noi vulnerabilități. În practică, acest lucru înseamnă combinarea testării automate de securitate, a gardurilor de protecție în timp real și a observabilității pentru a măsura nu numai răspunsurile modelului, ci și siguranța sistemului de IA care funcționează în lumea reală.

Care dintre aceste domenii—robusteză, confidențialitate și atacuri adverse—a dovedit a fi cel mai greu de translatat în apărări din lumea reală?

Translatarea cercetării în robusteză, confidențialitate și atacuri adverse în apărări din lumea reală este, de fapt, foarte fezabilă. De fapt, multe dintre direcțiile de cercetare din grupul meu sunt inspirate direct de provocările practice de securitate observate în sistemele de IA implementate. Dificultatea reală nu constă în construirea apărărilor, ci în furnizarea de garanții de securitate fiabile în medii dinamice și din lumea reală.

În cercetarea academică, grupul meu a făcut progrese puternice, cum ar fi robustețea certificată și garanțiile de confidențialitate, dar aceste rezultate se bazează, de obicei, pe ipoteze care nu pot fi pe deplin valabile în sistemele de producție complexe. Aplicațiile moderne de IA evoluează continuu prin noi date, fine-tuning, conducte de recuperare și integrări de unelte, ceea ce poate introduce noi vulnerabilități în timp.

Ca urmare, securitatea eficientă a IA nu poate depinde de o protecție unică—ea necesită testare continuă de securitate, descoperire de risc și garduri adaptive care evoluează alături de sistem. Acesta este exact filozofia din spatele Virtue AI: combinarea cercetării noastre de lungă durată în securitatea IA cu testarea automată de securitate la scară largă și protecția în timp real pentru a identifica continuu riscuri emergente și a actualiza apărările, permițând astfel securitate practică și scalabilă pentru sistemele de IA din lumea reală.

Ce face securizarea agenților de IA autonomi fundamental diferită de securizarea software-ului tradițional sau chiar a chatbot-urilor?

Agenții nu sunt programe statice. Ei nu urmează căi previzibile și nu rămân în perimetrul pe care l-ați tras pentru ei la implementare.

Securitatea tradițională presupune căi de execuție fixe, API-uri stabile și comportament determinist. Agenții autonomi încalcă toate aceste presupuneri. Ei raționează despre ce urmează să facă, aleg unelte pe baza contextului și produc efecte asupra mai multor sisteme într-o singură execuție.

Nu puteți scana un prompt, întări un model sau monitoriza un singur apel API și considera treaba terminată. Trebuie să securizați agentul ca un sistem complet—raționamentul său, utilizarea uneltelor, mediul și ceea ce se întâmplă în aval.

Acesta este punctul cheie al problemei pe care controalele nu le pot rezolva. Nu au fost create pentru asta.

Unde cad uneltele de securitate existente scurt atunci când agenții pot acționa peste multiple sisteme, unelte și surse de date deodată?

Ele vă lasă orb la modul în care agentul a operat de fapt de la cap la coadă.

Majoritatea uneltelor au fost create pentru aplicații cu perimetre clare și comportament stabil. Ele pot spune ce a arătat un singur apel API. Nu pot spune cum un agent a raționat drumul său prin cinci apeluri de unelte pentru a produce un rezultat pe care nimeni nu l-a intenționat.

Lacuna de vizibilitate este problema. Dacă nu puteți vedea lanțul complet de acțiuni și decizii, nu puteți guverna și nu puteți audita după aceea.

Cum reduc gardurile de protecție în timp real riscul comparativ cu monitorizarea sau înregistrarea singură?

Înregistrarea vă spune ce a mers prost după ce daunele au fost făcute. Este utilă pentru forensică și conformitate, dar nu oprește nimic.

Cu agenții autonomi, întârzierea dintre acțiune și detectare poate fi cu adevărat costisitoare. Un agent care a executat deja un apel API prost sau a extras date nu a așteptat ca pipeline-ul dvs. de înregistrare să prindă din urmă.

Gardurile de protecție în timp real interceptează acțiunea înainte de execuție. Dacă un agent încearcă ceva în afara politicii, este blocat sau marcat înainte de a rula, nu după.

Combinația contează și. Prevenirea în timp real plus un punct unic de aplicare a politicii de securitate pentru toate interacțiunile agent-unelte este un profil de risc diferit decât monitorizarea pasivă a componentelor individuale.

Virtue AI a fost fondată de cercetători profund tehnici. Cum influențează acest lucru deciziile de produs comparativ cu startup-urile de IA mai comercializate?

Securitatea și guvernanța IA sunt, în esență, o problemă profund tehnică. Sistemele pe care le protejăm—cum ar fi modelele de limbaj, modelele multimodale și sistemele agențiale—sunt ele însele construite pe cercetare avansată. Fără o puternică expertiză fundamentală în securitatea IA, este aproape imposibil să proiectați soluții de securitate eficiente pentru ele.

În multe cazuri, cea mai mare provocare în securitatea IA este atunci când un algoritm de testare avansat identifică vulnerabilități ale agenților de IA într-un articol de cercetare—cum traduceți acea perspicacitate într-o apărare de producție care poate proteja în mod fiabil sisteme reale la scară? La Virtue AI, închiderea acestei lacune între cercetare și implementare este esențială pentru modul în care operăm și ceea ce suntem experimentați.

Deoarece Virtue AI a fost fondată de cercetători care au petrecut decenii lucrând la robustețea IA, învățarea adversă și IA de încredere, echipele noastre de cercetare și inginerie lucrează la aceleași probleme simultan. Cercetătorii noștri studiază continuu arhitecturi de modele emergente, fluxuri de lucru agențiale noi și tehnici de atac în evoluție, în timp ce echipele noastre de ingineri integrează aceste insight-uri direct în sistemele de producție.

Atunci când identificăm o nouă vulnerabilitate—cum ar fi un nou model de injecție de prompt sau o strategie de manipulare a agenților—ea poate fi rapid tradusă în noi modele de detectare, garduri de protecție sau strategii de testare. Acest lucru se întâmplă continuu, nu doar pe o hartă de produse trimestrială.

Ca rezultat, produsele noastre rămân atât de avangardiste, cât și gata pentru întreprinderi, ajutând organizațiile să-și securizeze sistemele de IA pe măsură ce le construiesc și le implementează. Mulți dintre clienții noștri ne spun că această abordare bazată pe cercetare este exact ceea ce le permite să se miște mai repede, menținând în același timp siguranța și conformitatea.

În contrast, echipele pur comercializate optimizează adesea ceea ce clienții cer astăzi, ceea ce poate duce la funcții incrementale, dar poate rămâne în urmă peisajului de amenințări în evoluție rapidă al sistemelor de IA. În securitatea IA, amenințările evoluează la fel de repede ca și tehnologia însăși. O fundație bazată pe cercetare ne permite să anticipăm noi riscuri mai devreme și să construim apărări înainte de a deveni probleme răspândite.

Care este cea mai comună concepție greșită pe care întreprinderile o au despre securitatea IA atunci când vin pentru prima dată la Virtue AI?

Una dintre cele mai comune concepții greșite pe care întreprinderile le au atunci când vin pentru prima dată la Virtue AI este că securitatea IA poate fi abordată simplu prin aplicarea uneltelor de securitate tradiționale sau a filtrelor de moderare a conținutului de bază.

În realitate, sistemele de IA introduc suprafețe de atac complet noi, cum ar fi injecția de prompturi, evadarea din sistem, utilizarea abuzivă bazată pe halucinații, scurgerile de date prin sisteme de recuperare și manipularea agenților prin unelte sau API-uri externe. Aceste riscuri apar din comportamentul și raționamentul modelului însuși, nu doar din infrastructura înconjurătoare.

Prin urmare, protejarea sistemelor de IA necesită mecanisme de securitate care înțeleg intrările, ieșirile și procesele de decizie ale modelului și agenților pe parcursul întregului ciclu de viață al unei aplicații de IA, ceea ce necesită capacități fundamentale de cercetare în IA.

De aceea, subliniem securitatea nativă a IA: combinarea testării automate de securitate pentru a descoperi vulnerabilități, garduri de protecție în timp real pentru a impune politici și observabilitate la nivel de sistem pentru a monitoriza prompturi, apeluri de unelte și acțiuni ale agenților.

Odată ce întreprinderile văd cât de diferite sunt riscurile de IA față de riscurile software-ului tradițional, ele realizează rapid că securizarea IA necesită un stivă de securitate fundamental nouă.

În cele din urmă, ce înseamnă “implementarea responsabilă a IA” pentru dvs. în practică—not în teorie, ci în interiorul unei întreprinderi care livrează produse astăzi?

Mai rapid și mai sigur nu sunt opuse, deși majoritatea întreprinderilor le tratează astfel. Presupunerea este că securitatea serioasă încetinește—mai multe cicluri de revizuire, mai multe porți, mai multă fricțiune înainte de a livra ceva.

În practică, întreprinderile care implementează agenți cu încredere sunt cele care integrează securitatea în proces, mai degrabă decât să o adauge la sfârșit: testare automată de securitate înainte de implementare, control în timp real odată ce agentul este live și vizibilitate centralizată pe parcursul întregului ciclu de viață al agentului.

Acesta nu este un exercițiu de conformitate. Este ceea ce vă permite să vă mișcați rapid, pentru că nu descoperiți în producție ceea ce ar fi trebuit să prindeți mai devreme.

Implementarea responsabilă, în termeni concreți, înseamnă că știți ce pot face agenții, puteți vedea ce fac, și puteți opri agenții atunci când ceva merge prost.

Dezvoltarea responsabilă a IA permite implementarea continuă și la scară largă a sistemelor de IA cu încredere, mai degrabă decât încetinirea inovației în IA.

Mulțumim pentru acest interviu excelent, cititorilor care doresc să afle mai multe despre Virtue AI.