Rebecca Qian, Co-Fondator și CTO al Patronus AI – Seria de Interviuri

Rebecca Qian este Co-Fondator și CTO al Patronus AI, cu aproape un deceniu de experiență în construirea de sisteme de învățare automată de producție la intersecția dintre NLP, AI încorporat și infrastructură. La Facebook AI, a lucrat atât în cercetare, cât și în implementare, antrenând FairBERTa, un model de limbaj mare proiectat cu obiective de echitate, dezvoltând un model de perturbare demografică pentru a rescrie conținutul Wikipedia și conducând analiza semantică pentru asistenți robotici. De asemenea, a construit pipeline-uri umane în buclă pentru agenți încorporați și a creat instrumente de infrastructură, cum ar fi Mineritul Continuu al Setului de Contraste, care a fost adoptat în întreaga infrastructură a Facebook și prezentat la ICSE. A contribuit la proiecte open-source, inclusiv FacebookResearch/fairo și notebook-urile de analiză semantică Droidlet. Ca fondator, se concentrează acum pe supraveghere scalabilă, învățare prin întărire și implementarea de agenți AI siguri și conștienți de mediu.

Patronus AI este o companie cu sediul în San Francisco, care oferă o platformă bazată pe cercetare pentru evaluarea, monitorizarea și optimizarea modelelor de limbaj mare (LLM) și a agenților AI, pentru a ajuta dezvoltatorii să lanseze produse AI generative fiabile cu încredere. Platforma oferă instrumente de evaluare automate, benchmarking, analize, seturi de date personalizate și medii specifice agenților care identifică probleme de performanță, cum ar fi halucinații, riscuri de securitate sau eșecuri logice, permițând echipelor să îmbunătățească și să depisteze sistemele AI pe parcursul unor cazuri de utilizare din lumea reală. Patronus deservește clienți enterprise și parteneri tehnologici, împuternicindu-i să evalueze comportamentul modelului, să detecteze erorile la scară și să îmbunătățească încrederea și performanța în aplicațiile AI de producție.

Aveți o experiență profundă în construirea de sisteme ML la Facebook AI, inclusiv munca la FairBERTa și pipeline-urile umane în buclă. Cum v-a influențat această experiență perspectiva asupra implementării și siguranței AI în lumea reală?

Lucrul la Meta AI m-a făcut să mă concentrez asupra a ceea ce este necesar pentru a face modelele fiabile în practică – în special în jurul NLP-ului responsabil. Am lucrat la modelarea limbajului axat pe echitate, cum ar fi antrenarea LLM-urilor cu obiective de echitate, și am văzut din primă mână cât de dificil este să evaluați și să interpretați ieșirile modelului. Acest lucru a influențat modul în care gândesc despre siguranță. Dacă nu puteți măsura și înțelege comportamentul modelului, este greu să implementați AI cu încredere în lumea reală.

Ce v-a motivat să faceți tranziția de la ingineria de cercetare la antreprenoriat, fondând Patronus AI, și ce problemă ați simțit că trebuie să o rezolvați cu prioritate la acea vreme?

Evaluarea a devenit un obstacol în AI la acea vreme. Am părăsit Meta AI în aprilie pentru a începe Patronus cu Anand, deoarece văzusem din primă mână cât de greu este să evaluați și să interpretați ieșirile AI. Și odată ce AI-ul generativ a început să intre în fluxurile de lucru enterprise, a devenit evident că aceasta nu mai era doar o problemă de laborator. 

Am auzit același lucru de la întreprinderi. Ei doreau să adopte LLM-uri, dar nu puteau să le testeze, să le monitorizeze sau să înțeleagă modurile de eșec, cum ar fi halucinațiile, în special în industriile reglementate unde există foarte puțină toleranță pentru erori. 

Deci, problema urgentă, la început, a fost construirea unei modalități de a automatiza și scala evaluarea modelului – evaluarea modelelor în scenarii din lumea reală, generarea de cazuri de test advers și benchmarking – astfel încât echipele să poată implementa cu încredere, în loc de a ghici.

Patronus a introdus recent simulatoare generative ca medii adaptive pentru agenții AI. Care au fost limitările abordărilor existente de evaluare sau antrenament care v-au condus în această direcție?

Am continuat să vedem o discrepanță crescândă între modul în care agenții AI sunt evaluați și modul în care se așteaptă să funcționeze în lumea reală. Benchmark-urile tradiționale măsoară capacități izolate la un moment dat, dar munca reală este dinamică. Sarcinile sunt întrerupte, cerințele se schimbă în timpul execuției, iar deciziile se acumulează pe orizonturi lungi. Agenții pot arăta puternici în teste statice și totuși pot eșua grav odată implementați. Pe măsură ce agenții se îmbunătățesc, ei saturează și benchmark-urile fixe, ceea ce face ca învățarea să se stabilizeze. Simulatoarele generative au apărut ca o modalitate de a înlocui testele statice cu medii vii care se adaptează pe măsură ce agentul învață.

Cum vedeți simulatoarele generative schimbând modul în care agenții AI sunt antrenați și evaluați în comparație cu benchmark-urile statice sau seturile de date fixe?

Schimbarea constă în faptul că benchmark-urile încetează să mai fie teste și devin medii. În loc de a prezenta un set fix de întrebări, simulatorul generează sarcina, condițiile înconjurătoare și logica de evaluare pe parcurs. Pe măsură ce agentul se comportă și se îmbunătățește, mediul se adaptează. Acest lucru colapsează granița tradițională dintre evaluare și antrenament. Nu mai întrebați dacă un agent trece un benchmark, ci dacă poate funcționa în mod fiabil pe parcursul unui sistem dinamic.

Din punct de vedere tehnic, care sunt ideile arhitecturale de bază ale simulatoarelor generative, în special în ceea ce privește generarea de sarcini, dinamica mediului și structurile de recompensă?

La un nivel înalt, simulatoarele generative combină învățarea prin întărire cu generarea adaptivă a mediului. Simulatorul poate crea sarcini noi, actualiza regulile lumii în mod dinamic și evalua acțiunile agentului în timp real. Un component cheie este ceea ce numim un ajustor de curriculum, care analizează comportamentul agentului și modifică dificultatea și structura scenariilor pentru a menține învățarea productivă. Structurile de recompensă sunt proiectate pentru a fi verificabile și specifice domeniului, astfel încât agenții să fie ghidați către comportamentul corect, în loc de scurtături superficiale.

Pe măsură ce spațiul de evaluare și instrumentare a agenților AI devine mai aglomerat, ce diferențiază cel mai clar abordarea Patronus?

Focul nostru este pe validitatea ecologică. Proiectăm medii care reflectă fluxurile de lucru umane reale, incluzând întreruperi, comutări de context, utilizarea uneltelor și raționamentul multi-paș. În loc de a optimiza agenții pentru a arăta bine în teste predefinite, ne concentrăm pe expunerea tipurilor de eșecuri care contează în producție. Simulatorul evaluează comportamentul pe parcursul timpului, nu doar ieșirile în izolare.

Ce tipuri de sarcini sau moduri de eșec beneficiază cel mai mult de evaluarea bazată pe simulator în comparație cu testarea convențională?

Sarcinile pe orizont lung, cu mai multe pași, beneficiază cel mai mult. Chiar și ratele mici de eroare la fiecare pas pot compune rate mari de eșec la sarcini complexe, pe care benchmark-urile statice nu le capturează. Evaluarea bazată pe simulator face posibilă identificarea eșecurilor legate de menținerea pe parcursul timpului, gestionarea întreruperilor, coordonarea utilizării uneltelor și adaptarea atunci când condițiile se schimbă în timpul sarcinii.

Cum schimbă învățarea bazată pe mediu modul în care gândiți despre siguranța AI, și introduc simulatoarele generative riscuri noi, cum ar fi hacking-ul recompensei sau modurile de eșec emergente?

Învățarea bazată pe mediu face, de fapt, ca multe probleme de siguranță să fie mai ușor de detectat. Hacking-ul recompensei tinde să prolifereze în medii statice, unde agenții pot exploata scurtături fixe. În simulatoarele generative, mediul însuși este o țintă în mișcare, ceea ce face ca aceste scurtături să fie mai greu de susținut. Cu toate acestea, proiectarea atentă este încă necesară în jurul recompenselor și supravegherii. Avantajul mediilor este că oferă mult mai mult control și vizibilitate asupra comportamentului agentului decât benchmark-urile statice ar fi putut vreodată.

Privind înainte, în următorii cinci ani, unde vedeți Patronus AI în ceea ce privește ambiția tehnică și impactul asupra industriei?

Credem că mediile devin infrastructură fundamentală pentru AI. Pe măsură ce agenții trec de la a răspunde la întrebări la a face munca reală, mediile în care învață vor modela cât de capabili și de fiabili vor deveni. Ambiția noastră pe termen lung este să transformăm fluxurile de lucru din lumea reală în medii structurate din care agenții pot învăța în mod continuu. Separarea tradițională dintre evaluare și antrenament se prăbușește, și credem că această schimbare va defini următoarea undă de sisteme AI.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe pot vizita Patronus AI.