Rebecca Qian, Co-Fondatrice e CTO di Patronus AI – Serie di Interviste

Rebecca Qian è la Co-Fondatrice e CTO di Patronus AI, con quasi un decennio di esperienza nella costruzione di sistemi di apprendimento automatico di produzione all’intersezione di NLP, AI incarnata e infrastruttura. In Facebook AI, ha lavorato attraverso la ricerca e il dispiegamento, formando FairBERTa, un grande modello linguistico progettato con obiettivi di equità, sviluppando un modello di perturbazione demografica per riscrivere il contenuto di Wikipedia e guidando l’analisi semantica per assistenti robotici. Ha anche costruito pipeline umane nella gestione di agenti incarnati e creato strumenti di infrastruttura come la Miniera di Contrasto Continuo, che è stata adottata in tutta l’infrastruttura di Facebook e presentata a ICSE. Ha contribuito a progetti open-source, tra cui FacebookResearch/fairo e i notebook di analisi semantica Droidlet. Come fondatrice, ora si concentra sull’oversight scalabile, sull’apprendimento per rinforzo e sul dispiegamento di agenti AI sicuri e consapevoli dell’ambiente.

Patronus AI è un’azienda con sede a San Francisco che fornisce una piattaforma basata sulla ricerca per valutare, monitorare e ottimizzare grandi modelli linguistici (LLM) e agenti AI per aiutare gli sviluppatori a consegnare prodotti AI generativi affidabili con fiducia. La piattaforma offre strumenti di valutazione automatizzati, benchmarking, analisi, set di dati personalizzati e ambienti specifici dell’agente che identificano problemi di prestazione come allucinazioni, rischi di sicurezza o errori logici, consentendo ai team di migliorare e risolvere i problemi dei sistemi AI in casi d’uso reali. Patronus serve clienti aziendali e partner tecnologici, consentendo loro di valutare il comportamento del modello, rilevare errori su larga scala e migliorare l’affidabilità e le prestazioni nelle applicazioni AI di produzione.

Ha una profonda esperienza nella costruzione di sistemi di apprendimento automatico in Facebook AI, compreso il lavoro su FairBERTa e le pipeline umane nella gestione. Come ha influenzato la sua prospettiva sulla sicurezza e il dispiegamento dell’AI nel mondo reale?

Lavorare a Meta AI mi ha fatto concentrare su cosa serve per rendere i modelli affidabili nella pratica—soprattutto intorno all’NLP responsabile. Ho lavorato sulla modellazione linguistica focalizzata sull’equità, come la formazione di LLM con obiettivi di equità, e ho visto di persona quanto sia difficile valutare e interpretare le uscite del modello. Ciò ha plasmato il mio modo di pensare alla sicurezza. Se non puoi misurare e comprendere il comportamento del modello, è difficile dispiegare l’AI con fiducia nel mondo reale.

Cosa l’ha motivata a passare dall’ingegneria della ricerca all’imprenditorialità, co-fondando Patronus AI, e qual è il problema che sentiva più urgente da risolvere al momento?

La valutazione è diventata un ostacolo nell’AI al momento. Sono uscita da Meta AI in aprile per iniziare Patronus con Anand perché avevo visto di persona quanto sia difficile valutare e interpretare l’output dell’AI. E una volta che l’AI generativa ha iniziato a muoversi nei flussi di lavoro aziendali, era ovvio che non si trattava più solo di un problema di laboratorio. 

Continuavamo a sentire la stessa cosa dalle aziende. Volevano adottare LLM, ma non potevano testarli in modo affidabile, monitorarli o capire i modi di fallimento come le allucinazioni, soprattutto in settori regolamentati dove c’è poca tolleranza per gli errori. 

Quindi il problema urgente, all’inizio, era costruire un modo per automatizzare e scalare la valutazione del modello—valutare i modelli in scenari del mondo reale, generare casi di test avversi e benchmarking—così i team potessero dispiegare con fiducia invece di fare congetture

Patronus ha recentemente introdotto simulatori generativi come ambienti adattivi per gli agenti AI. Quali limitazioni negli approcci di valutazione o formazione esistenti l’hanno portata in questa direzione?

Continuavamo a vedere una crescente discordanza tra come gli agenti AI vengono valutati e come ci si aspetta che si comportino nel mondo reale. I benchmark tradizionali misurano capacità isolate in un punto fisso nel tempo, ma il lavoro reale è dinamico. I compiti vengono interrotti, i requisiti cambiano a metà esecuzione e le decisioni si sommano su orizzonti lunghi. Gli agenti possono sembrare forti nei test statici e fallire gravemente una volta dispiegati. Man mano che gli agenti migliorano, saturano anche i benchmark fissi, il che fa plateau l’apprendimento. I simulatori generativi sono emersi come un modo per sostituire i test statici con ambienti viventi che si adattano man mano che l’agente apprende.

Come vede i simulatori generativi cambiare il modo in cui gli agenti AI vengono formati e valutati rispetto ai benchmark statici o ai set di dati fissi?

Il cambiamento è che i benchmark smettono di essere test e iniziano a diventare ambienti. Invece di presentare un set fisso di domande, il simulatore genera l’assegnazione, le condizioni circostanti e la logica di valutazione al volo. Man mano che l’agente si comporta e migliora, l’ambiente si adatta. Ciò fa collassare il confine tradizionale tra formazione e valutazione. Non si chiede più se un agente supera un benchmark, ma se può operare in modo affidabile nel tempo in un sistema dinamico.

Dal punto di vista tecnico, quali sono le idee architettoniche fondamentali dietro i simulatori generativi, in particolare intorno alla generazione di compiti, alla dinamica dell’ambiente e alle strutture di ricompensa?

A livello alto, i simulatori generativi combinano l’apprendimento per rinforzo con la generazione di ambienti adattivi. Il simulatore può creare nuovi compiti, aggiornare le regole del mondo in modo dinamico e valutare le azioni di un agente in tempo reale. Un componente chiave è ciò che chiamiamo un regolatore del curriculum, che analizza il comportamento dell’agente e modifica la difficoltà e la struttura degli scenari per mantenere la produttività dell’apprendimento. Le strutture di ricompensa sono progettate per essere verificabili e specifiche del dominio, in modo che gli agenti siano guidati verso un comportamento corretto piuttosto che scorciatoie superficiali.

Man mano che lo spazio di valutazione e strumentazione dell’AI diventa più affollato, cosa differenzia più chiaramente l’approccio di Patronus?

Il nostro focus è sulla validità ecologica. Progettiamo ambienti che rispecchiano i flussi di lavoro umani reali, comprese le interruzioni, le commutazioni di contesto, l’uso degli strumenti e il ragionamento multistep. Piuttosto che ottimizzare gli agenti per sembrare buoni nei test predefiniti, ci concentriamo su esporre i tipi di fallimenti che contano nella produzione. Il simulatore valuta il comportamento nel tempo, non solo le uscite in isolamento.

Quali tipi di compiti o modi di fallimento traggono vantaggio maggiormente dalla valutazione basata sul simulatore rispetto ai test convenzionali?

I compiti a orizzonte lungo e multistep traggono vantaggio maggiormente. Anche piccole percentuali di errore per step possono sommarsi in tassi di fallimento maggiori per compiti complessi, che i benchmark statici non riescono a catturare. La valutazione basata sul simulatore rende possibile far emergere fallimenti relativi a rimanere sulla strada nel tempo, gestire le interruzioni, coordinare l’uso degli strumenti e adattarsi quando le condizioni cambiano a metà compito.

Come l’apprendimento basato sull’ambiente cambia il modo in cui pensa alla sicurezza dell’AI e i simulatori generativi introducono nuovi rischi come l’hacking della ricompensa o modi di fallimento emergenti?

L’apprendimento basato sull’ambiente rende effettivamente più facile rilevare molti problemi di sicurezza. L’hacking della ricompensa tende a prosperare in ambienti statici dove gli agenti possono sfruttare lacune fisse. Nei simulatori generativi, l’ambiente stesso è un bersaglio mobile, il che rende più difficile sostenere quelle scorciatoie. Detto ciò, è ancora necessaria una progettazione attenta intorno alle ricompense e alla supervisione. Il vantaggio degli ambienti è che offrono molto più controllo e visibilità sul comportamento dell’agente rispetto ai benchmark statici.

Guardando cinque anni avanti, dove vede Patronus AI in termini di ambizione tecnica e impatto sull’industria?

Crediamo che gli ambienti stiano diventando infrastrutture fondamentali per l’AI. Man mano che gli agenti passano dal rispondere alle domande a svolgere lavori reali, gli ambienti in cui imparano plasmeranno quanto saranno capaci e affidabili. La nostra ambizione a lungo termine è trasformare i flussi di lavoro del mondo reale in ambienti strutturati da cui gli agenti possano imparare continuamente. La separazione tradizionale tra valutazione e formazione sta collassando, e pensiamo che questo cambiamento definirà la prossima ondata di sistemi AI.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Patronus AI.