Rebecca Qian, medstifter og teknisk direktør for Patronus AI – Interviewserie

Rebecca Qian er medstifter og CTO af Patronus AI, med næsten et årtis erfaring med at bygge produktionsmaskineri i krydsfeltet mellem NLP, kropsliggjort AI og infrastruktur. Hos Facebook AI arbejdede hun på tværs af forskning og implementering, trænede FairBERTa, en stor sprogmodel designet med fairness-mål, udviklede en demografisk perturbationsmodel til at omskrive Wikipedia-indhold og ledede semantisk parsing til robotassistenter. Hun byggede også human-in-the-loop pipelines til kropsliggjorte agenter og skabte infrastrukturværktøjer såsom Continuous Contrast Set Mining, som blev implementeret på tværs af Facebooks infrastrukturteams og præsenteret på ICSE. Hun har bidraget til open source-projekter, herunder FacebookResearch/fairo og Droidlet semantisk parsing notebooks. Som grundlægger fokuserer hun nu på skalerbar overvågning, reinforcement learning og implementering af sikre, miljøbevidste AI-agenter.

Patronus AI er en virksomhed med base i San Francisco, der leverer en forskningsdrevet platform til evaluering, overvågning og optimering af store sprogmodeller (LLM'er) og AI-agenter for at hjælpe udviklere med at levere pålidelige generative AI-produkter med tillid. Platformen tilbyder automatiserede evalueringsværktøjer, benchmarking, analyser, brugerdefinerede datasæt og agentspecifikke miljøer, der identificerer ydeevneproblemer såsom hallucinationer, sikkerhedsrisici eller logiske fejl, hvilket gør det muligt for teams løbende at forbedre og fejlfinde AI-systemer på tværs af virkelige use cases. Patronus betjener virksomhedskunder og teknologipartnere ved at give dem mulighed for at score modeladfærd, opdage fejl i stor skala og forbedre troværdighed og ydeevne i produktions-AI-applikationer.

Du har en solid erfaring med at bygge ML-systemer hos Facebook AI, herunder arbejde med FairBERTa og human-in-the-loop pipelines. Hvordan formede den erfaring dit perspektiv på implementering og sikkerhed af AI i den virkelige verden?

Arbejdet hos Meta AI fik mig til at fokusere på, hvad der skal til for at gøre modeller pålidelige i praksis – især omkring ansvarlig NLP. Jeg arbejdede med fairness-fokuseret sprogmodellering, som f.eks. at træne LLM'er med fairness-mål, og jeg så på første hånd, hvor svært det er at evaluere og fortolke modeloutput. Det har formet, hvordan jeg tænker om sikkerhed. Hvis man ikke kan måle og forstå modeladfærd, er det svært at implementere AI med selvtillid i den virkelige verden.

Hvad motiverede dig til at gå fra forskningsingeniørvidenskab til iværksætteri, hvor du var med til at grundlægge Patronus AI, og hvilket problem føltes mest presserende at løse på det tidspunkt?

Evaluering blev en blokering inden for AI på det tidspunkt. Jeg forlod Meta AI i april for at starte Patronus med Anand, fordi jeg havde set med egne øjne, hvor svært det er at evaluere og fortolke AI-output. Og da generativ AI begyndte at blive en del af virksomhedens arbejdsgange, var det tydeligt, at dette ikke længere kun var et laboratorieproblem. 

Vi blev ved med at høre det samme fra virksomheder. De ville gerne indføre LLM'er, men de kunne ikke teste dem pålideligt, overvåge dem eller forstå fejltilstande som hallucinationer, især i regulerede brancher, hvor der er meget lille tolerance for fejl. 

Så det presserende problem var i starten at finde en måde at automatisere og skalere modelevaluering på – score modeller i virkelige scenarier, generere kontradiktoriske testcases og benchmarking – så teams kunne implementere med tillid i stedet for at gætte.

Patronus introducerede for nylig generative simulatorer som adaptive miljøer for AI-agenter. Hvilke begrænsninger i eksisterende evaluerings- eller træningsmetoder førte jer i denne retning?

Vi oplevede en voksende uoverensstemmelse mellem, hvordan AI-agenter evalueres, og hvordan de forventes at præstere i den virkelige verden. Traditionelle benchmarks måler isolerede evner på et fast tidspunkt, men det rigtige arbejde er dynamisk. Opgaver afbrydes, krav ændres midtvejs i udførelsen, og beslutninger sammensættes over lange horisonter. Agenter kan se stærke ud på statiske tests og stadig fejle alvorligt, når de først er implementeret. Efterhånden som agenter forbedres, mætter de også faste benchmarks, hvilket får læringen til at stagnere. Generative simulatorer opstod som en måde at erstatte statiske tests med levende miljøer, der tilpasser sig, efterhånden som agenten lærer.

Hvordan ser du generative simulatorer ændre den måde, AI-agenter trænes og evalueres på, sammenlignet med statiske benchmarks eller faste datasæt?

Skiftet er, at benchmarks holder op med at være tests og begynder at blive miljøer. I stedet for at præsentere et fast sæt spørgsmål genererer simulatoren opgaven, de omgivende forhold og evalueringslogikken undervejs. Efterhånden som agenten opfører sig og forbedrer sig, tilpasser miljøet sig. Det bryder den traditionelle grænse mellem træning og evaluering. Du spørger ikke længere, om en agent består et benchmark, men om den kan fungere pålideligt over tid i et dynamisk system.

Hvad er de centrale arkitektoniske ideer bag generative simulatorer, især omkring opgavegenerering, miljødynamik og belønningsstrukturer, fra et teknisk synspunkt?

På et overordnet niveau kombinerer generative simulatorer forstærkningslæring med generering af adaptive omgivelser. Simulatoren kan oprette nye opgaver, opdatere verdens regler dynamisk og evaluere en agents handlinger i realtid. En nøglekomponent er det, vi kalder en curriculum adjuster, som analyserer agenters adfærd og ændrer scenariernes sværhedsgrad og struktur for at holde læringen produktiv. Belønningsstrukturer er designet til at være verificerbare og domænespecifikke, så agenter styres mod korrekt adfærd snarere end overfladiske genveje.

Efterhånden som området for AI-evaluering og agentværktøjer bliver mere overfyldt, hvad adskiller så Patronus' tilgang mest tydeligt?

Vores fokus er på økologisk validitet. Vi designer miljøer, der afspejler virkelige menneskelige arbejdsgange, herunder afbrydelser, kontekstskift, værktøjsbrug og flertrinsargumentation. I stedet for at optimere agenter til at se godt ud på foruddefinerede tests, fokuserer vi på at afdække de typer fejl, der er vigtige i produktionen. Simulatoren evaluerer adfærd over tid, ikke kun output isoleret.

Hvilke typer opgaver eller fejltilstande drager mest fordel af simulatorbaseret evaluering sammenlignet med konventionel testning?

Langsigtede opgaver med flere trin drager størst fordel. Selv små fejlrater pr. trin kan resultere i store fejlrater på komplekse opgaver, som statiske benchmarks ikke kan fange. Simulatorbaseret evaluering gør det muligt at afdække fejl relateret til at holde sig på sporet over tid, håndtere afbrydelser, koordinere værktøjsbrug og tilpasse sig, når forholdene ændrer sig midt i en opgave.

Hvordan ændrer miljøbaseret læring den måde, du tænker på AI-sikkerhed, og introducerer generative simulatorer nye risici såsom belønningshacking eller nye fejltilstande?

Miljøbaseret læring gør faktisk mange sikkerhedsproblemer lettere at opdage. Belønningshacking trives ofte i statiske miljøer, hvor agenter kan udnytte faste smuthuller. I generative simulatorer er selve miljøet et bevægeligt mål, hvilket gør disse genveje sværere at opretholde. Når det er sagt, kræves der stadig et omhyggeligt design omkring belønninger og tilsyn. Fordelen ved miljøer er, at de giver dig meget mere kontrol og indsigt i agenters adfærd end statiske benchmarks nogensinde kunne.

Når man ser fem år frem i tiden, hvor ser du så Patronus AI, både med hensyn til teknisk ambition og indflydelse på branchen?

Vi mener, at miljøer er ved at blive en grundlæggende infrastruktur for AI. I takt med at agenter bevæger sig fra at besvare spørgsmål til at udføre rigtigt arbejde, vil de miljøer, hvor de lærer, forme, hvor dygtige og pålidelige de bliver. Vores langsigtede ambition er at forvandle virkelige arbejdsgange til strukturerede miljøer, som agenter kontinuerligt kan lære af. Den traditionelle adskillelse mellem evaluering og træning er ved at kollapse, og vi tror, ​​at dette skift vil definere den næste bølge af AI-systemer.

Tak for det gode interview, læsere, der ønsker at lære mere, bør besøge Patronus AI.