Rebecca Qian, medstifter og CTO af Patronus AI – Interviewserie

Rebecca Qian er medstifter og CTO af Patronus AI, med næsten et årti med erfaring i at bygge produktionsklare maskinlæringsystemer, hvor NLP, inkarneret AI og infrastruktur mødes. Hos Facebook AI arbejdede hun på tværs af forskning og udvikling, hvor hun trænede FairBERTa, et stort sprogmodel designet med fairness-objektiver, udviklede en demografisk-perturbationsmodel til at omskrive Wikipedia-indhold og ledte semantisk parsing til robotassistenter. Hun byggede også menneske-i-løkken-pipelines til inkarnerede agenter og skabte infrastrukturværktøjer som Continuous Contrast Set Mining, som blev adopteret på tværs af Facebooks infrastrukturhold og præsenteret på ICSE. Hun har bidraget til open-source-projekter, herunder FacebookResearch/fairo og Droidlet semantic parsing-notebooks. Som stifter fokuserer hun nu på skalerbar oversigt, forstærkninglæring og udrulning af sikre, miljøbevidste AI-agenter.

Patronus AI er et San Francisco-baseret selskab, der tilbyder en forskningsdrevet platform for at evaluere, overvåge og optimere store sprogmodeller (LLM) og AI-agenter, så udviklere kan levere pålidelige generative AI-produkter med tillid. Platformen tilbyder automatiserede evalueringsteknikker, benchmarking, analytics, brugerdefinerede datasæt og agentspecifikke miljøer, der kan identificere problemer som hallucinationer, sikkerhedsrisici eller logiske fejl, hvilket giver teams mulighed for at forbedre og fejlfinde AI-systemer på tværs af virkelige anvendelsesscenarier. Patronus betjener enterprise-kunder og teknologipartnere ved at give dem mulighed for at score modelopførsel, detektere fejl i stor skala og forbedre tillid og ydeevne i produktions AI-applikationer.

De har en dyb baggrund i opbygning af ML-systemer hos Facebook AI, herunder arbejde med FairBERTa og menneske-i-løkken-pipelines. Hvordan har denne erfaring formet deres perspektiv på virkelige AI-udrulninger og sikkerhed?

Arbejdet hos Meta AI fik mig til at fokusere på, hvad der kræves for at gøre modeller pålidelige i praksis – især omkring ansvarlig NLP. Jeg arbejdede med fairness-fokuseret sprogmodelering, herunder træning af LLM med fairness-objektiver, og jeg så førstehånds, hvor svært det er at evaluere og fortolke modeloutput. Det har formet, hvordan jeg tænker om sikkerhed. Hvis man ikke kan måle og forstå modelopførsel, er det svært at udrulle AI med tillid i den virkelige verden.

Hvad motiverede dem til at skifte fra forskningsingeniør til iværksætter, hvor de var medstifter af Patronus AI, og hvilket problem føltes mest presserende at løse på det tidspunkt?

Evaluering blev en blokeringsfaktor i AI på det tidspunkt. Jeg forlod Meta AI i april for at starte Patronus med Anand, fordi jeg havde set førstehånds, hvor svært det er at evaluere og fortolke AI-output. Og da generative AI begyndte at gå ind i enterprise-workflows, var det åbenlyst, at dette ikke længere kun var et laboratorieproblem. 

Vi hørte det samme fra virksomhederne. De ville gerne adoptere LLM, men de kunne ikke pålideligt teste dem, overvåge dem eller forstå fejlmoder som hallucinationer, især i regulerede brancher, hvor der er meget lidt tolerance for fejl. 

Så det presserende problem fra starten var at bygge en måde at automatisere og skala model-evaluering – scoring modeller i virkelige scenarier, generere modstandstests og benchmarking – så teams kunne udrulle med tillid i stedet for at gætte.

Patronus introducerede nyligt generative simuleringer som adaptive miljøer til AI-agenter. Hvordan førte begrænsningerne i eksisterende evaluering eller træningsmetoder til denne retning?

Vi så en voksende mislighed mellem, hvordan AI-agenter blev evaluaret, og hvordan de forventedes at fungere i den virkelige verden. Traditionelle benchmarks måler isolerede evner på et fast punkt i tid, men virkeligt arbejde er dynamisk. Opgaver bliver afbrudt, krav ændres midt i udførelsen, og beslutninger akkumulerer over lange horisonter. Agenter kan se stærke ud på statiske tests og alligevel fejle dårligt, når de er udrullet. Da agenter forbedres, mætter de også faste benchmarks, hvilket får læringen til at flade ud. Generative simuleringer opstod som en måde at erstatte statiske tests med levende miljøer, der tilpasser sig, efterhånden som agenten lærer.

Hvordan ser de generative simuleringer forandre måden, AI-agenter trænes og evalueres på, sammenlignet med statiske benchmarks eller faste datasæt?

Skiftet er, at benchmarks ophører med at være tests og begynder at blive miljøer. I stedet for at præsentere en fast sæt af spørgsmål, genererer simulatoren opgaven, de omgivende betingelser og evalueringens logik på flyveskema. Da agenten opfører sig og forbedrer sig, tilpasser miljøet sig. Det kollapser den traditionelle grænse mellem træning og evaluering. Du spørger ikke længere, om en agent består en benchmark, men om den kan fungere pålideligt over tid i et dynamisk system.

Set fra et teknisk synspunkt, hvilke er de centrale arkitektoniske ideer bag generative simuleringer, især omkring opgavegenerering, miljødynamik og belønningsstrukturer?

På et højt niveau kombinerer generative simuleringer forstærkninglæring med adaptiv miljøgenerering. Simulatoren kan oprette nye opgaver, opdatere reglerne for verden dynamisk og evaluere en agents handlinger i realtid. En nøglekomponent er, hvad vi kalder en læreplan-tilpasningsfunktion, der analyserer agentadfærd og ændrer sværhedsgraden og strukturen af scenarier for at holde læringen produktiv. Belønningsstrukturer er designet til at være verificerbare og domænespecifikke, så agenter vejledes mod korrekt adfærd i stedet for overfladiske genveje.

Da AI-evaluering og agent-værktøjsrummet bliver mere overfyldt, hvad adskiller Patronus’ tilgang mest?

Vores fokus er på økologisk gyldighed. Vi designer miljøer, der spejler virkelige menneskelige arbejdsgange, herunder afbrydelser, kontekstskift, værktøjsbrug og flertrinsreasonering. I stedet for at optimere agenter til at se godt ud på foruddefinerede tests, fokuserer vi på at afsløre de fejl, der betyder noget i produktionen. Simulatoren evaluerer adfærd over tid, ikke kun output i isolation.

Hvilke typer opgaver eller fejlmoder har mest gavn af simulatorbaseret evaluering sammenlignet med konventionel test?

Langhorisontale, flertrinsopgaver har mest gavn. Selv små fejlratser per trin kan akkumulere til store fejlratser på komplekse opgaver, som statiske benchmarks ikke kan fange. Simulatorbaseret evaluering gør det muligt at afsløre fejlrelaterede til at holde sig på sporet over tid, håndtere afbrydelser, koordinere værktøjsbrug og tilpasse sig, når betingelserne ændrer sig midt i opgaven.

Hvordan ændrer miljøbaseret læring måden, de tænker om AI-sikkerhed på, og introducerer generative simuleringer nye risici som belønnings-hacking eller emergent fejlmoder?

Miljøbaseret læring gør faktisk mange sikkerhedsproblemer lettere at opdage. Belønnings-hacking tenderer til at trives i statiske miljøer, hvor agenter kan udnytte faste løkker. I generative simuleringer er miljøet selv et flygtigt mål, hvilket gør disse genveje sværere at opretholde. Det sagde, omhyggelig design er stadig påkrævet omkring belønninger og oversigt. Fordelen ved miljøer er, at de giver dig langt mere kontrol og indsigt i agentadfærd end statiske benchmarks nogensinde kunne.

Set fem år frem, hvor ser de Patronus AI i forhold til både teknisk ambition og branchepåvirkning?

Vi mener, at miljøer bliver grundlæggende infrastruktur for AI. Da agenter bevæger sig fra at besvare spørgsmål til at udføre rigtigt arbejde, vil de miljøer, hvor de lærer, forme, hvor dygtige og pålidelige de bliver. Vores langsigtede ambition er at omdanne virkelige arbejdsgange til strukturerede miljøer, som agenter kan lære fra kontinuerligt. Den traditionelle adskillelse mellem evaluering og træning kollapser, og vi mener, at dette skift vil definere den næste bølge af AI-systemer.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Patronus AI.