Rebecca Qian, medgrunnlegger og CTO av Patronus AI – Intervju-serie

Rebecca Qian er medgrunnlegger og CTO av Patronus AI, med nesten et tiår med erfaring med å bygge produksjonsklare maskinlæringsystemer på grensen mellom NLP, inkarnert AI og infrastruktur. Hos Facebook AI arbeidet hun med forskning og utrulling, trening av FairBERTa, et stort språkmodell designet med rettferdighet som mål, utvikling av en demografisk-perturbasjonsmodell for å omskrive Wikipedia-innhold, og ledelse av semantisk parsing for robotassistenter. Hun bygget også menneske-i-løkken-pipelines for inkarnerte agenter og skapte infrastrukturverktøy som Continuous Contrast Set Mining, som ble tatt i bruk av Facebooks infrastrukturteam og presentert på ICSE. Hun har bidratt til åpne kildekodsprosjekter, inkludert FacebookResearch/fairo og Droidlet semantisk parsing-notebøkene. Som grunnlegger fokuserer hun nå på skalerbar tilsyn, forsterkingslæring og utrulling av trygge, miljøbevisste AI-agenter.

Patronus AI er et selskap basert i San Francisco som tilbyr en forskningsbasert plattform for å evaluere, overvåke og optimere store språkmodeller (LLM) og AI-agenter for å hjelpe utviklere med å levere pålitelige generative AI-produkter med tillit. Plattformen tilbyr automatiserte evalueringstverktøy, benchmarking, analyser, tilpassede datasett og agentspesifikke miljøer som identifiserer ytelsesproblemer som hallusinasjoner, sikkerhetsrisiko eller logiske feil, og muliggjør at team kan kontinuerlig forbedre og feilsøke AI-systemer over reelle bruksområder. Patronus betjener enterprise-kunder og teknologipartnere ved å gi dem mulighet til å score modellatferd, oppdage feil i stor skala og forbedre tillit og ytelse i produksjons AI-applikasjoner.

Du har en dyptgående bakgrunn med å bygge ML-systemer på Facebook AI, inkludert arbeid med FairBERTa og menneske-i-løkken-pipelines. Hvordan har den erfaringen formet din perspektiv på virkelige AI-utrollinger og sikkerhet?

Arbeidet på Meta AI gjorde meg fokusert på hva det tar å gjøre modellene pålitelige i praksis – spesielt rundt ansvarlig NLP. Jeg arbeidet med rettferdighetsfokusert språkmodellering, som trening av LLM med rettferdighetsmål, og jeg så førstehånds hvordan vanskelig det er å evaluere og tolke modellutdata. Det har formet hvordan jeg tenker om sikkerhet. Hvis du ikke kan måle og forstå modellatferd, er det vanskelig å utrolle AI med tillit i den virkelige verden.

Hva motiverte deg til å gå fra forskningsingeniør til gründer, og hvorfor startet du Patronus AI? Hva var det mest presserende problemet som måtte løses på den tiden?

Evaluering ble en blokkering i AI på den tiden. Jeg forlot Meta AI i april for å starte Patronus med Anand fordi jeg hadde sett førstehånds hvordan vanskelig det er å evaluere og tolke AI-utdata. Og når generative AI begynte å flytte inn i enterprise-arbeidsflyter, var det åpenbart at dette ikke lenger bare var et lab-problem. 

Vi hørte det samme fra bedriftene. De ønsket å adoptere LLM, men de kunne ikke pålitelig teste dem, overvåke dem eller forstå feilmoduser som hallusinasjoner, spesielt i regulerte industrier hvor det er svært lite toleranse for feil. 

Så det presserende problemet fra starten av var å bygge en måte å automatisere og skalerer modell-evaluering – scoring modeller i virkelige scenarier, generere adversative testeksempler og benchmarking – så team kunne utrolle med tillit i stedet for å gjette.

Patronus introduserte nylig generative simuleringsmiljøer som adaptive miljøer for AI-agenter. Hva begrensninger i eksisterende evaluering- eller treningstilnærminger førte deg til denne retningen?

Vi så en økende misforhold mellom hvordan AI-agenter blir evaluert og hvordan de forventes å fungere i den virkelige verden. Tradisjonelle benchmark-mål måler isolerte evner på et fast punkt i tid, men virkelig arbeid er dynamisk. Oppgaver blir avbrutt, krav endres midt i utførelsen, og beslutninger akkumulerer over lange horisonter. Agenter kan se sterke ut på statiske tester og likevel feile dårlig når de er utrullet. Når agenter forbedres, metter de også faste benchmark-mål, noe som forårsaker læring å platte ut. Generative simuleringsmiljøer oppstod som en måte å erstatte statiske tester med levende miljøer som tilpasser seg når agenten lærer.

Hvordan ser du på hvordan generative simuleringsmiljøer endrer måten AI-agenter blir trent og evaluert sammenlignet med statiske benchmark-mål eller faste datasett?

Skiftet er at benchmark-mål slutter å være tester og begynner å bli miljøer. I stedet for å presentere en fast sett med spørsmål, genererer simuleringsmiljøet oppgaven, omgivelsene og evaluering logikken på fly. Når agenten oppfører seg og forbedrer seg, tilpasser miljøet seg. Det kollapser den tradisjonelle grensen mellom trening og evaluering. Du spør ikke lenger om en agent består en benchmark, men om den kan fungere pålitelig over tid i et dynamisk system.

Fra et teknisk ståsted, hva er de grunnleggende arkitektoniske idéene bak generative simuleringsmiljøer, spesielt rundt oppgavegenerering, miljødynamikk og belønningsstrukturer?

På et høyt nivå kombinerer generative simuleringsmiljøer forsterkingslæring med adaptiv miljøgenerering. Simuleringsmiljøet kan skape nye oppgaver, oppdatere reglene i verden dynamisk og evaluere en agents handlinger i sanntid. En nøkkelkomponent er det vi kaller en læreplan-justeringsmodul, som analyserer agentatferd og modifiserer vanskelighetsgraden og strukturen på scenarier for å holde læringen produktiv. Belønningsstrukturer er designet for å være verifiserbare og domenespesifikke, så agenter blir ledet mot riktig atferd i stedet for overfladiske kortveier.

Når AI-evaluering- og agent-verktøysrommet blir mer crowdet, hva skiller Patronus’ tilnærmning mest?

Vår fokus er på økologisk gyldighet. Vi designer miljøer som speiler virkelige menneskelige arbeidsflyter, inkludert avbrudd, kontekstskifter, verktøybruk og flertrinns resonnering. I stedet for å optimere agenter for å se bra ut på forhåndsdefinerte tester, fokuserer vi på å avdekke feil som teller i produksjon. Simuleringsmiljøet evaluerer atferd over tid, ikke bare utdata i isolasjon.

Hvilke typer oppgaver eller feilmoduser er best tjent med simuleringsbasert evaluering sammenlignet med konvensjonell testing?

Lange-horisonter, flertrinns oppgaver er best tjent. Selv små feilrater per trinn kan akkumulere til store feilrater på komplekse oppgaver, noe som statiske benchmark-mål ikke fanger. Simuleringsbasert evaluering gjør det mulig å avdekke feil relatert til å holde seg på sporet over tid, håndtere avbrudd, koordinere verktøybruk og tilpasse seg når forhold endrer seg midt i oppgaven.

Hvordan endrer miljøbasert læring måten du tenker om AI-sikkerhet, og introduserer generative simuleringsmiljøer nye risikoer som belønningshacking eller emergent feilmoduser?

Miljøbasert læring gjør faktisk mange sikkerhetsproblemer lettere å avdekke. Belønningshacking tenderer å trives i statiske miljøer hvor agenter kan utnytte faste løkker. I generative simuleringsmiljøer er miljøet selv et flytende mål, noe som gjør slike kortveier vanskeligere å opprettholde. Det er likevel nødvendig med forsiktig design rundt belønninger og tilsyn. Fordelen med miljøer er at de gir deg mye mer kontroll og oversikt over agentatferd enn statiske benchmark-mål noen gang kunne.

Se fem år fremover, hvor ser du Patronus AI i både teknisk ambisjon og industriell påvirkning?

Vi tror miljøer blir grunnleggende infrastruktur for AI. Når agenter flytter fra å svare på spørsmål til å gjøre virkelig arbeid, vil miljøene de lærer i forme hvordan dyktige og pålitelige de blir. Vår langtidsambisjon er å omdanne virkelige arbeidsflyter til strukturerte miljøer som agenter kan lære fra kontinuerlig. Den tradisjonelle skillet mellom evaluering og trening kollapser, og vi tror at skiftet vil definere den neste bølgen av AI-systemer. Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Patronus AI.