Rebecca Qian, medgrundare och CTO på Patronus AI – Intervjuserie

Rebecca Qian är medgrundare och CTO på Patronus AI, med nästan ett decennium av erfarenhet av att bygga produktionsklara maskinlärningssystem på gränsen mellan NLP, inkarnerad AI och infrastruktur. På Facebook AI arbetade hon över forskning och distribution, utbildade FairBERTa, en stor språkmodell designad med rättvisemål, utvecklade en demografisk-perturbationsmodell för att omformulera Wikipedia-innehåll och ledde semantisk parsing för robotassistenter. Hon byggde också människa-i-slingan-pipelines för inkarnerade agenter och skapade infrastrukturverktyg som Continuous Contrast Set Mining, som antogs av Facebooks infrastrukturteam och presenterades på ICSE. Hon har bidragit till öppen källkod-projekt, inklusive FacebookResearch/fairo och Droidlet semantisk parsing-anteckningsböcker. Som grundare fokuserar hon nu på skalbar tillsyn, förstärkt inlärning och distribution av säkra, miljömedvetna AI-agenter.

Patronus AI är ett San Francisco-baserat företag som tillhandahåller en forskningsdriven plattform för utvärdering, övervakning och optimering av stora språkmodeller (LLM) och AI-agenter för att hjälpa utvecklare att leverera tillförlitliga generativa AI-produkter med tillförsikt. Plattformen erbjuder automatiserade utvärderingsverktyg, benchmarking, analyser, anpassade datamängder och agentspecifika miljöer som identifierar prestandaproblem som hallucinationer, säkerhetsrisker eller logiska fel, vilket möjliggör för team att kontinuerligt förbättra och felsöka AI-system över verkliga användningsfall. Patronus betjänar företagskunder och tekniska partners genom att ge dem möjlighet att utvärdera modellbeteende, upptäcka fel i stor skala och förbättra tillförlitlighet och prestanda i produktionsAI-applikationer.

Du har en djup bakgrund inom byggande av ML-system på Facebook AI, inklusive arbete med FairBERTa och människa-i-slingan-pipelines. Hur har den erfarenheten format din syn på verkliga AI-distribution och säkerhet?

Att arbeta på Meta AI gjorde att jag fokuserade på vad som krävs för att göra modeller tillförlitliga i praktiken – särskilt kring ansvarsfull NLP. Jag arbetade med rättvisefokuserad språkmodellering, som utbildning av LLM med rättvisemål, och jag såg förstahands hur svårt det är att utvärdera och tolka modellutdata. Det har format hur jag tänker om säkerhet. Om du inte kan mäta och förstå modellbeteende, är det svårt att distribuera AI med tillförsikt i den verkliga världen.

Vad motiverade dig att gå från forskningsingenjör till entreprenör, medgrundare av Patronus AI, och vilket problem kändes mest brådskande att lösa vid den tiden?

Utvärdering blev en blockerare i AI vid den tiden. Jag lämnade Meta AI i april för att starta Patronus med Anand eftersom jag hade sett förstahands hur svårt det är att utvärdera och tolka AI-utdata. Och när generativ AI började flytta in i företagsflöden, var det uppenbart att detta inte längre var bara ett labbproblem. 

Vi hörde samma sak från företag. De ville anta LLM, men de kunde inte tillförlitligt testa dem, övervaka dem eller förstå felmoder, som hallucinationer, särskilt i reglerade branscher där det finns mycket liten tolerans för fel. 

Så det brådskande problemet från början var att bygga ett sätt att automatisera och skala modellutvärdering – utvärdera modeller i verkliga scenarier, generera adversativa testfall och benchmarking – så att team kunde distribuera med tillförsikt istället för gissningar

Patronus introducerade nyligen generativa simulatorer som adaptiva miljöer för AI-agenter. Vilka begränsningar i befintliga utvärderings- eller träningsmetoder ledde dig till den här riktningen?

Vi såg en växande diskrepans mellan hur AI-agenter utvärderas och hur de förväntas prestera i den verkliga världen. Traditionella benchmarkmätningar mäter isolerade förmågor vid en given tidpunkt, men verkligt arbete är dynamiskt. Uppgifter avbryts, kraven ändras under utförandet och besluten ackumuleras över långa horisonter. Agenter kan se starka ut på statiska tester och fortfarande misslyckas illa när de distribueras. När agenter förbättras, mättar de också fasta benchmarkmätningar, vilket orsakar att inlärningen planar ut. Generativa simulatorer uppstod som ett sätt att ersätta statiska tester med levande miljöer som anpassar sig när agenten lär sig.

Hur ser du att generativa simulatorer förändrar sättet att utbilda och utvärdera AI-agenter jämfört med statiska benchmarkmätningar eller fasta datamängder?

Förändringen är att benchmarkmätningar slutar vara tester och börjar bli miljöer. Istället för att presentera en fast uppsättning frågor, genererar simuleraren uppgiften, omgivningsförhållandena och utvärderingslogiken på flyget. När agenten beter sig och förbättras, anpassar sig miljön. Det kollapsar den traditionella gränsen mellan utvärdering och utbildning. Du frågar inte längre om en agent klarar en benchmarkmätning, utan om den kan fungera tillförlitligt över tid i ett dynamiskt system.

Ur ett tekniskt perspektiv, vad är de centrala arkitekturidéerna bakom generativa simulatorer, särskilt kring uppgiftsgenerering, miljödynamik och belöningsstrukturer?

På en hög nivå kombinerar generativa simulatorer förstärkt inlärning med adaptiv miljögenerering. Simuleraren kan skapa nya uppgifter, uppdatera världens regler dynamiskt och utvärdera en agents handlingar i realtid. En nyckelkomponent är vad vi kallar en läroplanjusterare, som analyserar agentbeteende och modifierar svårighetsgraden och strukturen på scenarier för att hålla inlärningen produktiv. Belöningsstrukturer är utformade för att vara verifierbara och domänspecifika, så att agenter guidas mot korrekt beteende snarare än ytliga genvägar.

När AI-utvärderings- och agentverktygsutrymmet blir alltmer trångt, vad skiljer Patronus tillvägagångssätt från andra?

Vår fokus ligger på ekologisk validitet. Vi designar miljöer som speglar verkliga mänskliga arbetsflöden, inklusive avbrott, kontextbyten, verktygsanvändning och multi-stegsresonemang. Istället för att optimera agenter för att se bra ut på fördefinierade tester, fokuserar vi på att exponera de typer av fel som är viktiga i produktion. Simuleraren utvärderar beteende över tid, inte bara utdata i isolering.

Vilka typer av uppgifter eller felmoder gynnas mest av simuleringsbaserad utvärdering jämfört med konventionell testning?

Långsiktiga, multi-stegsuppgifter gynnas mest. Även små felrater per steg kan ackumuleras till stora felrater på komplexa uppgifter, vilket statiska benchmarkmätningar inte fångar. Simuleringsbaserad utvärdering möjliggör att fel relaterade till att hålla sig på rätt spår över tid, hantera avbrott, samordna verktygsanvändning och anpassa sig när förhållandena ändras under uppgiften.

Hur förändrar miljöbaserad inlärning sättet att tänka om AI-säkerhet, och introducerar generativa simulatorer nya risker som belöningshacking eller emergenta felmoder?

Miljöbaserad inlärning gör faktiskt att många säkerhetsproblem blir lättare att upptäcka. Belöningshacking tenderar att trivas i statiska miljöer där agenter kan utnyttja fasta kryphål. I generativa simulatorer är miljön själv ett rörligt mål, vilket gör att dessa genvägar blir svårare att upprätthålla. Det sagt, noggrann design krävs fortfarande kring belöningar och tillsyn. Fördelen med miljöer är att de ger dig mycket mer kontroll och insyn i agentbeteende än statiska benchmarkmätningar någonsin kunde.

Om fem år, var ser du Patronus AI i termer av både teknisk ambition och branschpåverkan?

Vi tror att miljöer blir grundläggande infrastruktur för AI. När agenter flyttar från att svara på frågor till att göra riktigt arbete, kommer de miljöer där de lär sig att forma hur kapabla och tillförlitliga de blir. Vår långsiktiga ambition är att omvandla verkliga arbetsflöden till strukturerade miljöer som agenter kan lära sig från kontinuerligt. Den traditionella separationen mellan utvärdering och utbildning kollapsar, och vi tror att den förändringen kommer att definiera den nästa vågen av AI-system.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Patronus AI.