Rebecca Qian, mede-oprichter en CTO van Patronus AI – Interviewreeks

Rebecca Qian is de mede-oprichter en CTO van Patronus AI, met bijna een decennium ervaring in het bouwen van productiemachine learning-systemen op het snijvlak van NLP, geïncorporeerde AI en infrastructuur. Bij Facebook (META ) AI werkte ze aan onderzoek en implementatie, waarbij ze FairBERTa trainde, een groot taalmodel ontworpen met eerlijkheidsobjectieven, een demografisch-perturbatiemodel ontwikkelde om Wikipedia-inhoud te herschrijven en semantische parsing leidde voor robotassistenten. Ze bouwde ook human-in-the-loop-pijpleidingen voor geïncorporeerde agenten en creëerde infrastructuurhulpmiddelen zoals Continue Contrast Set Mining, die werd overgenomen door Facebooks infrastructuurteams en werd gepresenteerd op ICSE. Ze heeft bijgedragen aan open-source-projecten, waaronder FacebookResearch/fairo en de Droidlet-semantische parsing-notebooks. Als oprichter richt ze zich nu op schaalbare toezicht, versterking van het leren en het implementeren van veilige, omgevingsbewuste AI-agenten.

Patronus AI is een in San Francisco gevestigde onderneming die een onderzoeksgebaseerd platform biedt voor het evalueren, monitoren en optimaliseren van grote taalmodellen (LLM’s) en AI-agenten om ontwikkelaars te helpen bij het leveren van betrouwbare generatieve AI-producten met vertrouwen. Het platform biedt geautomatiseerde evaluatietools, benchmarking, analytics, aangepaste datasets en agent-specifieke omgevingen die prestatieproblemen zoals hallucinaties, beveiligingsrisico’s of logische fouten identificeren, waardoor teams AI-systemen kunnen blijven verbeteren en opsporen in real-world use cases. Patronus dient enterprise-klanten en technologiepartners door hen in staat te stellen modelgedrag te scoren, fouten op grote schaal te detecteren en betrouwbaarheid en prestaties in productie-AI-toepassingen te verbeteren.

U heeft een diepe achtergrond in het bouwen van ML-systemen bij Facebook AI, waaronder werk aan FairBERTa en human-in-the-loop-pijpleidingen. Hoe heeft die ervaring uw perspectief op real-world AI-implementatie en -veiligheid gevormd?

Werken bij Meta AI maakte me me bewust van wat er nodig is om modellen betrouwbaar te maken in de praktijk – vooral rondom verantwoorde NLP. Ik werkte aan eerlijkheidsgerichte taalmodellering, zoals het trainen van LLM’s met eerlijkheidsobjectieven, en ik zag eersthand hoe moeilijk het is om modeluitvoer te evalueren en te interpreteren. Dat heeft mijn denken over veiligheid gevormd. Als je modelgedrag niet kunt meten en begrijpen, is het moeilijk om AI met vertrouwen in de real-world in te zetten.

Wat motiveerde u om over te stappen van onderzoeksingenieur naar ondernemer, mede-oprichter van Patronus AI, en welk probleem voelde u het meest urgent om op te lossen op dat moment?

Evaluatie werd een blokkering in AI op dat moment. Ik verliet Meta AI in april om Patronus te starten met Anand, omdat ik eersthand had gezien hoe moeilijk het is om AI-uitvoer te evalueren en te interpreteren. En toen generatieve AI begon te integreren in enterprise-workflows, was het duidelijk dat dit geen lab-probleem meer was. 

We hoorden steeds hetzelfde van ondernemingen. Ze wilden LLM’s adopteren, maar ze konden ze niet betrouwbaar testen, monitoren of begrijpen van falen, vooral in gereguleerde industrieën waar er weinig tolerantie is voor fouten. 

Dus het urgente probleem was het bouwen van een manier om model-evaluatie te automatiseren en te schalen – modellen te scoren in real-world scenario’s, tegenstrijdige testcases te genereren en te benchmarken – zodat teams met vertrouwen konden implementeren in plaats van gokken

Patronus introduceerde onlangs generatieve simulators als adaptieve omgevingen voor AI-agenten. Welke beperkingen in bestaande evaluatie- of trainingsbenaderingen leidden u naar deze richting?

We zagen steeds een groeiende mismatch tussen hoe AI-agenten worden geëvalueerd en hoe ze worden verwacht te presteren in de real-world. Traditionele benchmarks meten geïsoleerde capaciteiten op een vast punt in de tijd, maar real-world werk is dynamisch. Taken worden onderbroken, vereisten veranderen halverwege de uitvoering en beslissingen hebben gevolgen over lange horizon. Agenten kunnen sterk presteren op statische tests en toch falen als ze worden geïmplementeerd. Als agenten verbeteren, verzadigen ze ook vaste benchmarks, waardoor het leren plateau bereikt. Generatieve simulators ontstonden als een manier om statische tests te vervangen door levende omgevingen die zich aanpassen aan de agent die leert.

Hoe ziet u generatieve simulators veranderen in de manier waarop AI-agenten worden getraind en geëvalueerd in vergelijking met statische benchmarks of vaste datasets?

De verschuiving is dat benchmarks ophouden tests te zijn en beginnen omgevingen te worden. In plaats van een vaste set vragen te presenteren, genereert de simulator de opdracht, de omringende omstandigheden en de evaluatielogica op de fly. Als de agent zich gedraagt en verbetert, past de omgeving zich aan. Dat laat de traditionele grens tussen training en evaluatie ineenstorten. U vraagt niet langer of een agent een benchmark passeert, maar of hij betrouwbaar kan functioneren in een dynamisch systeem.

Vanuit een technisch oogpunt, wat zijn de kernarchitectuurideeën achter generatieve simulators, met name rondom taakgeneratie, omgevingsdynamiek en beloningsstructuren?

Op hoog niveau combineren generatieve simulators versterking van het leren met adaptieve omgevingsgeneratie. De simulator kan nieuwe taken creëren, de regels van de wereld dynamisch updaten en de acties van een agent in real-time evalueren. Een sleutelcomponent is wat we een curriculumadjuster noemen, die het gedrag van de agent analyseert en de moeilijkheidsgraad en structuur van scenario’s aanpast om het leren productief te houden. Beloningsstructuren zijn ontworpen om verifieerbaar en domeinspecifiek te zijn, zodat agenten worden geleid naar correct gedrag in plaats van oppervlakkige shortcuts.

Terwijl de AI-evaluatie- en agent-toolingruimte steeds drukker wordt, wat onderscheidt de aanpak van Patronus het meest?

Onze focus ligt op ecologische validiteit. We ontwerpen omgevingen die menselijke workflows weerspiegelen, inclusief onderbrekingen, contextschakelingen, toolgebruik en multi-stapredenering. In plaats van agenten te optimaliseren om goed te presteren op vooraf gedefinieerde tests, richten we ons op het blootleggen van de soorten fouten die ertoe doen in productie. De simulator evalueert gedrag over tijd, niet alleen uitvoer in isolatie.

Welke soorten taken of falenmodi profiteren het meest van simulator-gebaseerde evaluatie in vergelijking met conventionele tests?

Lange-horizon, multi-stap taken profiteren het meest. Zelfs kleine per-stap foutenpercentages kunnen zich opstapelen tot grote foutenpercentages bij complexe taken, die statische benchmarks niet kunnen vangen. Simulator-gebaseerde evaluatie maakt het mogelijk om fouten te detecteren die verband houden met het op het spoor blijven over tijd, het omgaan met onderbrekingen, het coördineren van toolgebruik en het aanpassen wanneer omstandigheden veranderen halverwege de taak.

Hoe verandert omgevingsgebaseerd leren uw denken over AI-veiligheid, en introduceren generatieve simulators nieuwe risico’s zoals beloningshacking of emergente falenmodi?

Omgevingsgebaseerd leren maakt eigenlijk veel veiligheidsproblemen gemakkelijker te detecteren. Beloningshacking gedijt in statische omgevingen waar agenten vaste lussen kunnen exploiteren. In generatieve simulators is de omgeving zelf een bewegend doelwit, waardoor die shortcuts moeilijker vol te houden zijn. Dat gezegd hebbende, is zorgvuldige ontwerp nog steeds vereist rondom beloningen en toezicht. Het voordeel van omgevingen is dat ze u veel meer controle en zichtbaarheid geven in agentgedrag dan statische benchmarks ooit konden.

Kijkend naar de toekomst, over vijf jaar, waar ziet u Patronus AI in termen van zowel technische ambitie als industrie-impact?

We geloven dat omgevingen fundamentele infrastructuur voor AI worden. Als agenten overstappen van het beantwoorden van vragen naar het doen van real-world werk, zullen de omgevingen waarin ze leren bepalen hoe capabel en betrouwbaar ze worden. Onze langetermijndoelstelling is om real-world workflows om te zetten in gestructureerde omgevingen die agenten continu kunnen leren. De traditionele scheiding tussen evaluatie en training implodeert, en we denken dat die verschuiving de volgende golf van AI-systemen zal definiëren.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Patronus AI bezoeken.