Rebecca Qian, medeoprichter en CTO van Patronus AI – Interviewserie

Rebecca Qian is medeoprichter en CTO van Patronus AI en heeft bijna tien jaar ervaring met het bouwen van productiegerichte machine learning-systemen op het snijvlak van NLP, belichaamde AI en infrastructuur. Bij Facebook AI werkte ze aan onderzoek en implementatie, waarbij ze FairBERTa trainde, een groot taalmodel ontworpen met eerlijkheidsdoelstellingen, een demografisch-perturbatiemodel ontwikkelde om Wikipedia-content te herschrijven en leiding gaf aan semantische parsing voor robotassistenten. Ze bouwde ook pipelines met menselijke interactie voor belichaamde agents en creëerde infrastructuurtools zoals Continuous Contrast Set Mining, dat werd overgenomen door de infrastructuurteams van Facebook en gepresenteerd op ICSE. Ze heeft bijgedragen aan open-sourceprojecten zoals FacebookResearch/fairo en de Droidlet-notebooks voor semantische parsing. Als oprichter richt ze zich nu op schaalbaar toezicht, reinforcement learning en het implementeren van veilige, omgevingsbewuste AI-agents.

Patronus AI Patronus is een in San Francisco gevestigd bedrijf dat een onderzoeksgedreven platform biedt voor het evalueren, monitoren en optimaliseren van grote taalmodellen (LLM's) en AI-agenten. Dit platform helpt ontwikkelaars om met vertrouwen betrouwbare generatieve AI-producten te leveren. Het platform biedt geautomatiseerde evaluatietools, benchmarking, analyses, aangepaste datasets en agentspecifieke omgevingen die prestatieproblemen zoals hallucinaties, beveiligingsrisico's of logische fouten identificeren. Hierdoor kunnen teams AI-systemen continu verbeteren en problemen oplossen in praktijksituaties. Patronus bedient zakelijke klanten en technologiepartners door hen in staat te stellen modelgedrag te beoordelen, fouten op grote schaal te detecteren en de betrouwbaarheid en prestaties van AI-productietoepassingen te verbeteren.

Je hebt een uitgebreide achtergrond in het bouwen van machine learning-systemen bij Facebook AI, waaronder werk aan FairBERTa en pipelines met menselijke tussenkomst. Hoe heeft die ervaring je perspectief op de daadwerkelijke inzet en veiligheid van AI gevormd?

Mijn werk bij Meta AI heeft me doen inzien wat er nodig is om modellen in de praktijk betrouwbaar te maken, met name op het gebied van verantwoorde NLP. Ik werkte aan op eerlijkheid gerichte taalmodellering, zoals het trainen van LLM's met eerlijkheidsdoelstellingen, en ik heb zelf ervaren hoe moeilijk het is om modeluitvoer te evalueren en te interpreteren. Dat heeft mijn kijk op veiligheid gevormd. Als je het gedrag van een model niet kunt meten en begrijpen, is het lastig om AI met vertrouwen in de praktijk in te zetten.

Wat motiveerde u om de overstap te maken van onderzoeksingenieur naar ondernemerschap, het medeoprichten van Patronus AI, en welk probleem vond u destijds het meest urgent om op te lossen?

Evaluatie bleek destijds een struikelblok in AI. Ik verliet Meta AI in april om samen met Anand Patronus op te richten, omdat ik uit eigen ervaring wist hoe moeilijk het is om AI-output te evalueren en te interpreteren. En toen generatieve AI eenmaal in bedrijfsworkflows werd geïntegreerd, was het duidelijk dat dit niet langer alleen een laboratoriumprobleem was. 

We hoorden steeds hetzelfde van bedrijven. Ze wilden LLM's implementeren, maar ze konden ze niet betrouwbaar testen, monitoren of foutpatronen zoals hallucinaties begrijpen, vooral in gereguleerde sectoren waar er weinig ruimte is voor fouten. 

Het dringende probleem was dus in eerste instantie het ontwikkelen van een manier om modelbeoordeling te automatiseren en op te schalen – modellen te beoordelen in realistische scenario's, vijandige testgevallen te genereren en benchmarks uit te voeren – zodat teams met vertrouwen konden implementeren in plaats van te moeten gokken.

Patronus heeft onlangs generatieve simulatoren geïntroduceerd als adaptieve omgevingen voor AI-agenten. Welke beperkingen in bestaande evaluatie- of trainingsmethoden hebben u ertoe bewogen deze richting in te slaan?

We zagen steeds meer een discrepantie ontstaan ​​tussen hoe AI-agenten worden geëvalueerd en hoe ze naar verwachting in de praktijk zullen presteren. Traditionele benchmarks meten geïsoleerde capaciteiten op een vast moment, maar de realiteit is dynamisch. Taken worden onderbroken, eisen veranderen tijdens de uitvoering en beslissingen stapelen zich op over langere perioden. Agenten kunnen er sterk uitzien in statische tests, maar toch ernstig falen wanneer ze worden ingezet. Naarmate agenten verbeteren, bereiken ze ook de verzadigde benchmarks, waardoor het leerproces stagneert. Generatieve simulators kwamen naar voren als een manier om statische tests te vervangen door levende omgevingen die zich aanpassen naarmate de agent leert.

Hoe denkt u dat generatieve simulatoren de manier waarop AI-agenten worden getraind en geëvalueerd zullen veranderen, in vergelijking met statische benchmarks of vaste datasets?

De verschuiving is dat benchmarks geen tests meer zijn, maar omgevingen. In plaats van een vaste set vragen te presenteren, genereert de simulator de opdracht, de omgevingsomstandigheden en de evaluatielogica dynamisch. Naarmate de agent zich gedraagt ​​en verbetert, past de omgeving zich aan. Daardoor vervaagt de traditionele grens tussen training en evaluatie. Je vraagt ​​je niet langer af of een agent een benchmark haalt, maar of hij betrouwbaar kan functioneren in een dynamisch systeem.

Wat zijn vanuit technisch oogpunt de kernarchitectonische ideeën achter generatieve simulatoren, met name op het gebied van taakgeneratie, omgevingsdynamiek en beloningsstructuren?

Generatieve simulatoren combineren in grote lijnen reinforcement learning met adaptieve omgevingsgeneratie. De simulator kan nieuwe taken creëren, de regels van de wereld dynamisch bijwerken en de acties van een agent in realtime evalueren. Een belangrijk onderdeel is wat we een curriculum-aanpasser noemen, die het gedrag van de agent analyseert en de moeilijkheidsgraad en structuur van scenario's aanpast om het leerproces productief te houden. Beloningsstructuren zijn ontworpen om verifieerbaar en domeinspecifiek te zijn, zodat agenten worden begeleid naar correct gedrag in plaats van oppervlakkige sluiproutes.

Nu de markt voor AI-evaluatie en agenttools steeds drukker wordt, wat onderscheidt de aanpak van Patronus dan het meest?

Onze focus ligt op ecologische validiteit. We ontwerpen omgevingen die de werkelijke menselijke workflows nabootsen, inclusief onderbrekingen, contextwisselingen, het gebruik van tools en redeneringen in meerdere stappen. In plaats van agents te optimaliseren om goed te presteren in vooraf gedefinieerde tests, richten we ons op het blootleggen van de soorten fouten die er in de praktijk toe doen. De simulator evalueert gedrag over tijd, niet alleen de output op zichzelf.

Welke soorten taken of faalmodi profiteren het meest van evaluatie op basis van een simulator in vergelijking met conventionele tests?

Taken met een lange looptijd en meerdere stappen profiteren hier het meest van. Zelfs kleine foutpercentages per stap kunnen bij complexe taken leiden tot grote faalpercentages, iets wat statische benchmarks niet kunnen vastleggen. Evaluatie op basis van een simulator maakt het mogelijk om fouten aan het licht te brengen die te maken hebben met het behouden van de planning, het omgaan met onderbrekingen, het coördineren van het gebruik van tools en het aanpassen wanneer de omstandigheden tijdens de taak veranderen.

Hoe verandert omgevingsgebaseerd leren je kijk op de veiligheid van AI, en brengen generatieve simulatoren nieuwe risico's met zich mee, zoals beloningshacking of opkomende faalmodi?

Omgevingsgebaseerd leren maakt het juist makkelijker om veel veiligheidsproblemen op te sporen. Reward hacking gedijt vaak in statische omgevingen waar agents vaste mazen in de wet kunnen misbruiken. In generatieve simulatoren is de omgeving zelf een bewegend doelwit, waardoor dergelijke shortcuts moeilijker vol te houden zijn. Desondanks blijft zorgvuldig ontwerp rondom beloningen en toezicht vereist. Het voordeel van omgevingen is dat ze veel meer controle en inzicht in het gedrag van agents bieden dan statische benchmarks ooit zouden kunnen.

Als we vijf jaar vooruitkijken, waar ziet u Patronus AI dan qua technische ambities en impact op de sector?

Wij geloven dat omgevingen een fundamentele infrastructuur voor AI vormen. Naarmate agents overgaan van het beantwoorden van vragen naar het uitvoeren van daadwerkelijk werk, zullen de omgevingen waarin ze leren bepalen hoe capabel en betrouwbaar ze worden. Onze ambitie op lange termijn is om workflows uit de praktijk om te zetten in gestructureerde omgevingen waaruit agents continu kunnen leren. De traditionele scheiding tussen evaluatie en training vervaagt, en wij denken dat deze verschuiving de volgende generatie AI-systemen zal definiëren.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken Patronus AI.