Rebecca Qian, spoluzakladatelka a technická ředitelka Patronus AI – rozhovorová série

Rebecca Qian je spoluzakladatelka a technická ředitelka Patronus AI, s téměř desetiletou zkušeností s budováním produkčních strojových učících systémů na rozhraní NLP, embodovaného AI a infrastruktury. V Facebook (META ) AI pracovala napříč výzkumem a nasazením, trénovala FairBERTa, velký jazykový model navržen s cíli spravedlnosti, vyvinula demograficky-perturbační model pro přepis obsahu Wikipedie a vedla sémantické zpracování pro robotické asistenty. Také postavila lidsky-řízené potrubí pro embodované agenty a vytvořila infrastrukturní nástroje, jako je Continuous Contrast Set Mining, které bylo přijato napříč infrastrukturními týmy Facebooku a prezentováno na ICSE. Přispěla do open-source projektů, včetně FacebookResearch/fairo a Droidlet sémantického zpracování notebooků. Jako zakladatelka se nyní zaměřuje na škálovatelnou kontrolu, učení s posilováním a nasazení bezpečných, prostředí-aware AI agentů.

Patronus AI je společnost se sídlem v San Francisku, která poskytuje výzkumem řízenou platformu pro hodnocení, monitorování a optimalizaci velkých jazykových modelů (LLM) a AI agentů, aby pomohla vývojářům dodávat spolehlivé generativní AI produkty s důvěrou. Platforma nabízí automatizované hodnocení, benchmarking, analytiku, vlastní datové sady a agent-specifické prostředí, které identifikují problémy s výkonem, jako jsou halucinace, bezpečnostní rizika nebo logické selhání, a umožňují týmům kontinuálně zlepšovat a odstraňovat AI systémy napříč reálnými použitími. Patronus slouží podnikovým zákazníkům a technologickým partnerům, aby je opravňoval k hodnocení chování modelu, detekci chyb ve velkém měřítku a zlepšení důvěryhodnosti a výkonu v produkčních AI aplikacích.

Máte hluboké zázemí v budování ML systémů na Facebook AI, včetně práce na FairBERTa a lidsky-řízených potrubích. Jak tato zkušenost ovlivnila váš pohled na reálné nasazení AI a bezpečnost?

Práce v Meta AI mě vedla k tomu, abych se zaměřil na to, co je potřeba k tomu, aby modely byly spolehlivé v praxi – zejména kolem zodpovědného NLP. Pracoval jsem na jazykovém modelování zaměřeném na spravedlnost, jako je trénování LLM s cíli spravedlnosti, a viděl jsem na vlastní oči, jak je obtížné hodnotit a interpretovat výstupy modelu. To mě formovalo v tom, jak přemýšlím o bezpečnosti. Pokud nemůžete měřit a rozumět chování modelu, je obtížné nasadit AI s důvěrou v reálném světě.

Co vás motivovalo k přechodu z výzkumného inženýrství do podnikání, spoluzaložení Patronus AI, a jaký problém se zdál nejnaléhavější k řešení v té době?

Hodnocení se stalo blokátorem v AI v té době. Opustil jsem Meta AI v dubnu, abych založil Patronus s Anandem, protože jsem viděl na vlastní oči, jak je obtížné hodnotit a interpretovat výstupy AI. A když se generativní AI začala přesouvat do podnikových workflow, bylo zřejmé, že už to není jen laboratorní problém. 

Slyšíme stejnou věc od podniků. Chtějí přijmout LLM, ale nemohou je spolehlivě testovat, monitorovat nebo pochopit režimy selhání, jako jsou halucinace, zejména v regulovaných odvětvích, kde je velmi malá tolerance pro chyby. 

Takže naléhavým problémem na začátku bylo postavení způsobu, jak automatizovat a škálovat hodnocení modelu – hodnocení modelů v reálných scénářích, generování adversativních testovacích případů a benchmarkingu – aby týmy mohly nasadit s důvěrou místo náhody

Patronus nedávno představil generativní simulátory jako adaptivní prostředí pro AI agenty. Jaké omezení stávajících přístupů k hodnocení nebo trénování vedlo k tomuto směru?

Stále jsme viděli rostoucí nesoulad mezi tím, jak jsou AI agenti hodnoceni a jak se očekává, že budou fungovat v reálném světě. Tradiční benchmarky měří izolované schopnosti v pevném bodě času, ale reálná práce je dynamická. Úkoly jsou přerušeny, požadavky se mění uprostřed provádění a rozhodnutí se kumulují po dlouhou dobu. Agenti mohou vypadat silně na statických testech a přesto selhat špatně, jakmile jsou nasazeni. Jak agenti zlepšují, také nasycují pevné benchmarky, což způsobuje, že se učení zastaví. Generativní simulátory se objevily jako způsob, jak nahradit statické testy živými prostředími, která se přizpůsobují, jak se agent učí.

Jak vidíte generativní simulátory měnící způsob, jakým jsou AI agenti trénováni a hodnoceni ve srovnání se statickými benchmarky nebo pevnými datovými sadami?

Posun je v tom, že benchmarky přestávají být testy a stávají se prostředími. Místo toho, aby byly předloženy pevné sady otázek, simulátor generuje zadání, okolní podmínky a hodnocení logiky na místě. Jak se agent chová a zlepšuje, prostředí se přizpůsobuje. To kolabuje tradiční hranici mezi trénováním a hodnocením. Není již třeba se ptát, zda agent projde benchmarkem, ale zda může spolehlivě fungovat po dlouhou dobu v dynamickém systému.

Z technického hlediska, co jsou základní architektonické nápady za generativními simulátory, zejména kolem generování úkolů, dynamiky prostředí a struktur odměn?

Na vysoké úrovni kombinují generativní simulátory učení s posilováním s adaptivní generací prostředí. Simulátor může vytvářet nové úkoly, aktualizovat pravidla světa dynamicky a hodnotit akce agenta v reálném čase. Klíčovým komponentem je to, co nazýváme kurikulární adjuster, který analyzuje chování agenta a modifikuje obtížnost a strukturu scénářů, aby udržel produktivní učení. Struktury odměn jsou navrženy tak, aby byly ověřitelné a doménově specifické, aby agenti byli vedeni k správnému chování spíše než k povrchním zkratkám.

Jak se AI hodnocení a agent nástrojový prostor stává více zahlcený, co nejvíce odlišuje přístup Patronus?

Naše zaměření je na ekologickou validitu. Navrhujeme prostředí, která odrážejí reálné lidské pracovní postupy, včetně přerušení, přepínání kontextu, použití nástrojů a vícekrokových úvah. Místo optimalizace agentů, aby vypadali dobře na předdefinovaných testech, se zaměřujeme na odhalení typů selhání, které záleží v produkci. Simulátor hodnotí chování po dlouhou dobu, ne jen výstupy v izolaci.

Jaké typy úkolů nebo režimů selhání nejvíce prospívají ze simulátorového hodnocení ve srovnání s konvenčními testy?

Úkoly s dlouhou dobou a vícekrokovými úkoly nejvíce prospívají. I malé míry chyb na každém kroku mohou kumulovat do hlavních míry selhání na složitých úkolech, které statické benchmarky nezachytí. Simulátorové hodnocení umožňuje odhalit selhání související se zachováním na správné cestě po dlouhou dobu, zvládáním přerušení, koordinací použití nástrojů a přizpůsobením, když se podmínky mění uprostřed úkolu.

Jak se prostředí-založené učení mění váš pohled na AI bezpečnost a zda generativní simulátory zavádějí nová rizika, jako je hacking odměn nebo emergentní režimy selhání?

Prostředí-založené učení vlastně dělá mnoho bezpečnostních problémů snazšími k detekci. Hacking odměn tenduje k prosperitě ve statických prostředích, kde agenti mohou využít pevné mezery. V generativních simulátorech je samo prostředí pohyblivým cílem, což dělá tyto zkratky obtížnějšími k udržení. Řekl bych, že pečlivé navrhování je stále vyžadováno kolem odměn a dohledu. Výhodou prostředí je, že poskytují mnohem více kontroly a viditelnosti do chování agenta než statické benchmarky mohli kdykoli.

Pohledem pět let dopředu, kde vidíte Patronus AI z hlediska technické ambice a průmyslového dopadu?

Věříme, že prostředí se stávají základními infrastrukturami pro AI. Jak agenti přecházejí z odpovědí na otázky k provádění reálné práce, prostředí, ve kterých se učí, budou formovat, jak schopní a spolehliví se stanou. Naše dlouhodobá ambice je proměnit reálné pracovní postupy na strukturovaná prostředí, ze kterých agenti mohou kontinuálně učit. Tradiční rozdělení mezi hodnocením a trénováním se hroutí a myslíme, že tento posun definuje příští vlnu AI systémů.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Patronus AI.