Rebecca Qian, współzałożycielka i CTO Patronus AI – seria wywiadów

Rebecca Qian jest współzałożycielką i CTO Patronus AI, z prawie dekadą doświadczenia w budowaniu systemów produkcji maszynowego uczenia się na styku NLP, AI i infrastruktury. W Facebook (META ) AI pracowała nad badaniami i wdrożeniami, szkoliła FairBERTa, duży model językowy zaprojektowany z celami sprawiedliwości, rozwijała model perturbacji demograficznych do przepisywania treści Wikipedii i kierowała parsingiem semantycznym dla asystentów robota. Zbudowała także pętle ludzkie w procesie tworzenia agentów i stworzyła narzędzia infrastrukturalne, takie jak Continuous Contrast Set Mining, które zostały przyjęte przez zespoły infrastrukturalne Facebooka i przedstawione na ICSE. Wniósł wkład w projekty open-source, w tym FacebookResearch/fairo i notesy parsingu semantycznego Droidlet. Jako założycielka, teraz koncentruje się na nadzorze, uczeniu wzmacnianym i wdrażaniu bezpiecznych, świadomych środowiska agentów AI.

Patronus AI to firma z siedzibą w San Francisco, która dostarcza platformę badawczą do oceny, monitorowania i optymalizacji dużych modeli językowych (LLM) i agentów AI, aby pomóc deweloperom wdrażać niezawodne produkty AI generatywne z pewnością. Platforma oferuje automatyczne narzędzia oceny, benchmarking, analitykę, niestandardowe zestawy danych i środowiska specyficzne dla agentów, które identyfikują problemy z wydajnością, takie jak halucynacje, ryzyko bezpieczeństwa lub awarie logiczne, umożliwiając zespołom ciągłe doskonalenie i rozwiązywanie problemów z systemami AI w przypadkach użycia w świecie rzeczywistym. Patronus obsługuje klientów korporacyjnych i partnerów technologicznych, umożliwiając im ocenianie zachowania modelu, wykrywanie błędów w skali i poprawianie niezawodności i wydajności w aplikacjach AI.

Masz głębokie doświadczenie w budowaniu systemów ML w Facebook AI, w tym pracę nad FairBERTą i pętlami ludzkimi. Jak to doświadczenie ukształtowało Twoją perspektywę na temat wdrożenia AI i bezpieczeństwa w świecie rzeczywistym?

Praca w Meta AI sprawiła, że skupiłam się na tym, co jest potrzebne, aby uczynić modele niezawodnymi w praktyce – szczególnie wokół odpowiedzialnego NLP. Pracowałam nad modelem językowym z celami sprawiedliwości, i zobaczyłam na własne oczy, jak trudno jest ocenić i zinterpretować dane wyjściowe modelu. To ukształtowało moje myślenie o bezpieczeństwie. Jeśli nie możesz zmierzyć i zrozumieć zachowania modelu, trudno wdrożyć AI z pewnością w świecie rzeczywistym.

Co skłoniło Cię do przejścia z inżynierii badawczej na przedsiębiorczość, współzałożycielstwo Patronus AI, i jaki problem wydawał się najpilniejszy do rozwiązania w tym czasie?

Ocena stała się przeszkodą w AI w tym czasie. Odeszłam od Meta AI w kwietniu, aby założyć Patronus z Anand, ponieważ zobaczyłam na własne oczy, jak trudno jest ocenić i zinterpretować dane wyjściowe AI. I kiedy AI generatywne zaczęły wchodzić do przepływów pracy korporacyjnych, stało się oczywiste, że to już nie tylko problem laboratoryjny. 

Słyszeliśmy to samo od korporacji. Chcieli oni przyjąć LLM, ale nie mogli ich niezawodnie przetestować, monitorować ani zrozumieć trybów awaryjnych, takich jak halucynacje, szczególnie w branżach regulowanych, gdzie jest bardzo mała tolerancja na błędy. 

Więc pilnym problemem na początku było zbudowanie sposobu automatyzacji i skalowania oceny modelu – oceniania modeli w scenariuszach świata rzeczywistego, generowania przypadków testowych i benchmarkingu – aby zespoły mogły wdrożyć z pewnością zamiast robienia zgadywań

Patronus AI niedawno wprowadził symulatory generatywne jako środowiska adaptacyjne dla agentów AI. Jakie ograniczenia w istniejących podejściach do oceny lub szkolenia skłoniły Cię do tego kierunku?

Cały czas widzieliśmy rosnącą dysproporcję między tym, jak agenci AI są oceniani, a tym, jak mają działać w świecie rzeczywistym. Tradycyjne benchmarki mierzą izolowane możliwości w ustalonym punkcie czasu, ale praca jest dynamiczna. Zadania są przerywane, wymagania zmieniają się w trakcie wykonywania, a decyzje kumulują się na długich horyzontach. Agenci mogą wyglądać dobrze na statycznych testach i nadal zawieść źle, gdy zostaną wdrożone. Symulatory generatywne pojawiły się jako sposób, aby zastąpić statyczne testy środowiskami, które dostosowują się, gdy agent się uczy.

Jak widzisz symulatory generatywne zmieniające sposób, w jaki agenci AI są szkoleni i oceniani w porównaniu ze statycznymi benchmarkami lub ustalonymi zestawami danych?

Zmiana polega na tym, że benchmarki przestają być testami i zaczynają być środowiskami. Zamiast przedstawiania ustalonego zestawu pytań, symulator generuje zadanie, otoczenie i logikę oceny na bieżąco. Gdy agent działa i się poprawia, środowisko dostosowuje się. To likwiduje tradycyjną granicę między szkoleniem a oceną. Nie pytamy już, czy agent przekracza benchmark, ale czy może działać niezawodnie przez czas w dynamicznym systemie.

Pod względem technicznym, jakie są podstawowe idee architektoniczne symulatorów generatywnych, szczególnie wokół generacji zadań, dynamiki środowiska i struktur nagród?

Na wysokim poziomie symulatory generatywne łączą uczenie wzmacnianie z generacją środowiska adaptacyjnego. Symulator może tworzyć nowe zadania, aktualizować reguły świata dynamicznie i oceniać działania agenta w czasie rzeczywistym. Kluczowym komponentem jest to, co nazywamy dostosowaniem programu, które analizuje zachowanie agenta i modyfikuje trudność i strukturę scenariuszy, aby utrzymać produktywne uczenie. Struktury nagród są zaprojektowane, aby być weryfikowalnymi i specyficznymi dla domeny, aby agenci byli kierowani w kierunku poprawnego zachowania, a nie powierzchownych skrótów.

Jak się różni podejście Patronus AI od innych na rynku oceny i narzędzi agentów AI?

Naszym celem jest ważność ekologiczna. Projektujemy środowiska, które odbijają prawdziwe przepływy pracy ludzi, w tym przerwy, przełączanie kontekstu, użycie narzędzi i wieloetapowe rozumowanie. Zamiast optymalizowania agentów, aby wyglądały dobrze na przeddefiniowanych testach, koncentrujemy się na ujawnianiu rodzajów awarii, które mają znaczenie w produkcji. Symulator ocenia zachowanie w czasie, a nie tylko dane wyjściowe w izolacji.

Jakie typy zadań lub trybów awaryjnych najbardziej korzystają na symulacji opartej na ocenie w porównaniu z konwencjonalnym testowaniem?

Zadania o długim horyzoncie, wieloetapowe korzystają najbardziej. Nawet niewielkie stopy błędów na każdym etapie mogą kumulować się w znaczne stopy awaryjne w złożonych zadaniach, które benchmarki statyczne nie są w stanie uchwycić. Symulacja oparta na ocenie umożliwia ujawnienie awarii związanych z utrzymaniem się na torze w czasie, obsługą przerwań, koordynacją użycia narzędzi i adaptacją, gdy warunki zmieniają się w trakcie zadania.

Jak uczenie oparte na środowisku zmienia twoje myślenie o bezpieczeństwie AI, i czy symulatory generatywne wprowadzają nowe ryzyka, takie jak hakowanie nagród lub tryby awaryjne?

Uczenie oparte na środowisku sprawia, że wiele problemów bezpieczeństwa jest łatwiejszych do wykrycia. Hakowanie nagród tendencję do kwitnienia w statycznych środowiskach, gdzie agenci mogą wykorzystywać ustalone luki. W symulatorach generatywnych środowisko jest ruchomym celem, co utrudnia te skróty. Jednak staranne projektowanie jest nadal wymagane wokół nagród i nadzoru. Zaletą środowisk jest to, że dają one znacznie więcej kontroli i widoczności zachowania agenta niż statyczne benchmarki.

Patrząc pięć lat do przodu, gdzie widzisz Patronus AI pod względem zarówno ambicji technicznych, jak i wpływu na branżę?

Wierzymy, że środowiska stają się podstawową infrastrukturą dla AI. Gdy agenci przechodzą od odpowiedzi na pytania do wykonywania prawdziwej pracy, środowiska, w których się uczą, ukształtują, jak zdolni i niezawodni się staną. Naszym długoterminowym celem jest przekształcenie prawdziwych przepływów pracy w środowiska strukturalne, z których agenci mogą się ciągle uczyć. Tradycyjna separacja między oceną a szkoleniem zanika, a my uważamy, że ta zmiana zdefiniuje następną falę systemów AI.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Patronus AI.