Rebecca Qian, Co-Founder dan CTO Patronus AI – Seri Wawancara

Rebecca Qian adalah Co-Founder dan CTO Patronus AI, dengan hampir satu dekade pengalaman membangun sistem pembelajaran mesin produksi di persimpangan NLP, AI yang diwakili, dan infrastruktur. Di Facebook (META ) AI, dia bekerja di seluruh penelitian dan penerapan, melatih FairBERTa, sebuah model bahasa besar yang dirancang dengan tujuan keadilan, mengembangkan model gangguan demografi untuk menulis ulang konten Wikipedia, dan memimpin parsing semantik untuk asisten robot. Dia juga membangun pipa human-in-the-loop untuk agen yang diwakili dan membuat infrastruktur alat seperti Continuous Contrast Set Mining, yang diadopsi di seluruh tim infrastruktur Facebook dan dipresentasikan di ICSE. Dia telah berkontribusi pada proyek sumber terbuka termasuk FacebookResearch/fairo dan notebook parsing semantik Droidlet. Sebagai pendiri, dia sekarang fokus pada pengawasan yang dapat diskalakan, pembelajaran penguatan, dan menerapkan agen AI yang aman dan sadar lingkungan.

Patronus AI adalah perusahaan yang berbasis di San Francisco yang menyediakan platform yang didorong oleh penelitian untuk mengevaluasi, memantau, dan mengoptimalkan model bahasa besar (LLM) dan agen AI untuk membantu pengembang mengirimkan produk AI generatif yang dapat diandalkan dengan percaya diri. Platform ini menawarkan alat evaluasi otomatis, benchmarking, analitik, dataset kustom, dan lingkungan agen-spesifik yang mengidentifikasi masalah kinerja seperti halusinasi, risiko keamanan, atau kegagalan logika, memungkinkan tim untuk terus memperbaiki dan memecahkan masalah sistem AI di seluruh kasus penggunaan dunia nyata. Patronus melayani pelanggan perusahaan dan mitra teknologi dengan memberdayakan mereka untuk menilai perilaku model, mendeteksi kesalahan dalam skala besar, dan meningkatkan kepercayaan dan kinerja dalam aplikasi AI produksi.

Anda memiliki latar belakang yang mendalam dalam membangun sistem ML di Facebook AI, termasuk pekerjaan pada FairBERTa dan pipa human-in-the-loop. Bagaimana pengalaman itu membentuk perspektif Anda tentang penerapan AI dunia nyata dan keamanan?

Bekerja di Meta AI membuat saya fokus pada apa yang diperlukan untuk membuat model yang dapat diandalkan dalam praktek—terutama sekitar NLP yang bertanggung jawab. Saya bekerja pada pemodelan bahasa yang berfokus pada keadilan, dan saya melihat langsung betapa sulitnya mengevaluasi dan menafsirkan output model. Itu membentuk bagaimana saya berpikir tentang keamanan. Jika Anda tidak dapat mengukur dan memahami perilaku model, maka sulit untuk menerapkan AI dengan percaya diri di dunia nyata.

Apa yang memotivasi Anda untuk beralih dari teknik penelitian ke kewirausahaan, mendirikan Patronus AI, dan apa masalah yang paling mendesak untuk dipecahkan pada saat itu?

Evaluasi menjadi penghalang di AI pada saat itu. Saya meninggalkan Meta AI di April untuk memulai Patronus dengan Anand karena saya telah melihat langsung betapa sulitnya mengevaluasi dan menafsirkan output AI. Dan ketika AI generatif mulai memasuki alur kerja perusahaan, jelas bahwa ini tidak lagi hanya masalah laboratorium. 

Kami terus mendengar hal yang sama dari perusahaan. Mereka ingin mengadopsi LLM, tetapi mereka tidak dapat mengujinya, memantau, atau memahami mode kegagalan seperti halusinasi, terutama di industri yang diatur di mana ada sedikit toleransi untuk kesalahan. 

Jadi, masalah yang mendesak pada awalnya adalah membangun cara untuk mengotomatisasi dan menskalakan evaluasi model—menilai model dalam skenario dunia nyata, menghasilkan kasus uji adversarial, dan benchmarking—sehingga tim dapat menerapkan dengan percaya diri bukan dengan menebak-nebak

Patronus baru-baru ini memperkenalkan simulator generatif sebagai lingkungan adaptif untuk agen AI. Apa keterbatasan dalam pendekatan evaluasi atau pelatihan yang ada yang membuat Anda mengarah ke arah ini?

Kami terus melihat kesenjangan yang semakin besar antara bagaimana agen AI dievaluasi dan bagaimana mereka diharapkan berperforma di dunia nyata. Benchmark tradisional mengukur kemampuan terisolasi pada titik waktu tertentu, tetapi pekerjaan nyata adalah dinamis. Tugas terganggu, persyaratan berubah di tengah eksekusi, dan keputusan berkompromi selama horison panjang. Agen dapat terlihat kuat pada tes statis dan masih gagal parah sekali diterapkan. Ketika agen membaik, mereka juga menghabiskan benchmark tetap, yang menyebabkan pembelajaran menjadi datar. Simulator generatif muncul sebagai cara untuk menggantikan tes statis dengan lingkungan hidup yang beradaptasi ketika agen belajar.

Bagaimana Anda melihat simulator generatif mengubah cara agen AI dilatih dan dievaluasi dibandingkan dengan benchmark statis atau dataset tetap?

Perubahan itu adalah bahwa benchmark berhenti menjadi tes dan mulai menjadi lingkungan. Alih-alih menyajikan set pertanyaan tetap, simulator menghasilkan tugas, kondisi sekitar, dan logika evaluasi secara dinamis. Ketika agen berperilaku dan membaik, lingkungan beradaptasi. Itu menggabungkan batas tradisional antara pelatihan dan evaluasi. Anda tidak lagi bertanya apakah agen lulus benchmark, tetapi apakah agen dapat beroperasi dengan andal selama waktu di sistem dinamis.

Dari sudut pandang teknis, apa ide arsitektur inti di balik simulator generatif, terutama sekitar generasi tugas, dinamika lingkungan, dan struktur hadiah?

Pada tingkat tinggi, simulator generatif menggabungkan pembelajaran penguatan dengan generasi lingkungan adaptif. Simulator dapat membuat tugas baru, memperbarui aturan dunia secara dinamis, dan mengevaluasi tindakan agen secara real-time. Komponen kunci adalah apa yang kami sebut penyesuaian kurikulum, yang menganalisis perilaku agen dan memodifikasi kesulitan dan struktur skenario untuk menjaga produktivitas pembelajaran. Struktur hadiah dirancang untuk diverifikasi dan spesifik domain, sehingga agen dipandu menuju perilaku yang benar bukan jalan pintas superficial.

Bagaimana pendekatan Patronus berbeda dari yang lain di ruang evaluasi AI dan alat agen yang semakin ramai?

Fokus kami adalah pada validitas ekologis. Kami merancang lingkungan yang mencerminkan alur kerja manusia nyata, termasuk gangguan, peralihan konteks, penggunaan alat, dan penalaran multi-langkah. Alih-alih mengoptimalkan agen untuk terlihat baik pada tes yang telah ditentukan sebelumnya, kami fokus pada mengungkapkan jenis kegagalan yang penting dalam produksi. Simulator mengevaluasi perilaku selama waktu, bukan hanya output dalam isolasi.

Jenis tugas atau mode kegagalan apa yang paling diuntungkan dari evaluasi berbasis simulator dibandingkan dengan pengujian konvensional?

Tugas multi-langkah dan horizon panjang paling diuntungkan. Bahkan tingkat kesalahan kecil per langkah dapat berkompromi menjadi tingkat kegagalan besar pada tugas kompleks, yang benchmark statis gagal untuk menangkap. Evaluasi berbasis simulator memungkinkan untuk mengungkapkan kegagalan yang terkait dengan tetap pada jalur selama waktu, menangani gangguan, mengkoordinasikan penggunaan alat, dan beradaptasi ketika kondisi berubah di tengah tugas.

Bagaimana pembelajaran berbasis lingkungan mengubah cara Anda berpikir tentang keamanan AI, dan apakah simulator generatif memperkenalkan risiko baru seperti peretasan hadiah atau mode kegagalan yang muncul?

Pembelajaran berbasis lingkungan sebenarnya membuat banyak masalah keamanan lebih mudah dideteksi. Peretasan hadiah cenderung berkembang di lingkungan statis di mana agen dapat mengeksploitasi celah tetap. Di simulator generatif, lingkungan itu sendiri adalah target yang bergerak, yang membuat jalan pintas tersebut lebih sulit untuk dipertahankan. Namun, desain yang hati-hati masih diperlukan sekitar hadiah dan pengawasan. Kelebihan lingkungan adalah bahwa mereka memberikan Anda kontrol dan visibilitas yang jauh lebih besar atas perilaku agen daripada benchmark statis pernah bisa.

Melihat lima tahun ke depan, di mana Anda melihat Patronus AI dalam hal ambisi teknis dan dampak industri?

Kami percaya bahwa lingkungan menjadi infrastruktur dasar untuk AI. Ketika agen berpindah dari menjawab pertanyaan ke melakukan pekerjaan nyata, lingkungan di mana mereka belajar akan membentuk seberapa kuat dan andal mereka menjadi. Ambisi jangka panjang kami adalah untuk mengubah alur kerja dunia nyata menjadi lingkungan terstruktur yang agen dapat belajar dari secara terus-menerus. Pemisahan tradisional antara evaluasi dan pelatihan mulai runtuh, dan kami pikir perubahan itu akan mendefinisikan gelombang berikutnya dari sistem AI.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Patronus AI.