Mengapa Agen AI Lulus QA tetapi Gagal di Produksi

Pembelajaran kontinu menjadi disiplin teknik untuk membuat agen meningkat setelah penerapan, tanpa merusak apa yang sudah bekerja.

Sebuah agen AI dapat lulus setiap evaluasi sebelum peluncuran dan masih gagal di produksi seminggu kemudian. Itu bukanlah sebuah kontradiksi. Set evaluasi mencerminkan apa yang tim ketahui untuk diuji sebelum peluncuran. Produksi adalah tempat kasus-kasus yang hilang muncul: kalimat yang aneh, konteks yang hilang, kasus tepi alat, pengguna yang tidak sabar, kebijakan yang bertentangan, dan alur kerja yang tidak pernah dibayangkan oleh desainer benchmark.

Agen tersebut dikoreksi oleh pengguna sepanjang waktu. Itu mengecewakan pengguna. Kemudian sesi berakhir, log disimpan, dan pengguna berikutnya bertemu dengan sistem yang secara esensial sama.

Inilah mengapa pembelajaran kontinu menjadi sentral untuk teknik agen. Ini bukanlah fitur dari satu produk. Ini adalah kategori metode untuk membuat agen meningkat dari pengalaman sambil melestarikan apa yang sudah bekerja. Penelitian pembelajaran kontinu klasik menggambarkan masalah sebagai pembelajaran selama waktu tanpa lupa kritis. Agen membuat masalah itu lebih luas. Hal yang berubah mungkin sebuah model, tetapi mungkin juga sebuah prompt, alat, keterampilan, alur kerja, atau memori.

Perbedaan itu penting, karena kegagalan agen sebagian besar tidak diselesaikan dengan mengubah model terlebih dahulu.

Refleks penyempurnaan terlalu sempit

Ketika tim berbicara tentang membuat sistem AI lebih baik, rencana default sering terdengar seperti ini: mengumpulkan kegagalan, melabeli jawaban yang lebih baik, menyempurnakan model. Insting itu dapat dipahami. Penyempurnaan terarah, Optimasi Preferensi Langsung, Optimasi Kebijakan Relatif Kelompok, dan metode yang efisien parameter seperti LoRA berguna ketika model itu sendiri perlu diubah.

Tetapi banyak kegagalan produksi bukanlah kegagalan bobot model. Mereka adalah kegagalan sistem.

Agen mungkin bergantung pada memori yang sudah ketinggalan, melewatkan konfirmasi yang diperlukan, memanggil alat dengan argumen yang salah, atau mengarahkan kasus melalui alur kerja yang salah. Seringkali, masalahnya bukan kemampuan model dasar. Ini adalah konteks, memori, antarmuka alat, atau alur kerja yang mengelilinginya.

Agen modern memiliki beberapa lapisan. Model beralasan dan menghasilkan. Harness di sekitarnya mendefinisikan prompt, alat, keterampilan, kode, pengaturan, dan alur kerja. Memori membawa fakta dan prosedur yang dipelajari melintasi sesi. Pembelajaran kontinu adalah disiplin untuk memutuskan lapisan mana yang harus berubah, seberapa kecil perubahan itu, dan bagaimana memverifikasi bahwa perubahan itu benar-benar membantu.

Terkadang perbaikan yang tepat adalah penulisan memori. Terkadang itu adalah penyuntingan prompt. Terkadang itu adalah pembungkus alat, aturan pengaturan, atau perbaikan alur kerja. Penyempurnaan harus tetap tersedia, tetapi itu tidak harus menjadi jawaban pertama untuk setiap kegagalan.

Benchmark berguna, tetapi produksi jarang memberikan satu

Ada pekerjaan yang menarik dalam mengoptimalkan harness agen itu sendiri. Metode seperti GEPA, Meta-Harness, dan pendekatan optimasi prompt atau alur kerja yang terkait memperlakukan agen sebagai sistem yang dapat dimutasi dan diuji. Mereka dapat mengusulkan penyuntingan prompt atau komponen harness lainnya, menjalankan kandidat, dan menyimpan versi yang skor lebih baik.

Itu adalah arah yang tepat. Ini memindahkan perbaikan dari bingkai sempit “perbarui bobot” ke dalam bingkai yang lebih luas “perbaiki agen”.

Tetapi ada tangkapan: metode ini biasanya mengasumsikan benchmark. Mereka memerlukan tugas yang dapat dijalankan berulang kali dan evaluator yang mengatakan apakah kandidat A lebih baik dari kandidat B. Tanpa itu, optimasi menjadi tebakan dengan alat yang lebih baik.

Ini bukanlah apa yang dimiliki sebagian besar tim di produksi.

Apa yang mereka miliki adalah log. Mereka memiliki jejak, koreksi pengguna, tiket dukungan, acara thumbs-down, catatan eskalasi, dan umpan balik ahli yang terkadang. Sinyal-sinyal itu berharga, tetapi mereka belum menjadi benchmark. Mereka mengatakan sesuatu terjadi. Mereka tidak secara otomatis mengatakan bagaimana memainkan kembali, apa yang harus terlihat seperti keberhasilan, atau bagaimana menskor perbaikan yang diusulkan.

Celah itu adalah tempat banyak upaya pembelajaran kontinu terhenti. Tim memiliki pengalaman, tetapi belum memiliki lingkungan pembelajaran.

Log bukanlah pelajaran

Log produksi merekam satu jalur melalui interaksi. Pengguna meminta penerbangan. Agen mencari. Pengguna mengatakan tanggalnya salah. Itu adalah bukti kegagalan, tetapi itu tidak cukup untuk dipelajari.

Log tidak mendefinisikan kontrafaktual. Apakah agen harus meminta konfirmasi? Apakah itu harus menginfer tanggal dari konteks sebelumnya? Apakah itu harus memanggil alat yang berbeda? Apakah itu harus menolak untuk melanjutkan sampai ketidakjelasan diselesaikan? Seorang manusia mungkin tahu jawabannya setelah membaca jejak, tetapi sistem tidak mendapatkan struktur itu secara gratis.

Untuk pembelajaran kontinu bekerja, kegagalan mentah harus diubah menjadi sesuatu yang dapat dimainkan kembali. Itu berarti tugas yang agen dapat hadapi lagi, pengguna atau simulator yang merekayasa pola yang relevan, alat yang agen dapat panggil, dan evaluator yang mendefinisikan keberhasilan. Evaluator mungkin memeriksa jawaban akhir, panggilan alat, batas kebijakan, latensi, biaya, atau semua di atas.

Ini adalah bagian yang kurang terlihat dari pekerjaan, tetapi ini adalah bagian yang membuat perbaikan nyata. Setelah kegagalan menjadi lingkungan yang dapat dimainkan kembali, Anda dapat mengajukan pertanyaan yang konkrit: apakah perubahan yang diusulkan benar-benar memperbaiki perilaku?

Tanpa langkah itu, tim sebagian besar memperbaiki dari memori.

David Silver dan Richard Sutton telah menggambarkan era pengalaman yang akan datang, di mana agen belajar terutama dari interaksi dengan dunia daripada dari data manusia statis. Untuk agen perusahaan, visi itu bergantung pada mengubah pengalaman produksi yang berantakan menjadi lingkungan yang dapat dimainkan kembali, dinilai, dan digunakan kembali.

Pengalaman saja tidak cukup. Itu harus dibuat dapat diuji.

Regressi adalah biaya tersembunyi

Bahkan ketika kegagalan menjadi dapat diuji, bagian yang paling sulit tetap: memperbaiki tanpa merusak sesuatu yang lain.

Siapa pun yang telah memelihara agen yang kompleks telah melihat pola ini. Anda menambahkan instruksi sehingga agen dapat menaikkan permintaan pengembalian yang agresif. Sekarang itu menaikkan pengembalian rutin yang harus ditangani dengan cepat. Anda mengurangi panggilan alat dalam satu alur kerja. Sekarang alur kerja lain melewatkan pemeriksaan yang diperlukan. Anda memperbaiki memori yang sudah ketinggalan. Sekarang agen menggeneralisasi perbaikan ke lini produk yang berbeda.

Setiap patch masuk akal secara lokal. Sistem masih bergeser secara global.

Ini adalah versi agen dari lupa kritis. Dalam jaringan neural, frasa itu biasanya merujuk pada pelatihan baru yang menghapus kemampuan lama. Dalam agen, kegagalan itu lebih luas dan seringkali lebih sulit dilihat. Lupa dapat terjadi dalam prompt, alat, memori, pengaturan, dan alur kerja. Ini muncul bukan sebagai metrik yang bersih pada kurva pelatihan, tetapi sebagai pengguna yang mengatakan: “Ini dulu bekerja.”

Itulah mengapa kontrol regressi tidak dapat menjadi langkah tinjauan akhir. Ini harus berada di dalam loop pembelajaran itu sendiri.

Tujuan bukanlah hanya untuk memaksimalkan kinerja pada kegagalan terbaru. Tujuan adalah untuk meningkatkan kasus baru sambil melestarikan kasus lama. Setiap perbaikan yang berhasil harus menjadi bagian dari memori agen yang tumbuh tentang apa yang harus terus bekerja. Dalam praktek, itu berarti kegagalan lama menjadi tes regressi. Sejarah agen menjadi konstrain, bukan hanya arsip.

Ini adalah tempat pembelajaran kontinu menjadi lebih seperti teknik perangkat lunak yang serius daripada penyuntingan prompt. Perubahan tidak baik karena terdengar lebih baik. Ini baik karena memperbaiki perilaku yang diukur dan tidak mengalami regressi perilaku yang sistem sudah peroleh.

Apa yang dibutuhkan pembelajaran kontinu yang praktis

Lingkaran pembelajaran kontinu yang siap produksi memerlukan empat sifat.

Pertama, kegagalan harus dapat dimainkan kembali. Kegagalan satu kali adalah anekdot. Lingkungan yang dapat dimainkan kembali dan dinilai adalah tes. Sampai agen dapat menghadapi pola yang sama lagi, tidak ada yang dapat membuktikan perbaikan itu bekerja.

Kedua, diagnosis harus holistik. Perbaikan mungkin berada di model, tetapi mungkin juga berada di memori, prompt, lapisan alat, atau alur kerja. Perbaikan terbaik biasanya adalah perubahan kecil yang tahan lama yang menjelaskan kegagalan.

Ketiga, pembelajaran harus seumur hidup. Agen tidak boleh meningkat minggu ini dengan diam-diam membatalkan perilaku yang diperoleh dengan susah payah minggu lalu. Keberhasilan sebelumnya harus menjadi konstrain selama optimasi, bukan kejutan setelah penerapan.

Keempat, loop harus efisien. Jika setiap perbaikan memerlukan proyek pelatihan triwulanan, sistem tidak akan pernah mengikuti produksi. Loop harus mencoba perbaikan yang murah terlebih dahulu, meningkatkan hanya jika diperlukan, dan menyimpan verifikasi dekat dengan perubahan.

Tidak satu pun dari ini berarti agen harus memperbarui diri secara buta. Ini berarti sebaliknya. Perbaikan harus menjadi dapat diukur. Setiap perubahan harus memiliki tes, skor sebelum dan sesudah, dan pemeriksaan regressi.

Itulah yang mengubah pembelajaran kontinu dari aspirasi yang samar menjadi disiplin teknik.

Masa depan agen tidak akan ditentukan hanya oleh jendela konteks yang lebih besar, model dasar yang lebih kuat, atau lebih banyak alat. Itu akan penting. Tetapi pertanyaan yang lebih penting bagi perusahaan adalah apa yang terjadi setelah penerapan.

Ketika agen gagal besok, apakah sistem dapat mengubah kegagalan itu menjadi tes? Apakah itu dapat mengarahkan perbaikan ke lapisan yang tepat? Apakah itu dapat membuktikan perbaikan itu membantu? Apakah itu dapat membuktikan tidak ada yang lain rusak?

Jika jawabannya tidak, agen tidak benar-benar belajar dari produksi. Ini mengumpulkan risiko.

Agen yang penting berikutnya akan melakukan sesuatu yang lebih baik. Mereka akan mengompound.