Bagaimana Cara Mengevaluasi Agen AI? Tugas, Lintasan, Keandalan, dan Biaya

Mengevaluasi agen AI berarti menguji apakah agen tersebut menyelesaikan tugas-tugas yang representatif secara andal, mengikuti jalur yang dapat diterima, mematuhi batas-batasnya, dan memberikan nilai yang sepadan dengan biayanya. Jawaban akhir saja tidak cukup karena agen dapat mencapai hasil yang tampak masuk akal melalui tindakan yang tidak aman, klaim tanpa dasar, percobaan ulang yang berlebihan, atau keberuntungan.

Evaluasi agen sulit dilakukan karena sistem bekerja dari waktu ke waktu. Model memilih alat, mengamati lingkungan yang berubah, dan dapat menempuh jalur berbeda pada setiap proses. Karena itu, evaluasi yang efektif mengukur hasil dan lintasan melalui uji coba berulang.

Istilah-Istilah dalam Evaluasi Agen

Panduan Anthropic untuk memperjelas evaluasi agen menyajikan sejumlah istilah yang berguna:

• Tugas: satu kasus uji yang memiliki tujuan, lingkungan, masukan, dan kriteria keberhasilan.
• Uji coba: satu upaya agen untuk menyelesaikan tugas.
• Transkrip atau lintasan: rangkaian pesan, keputusan, pemanggilan alat, pengamatan, dan tindakan selama uji coba.
• Penilai: aturan, program, model, atau orang yang menilai sebagian kinerja.
• Kerangka evaluasi: sistem yang menyiapkan lingkungan, menjalankan uji coba, mengumpulkan jejak, memanggil penilai, dan melaporkan hasil.

Memisahkan konsep-konsep ini mencegah kesalahan umum: menganggap satu demonstrasi yang berhasil sebagai bukti bahwa agen akan bekerja secara andal.

Mulailah dengan Spesifikasi Tugas yang Jelas

Tugas evaluasi yang berguna menjelaskan keadaan awal, alat yang tersedia, batasan, hasil yang diharapkan, dan perilaku penting yang dilarang. Pengujian sebaiknya menyerupai pekerjaan nyata tanpa mengungkap satu jalur yang sudah ditentukan.

Untuk agen dukungan pelanggan, instruksi “selesaikan tiket” terlalu samar. Tugas yang lebih jelas menyebutkan catatan pelanggan, kebijakan yang berlaku, solusi yang diizinkan, komunikasi yang diwajibkan, serta perubahan yang harus tercatat di sistem pencatatan utama. Dengan demikian, tugas tersebut dapat dinilai secara objektif.

Empat Lapisan Evaluasi Agen

Lapisan-lapisan ini sebaiknya tetap dipisahkan dalam pelaporan. Menggabungkannya menjadi satu nilai rata-rata dapat menyamarkan perilaku yang tidak dapat diterima—misalnya, skor keberhasilan tugas yang tinggi tetapi menutupi seringnya upaya menggunakan alat tanpa izin. Tim dapat terlebih dahulu menetapkan ambang keselamatan yang wajib dipenuhi, lalu membandingkan kualitas hasil dan efisiensi di antara proses yang lolos ambang tersebut.

1. Kualitas Hasil

Apakah agen mencapai tujuannya? Penilai hasil dapat memeriksa perubahan keadaan yang spesifik, kolom wajib, hasil pengujian, keakuratan fakta, dukungan kutipan, atau kualitas berdasarkan rubrik.

Jika memungkinkan, gunakan keadaan akhir lingkungan, bukan klaim agen itu sendiri. Agen pemrograman belum berhasil hanya karena menyatakan bahwa bug sudah diperbaiki; pengujian dan perilaku yang relevan harus memastikannya.

2. Kualitas Lintasan

Apakah agen menempuh jalur yang tepat? Evaluasi lintasan dapat mendeteksi akses data yang tidak perlu, penggunaan alat yang dilarang, kegagalan berulang, verifikasi yang dilewati, pengamatan yang direkayasa, atau pelanggaran persetujuan.

Tidak setiap penyimpangan dari jalur acuan merupakan kesalahan. Agen dapat menemukan solusi valid yang tidak diperkirakan evaluator. Penilai sebaiknya menegakkan persyaratan yang benar-benar diperlukan sekaligus mengizinkan pendekatan alternatif yang efisien.

3. Keselamatan dan Kepatuhan terhadap Kebijakan

Apakah agen tetap berada dalam batas kewenangannya? Pengujian sebaiknya mencakup injeksi prompt, instruksi yang bertentangan, data sensitif, maksud pengguna yang ambigu, serta permintaan yang mengharuskan penolakan atau eskalasi.

Evaluasi keselamatan memerlukan konsekuensi yang realistis dalam lingkungan simulasi. Kalimat yang mematuhi kebijakan tidaklah cukup jika agen telanjur mengirim pesan, mengubah catatan, atau membeberkan data.

4. Efisiensi Operasional

Berapa banyak waktu dan biaya yang diperlukan untuk mencapai keberhasilan? Lacak token model, pemanggilan alat, latensi waktu total, percobaan ulang, intervensi manusia, dan biaya layanan eksternal. Agen yang berhasil setelah melakukan 100 tindakan yang tidak perlu mungkin kurang berguna dibandingkan alur kerja yang lebih sederhana.

Gunakan Berbagai Jenis Penilai

Penilai deterministik memeriksa hal-hal yang spesifik: apakah pengujian berhasil, apakah berkas berubah dengan benar, apakah kolom basis data memiliki nilai yang diwajibkan, atau apakah endpoint terlarang dipanggil. Prosesnya cepat dan konsisten, tetapi hanya mencakup hal-hal yang dikodekan oleh pengembang.

Penilai berbasis model mengevaluasi kualitas seperti kejelasan, kelengkapan, relevansi, dan kepatuhan terhadap kriteria yang terperinci. Penilaian ini lebih mudah ditingkatkan skalanya daripada tinjauan manusia, tetapi tetap perlu divalidasi karena dapat bias atau tidak konsisten.

Penilai manusia penting untuk penilaian ahli, kasus ambigu, dan validasi penilai otomatis. Prosesnya lebih lambat dan mahal, sehingga tim sering menggunakannya pada sampel, kasus yang memicu ketidaksepakatan, dan bidang berdampak tinggi.

Rangkaian evaluasi yang paling kuat memadukan pendekatan-pendekatan ini. Platform Evals OpenAI juga memandang evaluasi sebagai proses terstruktur untuk menetapkan pengujian, penilai, dan eksperimen berulang, bukan sekadar pemeriksaan informal.

Keandalan Memerlukan Pengujian Berulang

Jalankan setiap tugas berkali-kali hingga variasi akibat pengambilan sampel, perubahan alat, dan kondisi lingkungan terlihat. Laporkan kinerja rata-rata serta frekuensi kegagalan parah. Dalam alur kerja yang terdiri atas beberapa langkah saling bergantung, akurasi tiap langkah bisa tampak tinggi, sementara keandalan dari awal hingga akhir tetap rendah karena satu kegagalan saja cukup untuk menggagalkan seluruh tugas.

Perilaku agen bersifat probabilistik. Tugas yang sama dapat menghasilkan rencana, pemanggilan alat, dan hasil yang berbeda. Jalankan setiap tugas penting beberapa kali dan laporkan tingkat keberhasilan atau distribusi skor, bukan hanya contoh terbaik.

Dua ukuran keandalan menjawab pertanyaan yang berbeda:

• Pass@k: probabilitas bahwa setidaknya satu dari k percobaan berhasil. Ukuran ini berguna ketika beberapa kali percobaan dapat diterima.
• Pass^k: probabilitas bahwa semua k percobaan berhasil. Ukuran ini mencerminkan konsistensi ketika setiap eksekusi harus berhasil.

Sebuah sistem dapat memiliki pass@k yang menarik, tetapi tetap tidak cocok untuk operasi otomatis karena hasil setiap eksekusi tidak dapat diandalkan.

Susun Kumpulan Tugas yang Representatif

Mulailah dengan kegagalan nyata dan permintaan umum dalam lingkungan produksi. Sertakan tugas sederhana, kasus tepi yang sulit, masukan ambigu, kesalahan alat, data usang, informasi yang hilang, dan konten adversarial.

Kelompokkan hasil berdasarkan jenis tugas dan tingkat risiko. Rata-rata keseluruhan dapat menyamarkan kelemahan serius dalam tindakan finansial, tugas berdurasi panjang, atau aplikasi tertentu. Sisihkan kumpulan data yang tidak digunakan selama pengembangan agar penyetelan prompt berulang tidak mengubah rangkaian evaluasi menjadi kumpulan data pelatihan.

Evaluasi Lingkungan, Bukan Hanya Model

Kinerja agen bergantung pada definisi alat, izin, memori, pengelolaan konteks, antarmuka pengguna, perilaku jaringan, dan orkestrasi. Peningkatan model dapat mengurangi satu jenis kesalahan, tetapi sekaligus memunculkan jenis kesalahan lain.

Catat versi seluruh tumpukan yang digunakan dalam setiap eksekusi. Rekam model, prompt, alat, cuplikan data, lingkungan, batas anggaran, dan versi penilai. Jika tidak, perubahan skor tidak dapat ditelusuri ke penyebab yang berarti.

Kesalahan Umum dalam Evaluasi

Kebocoran data juga merupakan risiko. Jika tugas tolok ukur, jawaban yang diharapkan, atau pola penilaian muncul dalam data pelatihan model atau konteks prompt, skor yang diperoleh mungkin mengukur kemampuan mengenali pola, bukan kemampuan menggeneralisasi. Simpan tugas pengujian tertutup yang bersifat privat, perbarui kasus seiring perubahan sistem, dan catat model, prompt, versi alat, serta lingkungan yang digunakan secara persis dalam setiap pengujian.

• Evaluasi yang berpatokan pada demo: memilih tugas setelah melihat hal-hal yang dikuasai agen.
• Penilaian yang hanya berfokus pada jawaban akhir: mengabaikan rangkaian tindakan yang tidak aman atau boros.
• Kesimpulan dari satu kali pengujian: menganggap keberhasilan yang kebetulan sebagai kemampuan yang konsisten.
• Pengujian yang bocor: menempatkan jawaban atau rangkaian tindakan acuan dalam konteks agen.
• Penilai model yang belum divalidasi: menganggap penilai otomatis selalu benar tanpa memeriksa kesesuaiannya dengan para ahli.
• Lingkungan statis: menguji satu antarmuka, status akun, atau susunan data saja.
• Tidak melakukan pengujian negatif: mengukur penyelesaian tugas tanpa memeriksa apakah agen menolak atau mengeskalasi masalah dengan tepat.
• Mengabaikan aspek ekonomi: mengoptimalkan keberhasilan hingga biaya dan latensi menjadi tidak dapat diterima.

Dari Evaluasi Luring ke Pemantauan Produksi

Evaluasi luring dilakukan secara terkendali dan dapat diulang. Evaluasi ini ideal untuk membandingkan prompt, model, alat, dan kebijakan sebelum peluncuran. Pemantauan produksi mengungkap ragam perilaku pengguna dan perubahan lingkungan yang sebenarnya.

Program yang matang menghubungkan keduanya. Insiden dan rekaman jejak produksi dengan tingkat keyakinan rendah menjadi tugas luring baru. Perubahan kandidat harus lolos rangkaian pengujian regresi. Setelah penerapan, tim memantau keberhasilan tugas, tingkat intervensi, peristiwa terkait kebijakan, kesalahan alat, biaya, latensi, dan umpan balik pengguna.

Kartu Skor Agen yang Praktis

Kartu skor sebaiknya membedakan persyaratan wajib dari metrik optimasi. Kepatuhan terhadap kebijakan, otorisasi, dan bukti yang diwajibkan dapat menjadi persyaratan lulus atau gagal; selanjutnya, akurasi, latensi, biaya, dan upaya peninjau dapat dibandingkan di antara pengujian yang memenuhi syarat. Dengan demikian, tim tidak mengorbankan keselamatan demi sedikit peningkatan efisiensi yang dapat tersamarkan oleh skor rata-rata.

Kartu skor yang bermanfaat dapat mencakup:

• tingkat keberhasilan tugas dan skor kualitas;
• konsistensi dalam pengujian berulang;
• tingkat pelanggaran kebijakan yang kritis;
• akurasi pemilihan alat dan argumen;
• tingkat pemulihan setelah terjadi kegagalan alat atau lingkungan;
• tingkat eskalasi ke manusia dan pengambilalihan oleh manusia;
• latensi median dan latensi pada ekor distribusi;
• biaya model, alat, dan tenaga manusia per tugas yang berhasil;
• efisiensi rangkaian tindakan dibandingkan dengan tolok ukur yang wajar.

Laporkan biaya per tugas yang berhasil, bukan hanya biaya per pengujian. Agen murah yang berulang kali gagal bisa lebih mahal daripada model yang lebih andal dan berhasil sekali.

Hal yang Perlu Diingat tentang Cara Mengevaluasi Agen AI

Evaluasi agen adalah disiplin untuk menguji sistem lengkap yang diarahkan pada tujuan dalam kondisi realistis. Evaluasi ini mengukur apakah pekerjaan dilakukan dengan benar, apakah prosesnya dapat diterima, apakah perilakunya dapat diulang, dan apakah aspek ekonominya masuk akal.

Mulailah dengan sejumlah kecil tugas yang berdampak penting, beberapa kali pengujian, penilai berlapis, dan rangkaian tindakan yang lengkap. Selanjutnya, jadikan setiap kegagalan produksi yang berarti sebagai pengujian regresi. Kemampuan agen berubah dengan cepat; sistem evaluasi yang tahan lama membantu tim membedakan kemajuan nyata dari demo yang meyakinkan.