Mereka Berjanji Akan Memberikan Kami Agen, tapi Yang Kami Dapatkan Hanyalah Rantai Statis

Pada musim semi 2023, dunia sangat bersemangat dengan munculnya agen AI berbasis LLM. Demo yang kuat seperti AutoGPT dan BabyAGI menunjukkan potensi LLM yang berjalan dalam loop, memilih tindakan berikutnya, mengamati hasilnya, dan memilih tindakan berikutnya, satu langkah demi satu langkah (juga dikenal sebagai kerangka kerja ReACT). Metode baru ini diharapkan dapat memberdayakan agen yang secara otonom dan generik melakukan tugas multi-langkah. Berikan tujuan dan set alat, dan itu akan menangani sisanya. Pada akhir 2024, lanskap akan dipenuhi dengan agen AI dan kerangka kerja pembangunan agen. Tapi bagaimana mereka mengukur janji?

Aman untuk mengatakan bahwa agen yang ditenagai oleh kerangka kerja ReACT yang naif menderita keterbatasan yang parah. Berikan mereka tugas yang memerlukan lebih dari beberapa langkah, menggunakan lebih dari beberapa alat, dan mereka akan gagal secara menyedihkan. Di luar masalah latensi yang jelas, mereka akan kehilangan jejak, gagal mengikuti instruksi, berhenti terlalu awal atau terlalu lambat, dan menghasilkan hasil yang sangat berbeda pada setiap upaya. Dan itu tidak mengherankan. Kerangka kerja ReACT mengambil keterbatasan LLM yang tidak dapat diprediksi dan memperburuknya dengan jumlah langkah. Namun, pembangun agen yang ingin memecahkan kasus penggunaan dunia nyata, terutama di perusahaan, tidak dapat menerima tingkat kinerja seperti itu. Mereka memerlukan hasil yang dapat diandalkan, diprediksi, dan dapat dijelaskan untuk alur kerja multi-langkah yang kompleks. Dan mereka memerlukan sistem AI yang dapat memitigasi, bukan memperburuk, sifat LLM yang tidak dapat diprediksi.

Jadi, bagaimana agen dibangun di perusahaan saat ini? Untuk kasus penggunaan yang memerlukan lebih dari beberapa alat dan beberapa langkah (misalnya, RAG konversasional), pembangun agen saat ini telah banyak meninggalkan janji dinamis dan otonom ReACT untuk metode yang sangat bergantung pada rantai statis – penciptaan rantai pra-definisi yang dirancang untuk memecahkan kasus penggunaan tertentu. Pendekatan ini menyerupai teknik perangkat lunak tradisional dan jauh dari janji agen ReACT. Ini mencapai tingkat kontrol dan keandalan yang lebih tinggi, tetapi kekurangan otonomi dan fleksibilitas. Solusi tersebut therefore intensif pengembangan, sempit dalam aplikasi, dan terlalu kaku untuk menangani tingkat variansi input yang tinggi dan lingkungan.

Untuk memastikan, praktik rantai statis dapat bervariasi dalam seberapa “statis” mereka. Beberapa rantai menggunakan LLM hanya untuk melakukan langkah atom (misalnya, untuk mengekstrak informasi, meringkas teks, atau menggambar pesan) sementara yang lain juga menggunakan LLM untuk membuat beberapa keputusan dinamis pada saat runtime (misalnya, LLM yang mengarahkan antara aliran alternatif dalam rantai atau LLM yang memvalidasi hasil langkah untuk menentukan apakah harus dijalankan lagi). Dalam hal apapun, selama LLM bertanggung jawab untuk keputusan dinamis dalam solusi – kita pasti terjebak dalam tradeoff antara keandalan dan otonomi. Semakin solusi itu statis, semakin andal dan dapat diprediksi, tetapi juga kurang otonom dan oleh karena itu lebih sempit dalam aplikasi dan lebih intensif pengembangan. Semakin solusi itu dinamis dan otonom, semakin generik dan sederhana untuk dibangun, tetapi juga kurang andal dan dapat diprediksi.

Tradeoff ini dapat diwakili dalam grafik berikut:

Ini meminta pertanyaan, mengapa kita belum melihat kerangka kerja agen yang dapat ditempatkan di kuadran kanan atas? Apakah kita dikutuk untuk selamanya mempertukarkan keandalan untuk otonomi? Apakah kita tidak bisa mendapatkan kerangka kerja yang menyediakan antarmuka sederhana dari agen ReACT (ambil tujuan dan set alat dan atur semuanya) tanpa mengorbankan keandalan?

Jawabannya adalah – kita bisa dan kita akan! Tapi untuk itu, kita perlu menyadari bahwa kita telah melakukannya semua salah. Semua kerangka kerja pembangunan agen saat ini memiliki kelemahan umum: mereka bergantung pada LLM sebagai komponen dinamis dan otonom. Namun, elemen kunci yang kita lewatkan—apa yang kita butuhkan untuk menciptakan agen yang otonom dan andal—adalah teknologi perencanaan. Dan LLM tidaklah menjadi perencana yang hebat.

Tapi pertama-tama, apa itu “perencanaan”? Dengan “perencanaan” kita maksudkan kemampuan untuk secara eksplisit memodelkan alternatif tindakan yang mengarah ke hasil yang diinginkan dan untuk secara efisien mengeksplorasi dan mengeksploitasi alternatif tersebut di bawah keterbatasan anggaran. Perencanaan harus dilakukan pada tingkat makro dan mikro. Rencana makro memecah tugas menjadi langkah-langkah yang bergantung dan independen yang harus dijalankan untuk mencapai hasil yang diinginkan. Apa yang sering diabaikan adalah kebutuhan akan perencanaan mikro yang bertujuan untuk menjamin hasil yang diinginkan pada tingkat langkah. Ada banyak strategi yang tersedia untuk meningkatkan keandalan dan mencapai jaminan pada tingkat langkah tunggal dengan menggunakan lebih banyak komputasi waktu inferensi. Misalnya, Anda bisa memparafrasekan kueri pencarian semantik beberapa kali, Anda bisa mengambil lebih banyak konteks per kueri yang diberikan, bisa menggunakan model yang lebih besar, dan Anda bisa mendapatkan lebih banyak inferensi dari LLM – semuanya menghasilkan hasil yang lebih memuaskan kebutuhan dari mana Anda bisa memilih yang terbaik. Seorang perencana mikro yang baik dapat menggunakan komputasi waktu inferensi secara efisien untuk mencapai hasil terbaik di bawah anggaran komputasi dan latensi yang diberikan. Dengan cara itu, sistem AI yang berencana dapat memitigasi sifat probabilistik LLM untuk mencapai hasil yang dijamin pada tingkat langkah. Tanpa jaminan seperti itu, kita kembali ke masalah kesalahan yang menggandakan yang bahkan akan melemahkan rencana makro yang terbaik.

Tapi mengapa LLM tidak bisa berfungsi sebagai perencana? Setelah semua, mereka mampu menerjemahkan instruksi tingkat tinggi menjadi rantai pemikiran atau rencana yang masuk akal yang didefinisikan dalam bahasa alami atau kode. Alasannya adalah bahwa perencanaan memerlukan lebih dari itu. Perencanaan memerlukan kemampuan untuk memodelkan alternatif tindakan yang mungkin secara masuk akal mengarah ke hasil yang diinginkan DAN untuk bernalar tentang utilitas yang diharapkan dan biaya yang diharapkan (dalam komputasi dan/atau latensi) dari setiap alternatif. Sementara LLM dapat secara potensial menghasilkan representasi dari tindakan yang tersedia, mereka tidak dapat memprediksi utilitas dan biaya yang diharapkan. Misalnya, apa utilitas dan biaya yang diharapkan dari menggunakan model X vs. model Y untuk menghasilkan jawaban per konteks tertentu? Apa utilitas yang diharapkan dari mencari potongan informasi tertentu dalam corpus dokumen yang diindeks vs. panggilan API ke CRM? LLM Anda tidak memiliki petunjuk. Dan itu karena jejak historis dari sifat probabilistik ini jarang ditemukan di alam liar dan tidak termasuk dalam data pelatihan LLM. Mereka juga cenderung spesifik untuk alat dan lingkungan data tertentu di mana sistem AI akan beroperasi, tidak seperti pengetahuan umum yang dapat diperoleh LLM. Dan bahkan jika LLM bisa memprediksi utilitas dan biaya yang diharapkan, bernalar tentang mereka untuk memilih tindakan yang paling efektif adalah deduksi logis yang tidak dapat diandalkan dilakukan oleh LLM.

Jadi apa bahan-bahan yang hilang untuk teknologi perencanaan AI? Kita memerlukan model perencana yang dapat belajar dari pengalaman dan simulasi untuk secara eksplisit memodelkan alternatif tindakan dan kemungkinan utilitas dan biaya per tugas tertentu dalam alat dan lingkungan data tertentu. Kita memerlukan Bahasa Definisi Rencana (PDL) yang dapat digunakan untuk merepresentasikan dan bernalar tentang tindakan tersebut dan kemungkinan. Kita memerlukan mesin eksekusi yang dapat mengeksekusi rencana yang didefinisikan dalam PDL secara deterministik dan efisien.

Beberapa orang sudah bekerja keras untuk memenuhi janji ini. Sampai saat itu, teruslah membangun rantai statis. Tapi jangan menyebut mereka “agen”.