Mengapa AI Agenik Masih Rusak di Dunia Nyata

Selama beberapa tahun terakhir, kita telah menyaksikan sistem AI agenik menghasilkan demonstrasi yang mengesankan. Mereka menulis kode yang lolos kasus uji. Mereka menjelajahi web dan menjawab pertanyaan kompleks. Mereka menavigasi antarmuka perangkat lunak dengan akurasi yang luar biasa. Setiap presentasi konferensi, setiap siaran pers, setiap laporan tolok ukur menyoroti kemunculan AI agenik.

Namun ada masalah yang tersembunyi di balik demonstrasi mengesankan ini. Ketika sistem yang sama ini berpindah dari lingkungan terkontrol ke penerapan di dunia nyata, mereka sering gagal dengan cara yang tidak pernah diprediksi oleh tolok ukur. Generator kode yang bekerja sempurna pada 100 contoh kurasi mulai menghasilkan kesalahan pada kasus tepi yang belum pernah dilihatnya. Agen penelusur web yang mencapai akurasi 85% di lab mengambil hasil yang semakin tidak relevan seiring perubahan perilaku pengguna. Sistem perencanaan yang mengoordinasikan sepuluh panggilan API dengan sempurna selama pengujian rusak ketika menemukan format respons API yang tidak terduga.

Sistem-sistem ini gagal bukan karena kurang kecerdasan, tetapi karena kurang adaptasi. Masalahnya terletak pada bagaimana agen AI belajar dan menyesuaikan diri. Sementara sistem mutakhir dibangun di atas model fondasi masif, kecerdasan mentah saja tidak cukup. Untuk melakukan tugas khusus, sebuah agen harus mampu beradaptasi. Sistem AI agenik saat ini tidak dapat melakukan ini karena keterbatasan struktural dalam desain dan pelatihannya. Dalam artikel ini, kami mengeksplorasi keterbatasan ini dan mengapa mereka bertahan.

Ilusi Kemampuan dalam Demo

Mode kegagalan paling berbahaya dalam AI modern adalah ilusi kompetensi. Demonstrasi singkat sering menyembunyikan kompleksitas sebenarnya. Mereka beroperasi pada dataset bersih, API yang dapat diprediksi, dan ruang lingkup tugas yang sempit. Lingkungan produksi adalah kebalikannya. Basis data tidak lengkap, skema berubah tanpa pemberitahuan, layanan mengalami waktu habis, izin bertentangan, dan pengguna mengajukan pertanyaan yang melanggar asumsi dasar sistem.

Di sinilah kompleksitas produksi meningkat secara signifikan. Satu kasus tepi yang muncul sekali dalam demo mungkin muncul ribuan kali per hari dalam penerapan. Kesalahan probabilistik kecil menumpuk. Seorang agen yang “sebagian besar benar” dengan cepat menjadi tidak dapat diandalkan dalam operasi nyata.

Inti dari masalah ini adalah ketergantungan pada model fondasi yang beku. Model-model ini unggul dalam penyelesaian pola, tetapi perilaku agenik bersifat sekuensial dan berstatus. Setiap tindakan bergantung pada hasil dari tindakan sebelumnya. Dalam pengaturan seperti itu, ketidakpastian statistik bertambah dengan cepat. Kesalahan kecil di awal tugas dapat berjenjang menjadi loop, jalan buntu, atau tindakan destruktif di kemudian hari. Inilah sebabnya mengapa agen yang tampak mampu selama evaluasi sering menurun dengan cepat setelah diterapkan.

Masalahnya bukan fitur yang hilang. Masalahnya adalah model tujuan umum diminta untuk berperilaku seperti spesialis domain tanpa diizinkan belajar dari lingkungannya.

Dari Kecerdasan Umum ke Kompetensi Situasional

Model fondasi pada dasarnya adalah generalis. Mereka mengkodekan pengetahuan luas dan pola penalaran yang fleksibel. Namun, agen produksi harus bersifat situasional. Mereka perlu memahami aturan spesifik, batasan, dan mode kegagalan dari organisasi tertentu dan alat-alatnya. Tanpa ini, mereka menyerupai seseorang yang telah membaca setiap manual tetapi tidak pernah bekerja sehari pun di pekerjaan tersebut.

Menjembatani kesenjangan ini memerlukan pemikiran ulang tentang adaptasi itu sendiri. Metode saat ini terbagi menjadi dua kubu yang cacat: melatih ulang agen AI inti itu sendiri, atau menyesuaikan alat eksternal yang digunakannya. Setiap pendekatan memecahkan satu masalah sambil menciptakan masalah lain. Ini meninggalkan kita dengan sistem yang terlalu kaku, terlalu mahal, atau terlalu tidak stabil untuk lingkungan produksi di mana konsistensi dan biaya penting.

Perangkap Agen Monolitik

Pendekatan pertama, Adaptasi Agen, mencoba membuat inti LLM lebih pintar dalam menggunakan alat. Pada dasarnya, ini mengajarkan AI keterampilan spesifik yang dibutuhkan untuk menggunakan alat-alat tersebut. Para peneliti mengategorikan ini lebih lanjut menjadi dua kelas. Beberapa metode melatih agen menggunakan umpan balik langsung dari alat, seperti keberhasilan kompiler kode atau hasil mesin pencari. Yang lain melatihnya berdasarkan kebenaran keluaran akhir, seperti jawaban benar atau salah.

Sistem seperti DeepSeek-R1 dan Search-R1 menunjukkan bahwa agen dapat mempelajari strategi multi-langkah yang kompleks untuk penggunaan alat. Namun, kekuatan ini datang dengan biaya yang signifikan. Melatih model miliaran parameter sangat boros secara komputasi. Lebih kritis lagi, ini menciptakan kecerdasan yang kaku dan rapuh. Dengan menggabungkan pengetahuan agen dan aturan penggunaan alat, pendekatan ini membuat pembaruan menjadi lambat, berisiko, dan tidak cocok untuk kebutuhan bisnis yang berubah cepat. Mengadaptasi agen ke tugas atau alat baru berisiko “lupa katastrofik,” di mana ia kehilangan keterampilan yang sebelumnya dikuasai. Ini seperti perlu membangun kembali seluruh jalur perakitan pabrik setiap kali Anda ingin menambahkan widget baru.

Masalah Kotak Peralatan yang Rapuh

Mengakui batasan ini, pendekatan utama kedua, Adaptasi Alat, membiarkan agen inti tetap beku dan malah mengoptimalkan alat-alat dalam ekosistemnya. Ini lebih modular dan hemat biaya. Beberapa alat dilatih secara generik, seperti penelusur pencarian standar, dan dipasang. Yang lain secara khusus disetel untuk melengkapi agen beku, belajar dari keluarannya untuk menjadi penolong yang lebih baik.

Paradigma ini menjanjikan efisiensi yang luar biasa. Sebuah studi penting tentang sistem bernama s3 menunjukkan potensi pendekatan ini. Sistem ini melatih alat “penelusur” kecil dan khusus untuk mendukung LLM beku, mencapai kinerja yang sebanding dengan agen yang sepenuhnya dilatih ulang seperti Search-R1 tetapi menggunakan data pelatihan 70 kali lebih sedikit. Intuisinya adalah, mengapa mengajari kembali seorang fisikawan jenius cara menggunakan katalog perpustakaan? Sebagai gantinya, cukup latih pustakawan yang lebih baik yang memahami kebutuhan fisikawan tersebut.

Namun, model kotak peralatan memiliki keterbatasannya sendiri. Kemampuan seluruh sistem pada akhirnya dibatasi oleh penalaran bawaan LLM beku. Anda dapat memberikan pisau bedah yang lebih tajam kepada seorang ahli bedah, tetapi Anda tidak dapat membuat orang yang bukan ahli bedah melakukan operasi jantung. Selain itu, mengoordinasikan rangkaian alat adaptif yang terus bertambah menjadi tantangan integrasi yang kompleks. Alat A mungkin mengoptimalkan untuk satu metrik yang melanggar persyaratan masukan Alat B. Kinerja sistem kemudian bergantung pada keseimbangan rapuh antara komponen yang saling terhubung.

Tantangan Ko-Adaptasi

Ini membawa kita ke inti defisit adaptasi dalam paradigma AI agenik saat ini. Kita mengadaptasi agen atau alatnya, tetapi tidak keduanya dengan cara yang tersinkronisasi dan stabil. Lingkungan produksi tidak statis. Data baru, persyaratan pengguna baru, dan alat baru terus bermunculan. Sistem AI yang tidak dapat berkembang dengan mulus dan aman baik “otak” maupun “tangannya” akan pasti rusak.

Para peneliti mengidentifikasi kebutuhan akan ko-adaptasi ini sebagai frontier berikutnya. Namun, ini adalah tantangan yang kompleks. Jika baik agen maupun alat-alatnya belajar secara bersamaan, siapa yang mendapatkan pujian atau kesalahan atas kegagalan? Bagaimana Anda mencegah loop umpan balik yang tidak stabil di mana agen dan alat saling mengejar perubahan tanpa meningkatkan kinerja keseluruhan? Upaya awal dalam hal ini, seperti memperlakukan hubungan agen-alat sebagai sistem multi-agen kooperatif, mengungkap kesulitannya. Tanpa solusi yang kuat untuk penugasan kredit dan stabilitas, bahkan AI agenik paling canggih kita tetap menjadi sekumpulan kemampuan yang mengesankan tetapi terputus.

Memori sebagai Sistem Kelas Utama

Salah satu tanda paling terlihat dari defisit adaptasi adalah memori statis. Banyak agen yang diterapkan tidak membaik seiring waktu. Mereka mengulangi kesalahan yang sama karena tidak dapat menginternalisasi pengalaman. Setiap interaksi diperlakukan seolah-olah itu adalah yang pertama.

Lingkungan produksi menuntut memori adaptif. Agen perlu mengingat episodik untuk menangani tugas cakrawala panjang, memori strategis untuk menyempurnakan rencana, dan memori operasional untuk menghindari pengulangan kegagalan. Tanpa ini, agen terasa rapuh dan tidak dapat dipercaya.

Memori harus diperlakukan sebagai komponen yang dapat disetel, bukan log pasif. Sistem yang meninjau pengalaman, belajar dari kesalahan, dan menyesuaikan perilakunya jauh lebih stabil.

Risiko Baru dari Sistem Adaptif

Adaptasi memperkenalkan risikonya sendiri. Agen dapat belajar mengoptimalkan metrik daripada tujuan, fenomena yang dikenal sebagai adaptasi parasit. Mereka mungkin tampak sukses sambil merusak tujuan yang mendasarinya. Dalam sistem multi-agen, alat yang dikompromikan dapat memanipulasi agen melalui injeksi prompt yang halus atau data yang menyesatkan. Untuk mengurangi risiko ini, agen memerlukan mekanisme verifikasi yang kuat. Tindakan harus dapat diuji, dapat dibalik, dan dapat diaudit. Lapisan keamanan antara agen dan alat memastikan bahwa kesalahan tidak merambat secara diam-diam.

Intinya

Agar AI Agenik bekerja di dunia nyata, ia tidak bisa hanya cerdas; ia harus mampu beradaptasi. Kebanyakan agen gagal hari ini karena mereka “beku” dalam waktu, sementara dunia nyata kompleks dan terus berubah. Jika sebuah AI tidak dapat memperbarui memoranya dan meningkatkan dari kesalahannya, ia pada akhirnya akan rusak. Keandalan tidak berasal dari demo yang sempurna; itu berasal dari kemampuan untuk beradaptasi.