Mengapa Agentic AI Masih Gagal di Dunia Nyata

Beberapa tahun terakhir, kita telah menyaksikan sistem agentic AI yang menghasilkan demonstrasi yang mengesankan. Mereka menulis kode yang lulus tes kasus. Mereka mencari di web dan menjawab pertanyaan yang kompleks. Mereka menavigasi antarmuka perangkat lunak dengan akurasi yang mengesankan. Setiap presentasi konferensi, setiap rilis pers, setiap laporan benchmark menyoroti munculnya agentic AI.

Namun, ada masalah yang tersembunyi di balik demonstrasi yang mengesankan ini. Ketika sistem yang sama pindah dari lingkungan yang terkendali ke penggunaan dunia nyata, mereka sering gagal dengan cara yang tidak pernah diprediksi oleh benchmark. Generator kode yang bekerja dengan sempurna pada 100 contoh yang dipilih dengan hati-hati mulai menghasilkan kesalahan pada kasus yang tidak pernah mereka lihat sebelumnya. Agen pencarian web yang mencapai akurasi 85% di laboratorium mengambil hasil yang semakin tidak relevan ketika perilaku pengguna berubah. Sistem perencanaan yang mengkoordinasikan 10 panggilan API dengan sempurna selama pengujian rusak ketika mereka menghadapi format respons API yang tidak terduga.

Sistem ini gagal tidak karena mereka kekurangan kecerdasan, tetapi karena mereka kekurangan adaptasi. Masalahnya terletak pada bagaimana agen AI belajar dan menyesuaikan diri. Meskipun sistem canggih dibangun pada model fondasi yang besar, kecerdasan murni saja tidak cukup. Untuk melakukan tugas yang spesifik, agen harus dapat menyesuaikan diri. Sistem agentic AI saat ini tidak dapat melakukan ini karena keterbatasan struktural dalam desain dan pelatihan mereka. Dalam artikel ini, kita menjelajahi keterbatasan ini dan mengapa mereka bertahan.

Ilusi Kemampuan dalam Demo

Mode kegagalan paling berbahaya dalam AI modern adalah ilusi kemampuan. Demonstrasi singkat sering menyembunyikan kompleksitas yang sebenarnya. Mereka beroperasi pada dataset yang bersih, API yang dapat diprediksi, dan ruang tugas yang sempit. Lingkungan produksi adalah kebalikannya. Database tidak lengkap, skema berubah tanpa pemberitahuan, layanan timeout, konflik izin, dan pengguna mengajukan pertanyaan yang melanggar asumsi dasar sistem.

Ini adalah tempat di mana kompleksitas produksi meningkat secara signifikan. Kasus yang muncul sekali dalam demo mungkin muncul ribuan kali per hari dalam penerapan. Kesalahan probabilistik kecil menumpuk. Agen yang “sebagian besar benar” dengan cepat menjadi tidak dapat diandalkan dalam operasi nyata.

Di inti masalahnya adalah ketergantungan pada model fondasi yang beku. Model ini unggul dalam penyelesaian pola, tetapi perilaku agen adalah berurutan dan memiliki status. Setiap tindakan bergantung pada hasil tindakan sebelumnya. Dalam pengaturan seperti itu, ketidakpastian statistik menumpuk dengan cepat. Kesalahan kecil di awal tugas dapat berubah menjadi loop, jalan buntu, atau tindakan destruktif kemudian. Ini adalah mengapa agen yang tampaknya mampu selama evaluasi sering kali memburuk dengan cepat setelah diterapkan.

Masalahnya bukanlah fitur yang hilang. Ini adalah model umum yang diminta untuk berperilaku seperti spesialis domain tanpa diizinkan untuk belajar dari lingkungannya.

Dari Kecerdasan Umum ke Kompetensi yang Terletak

Model fondasi adalah umum oleh desain. Mereka mengkodekan pengetahuan yang luas dan pola penalaran yang fleksibel. Agen produksi, bagaimanapun, harus bersifat situasional. Mereka perlu memahami aturan, keterbatasan, dan mode kegagalan khusus dari suatu organisasi dan alatnya. Tanpa ini, mereka menyerupai seseorang yang telah membaca setiap manual tetapi tidak pernah bekerja sehari pun di pekerjaan.

Mengatasi kesenjangan ini memerlukan pemikiran ulang tentang adaptasi itu sendiri. Metode saat ini jatuh ke dalam dua kategori yang luas, cacat: pelatihan ulang agen AI itu sendiri, atau menyesuaikan alat eksternal yang digunakannya. Setiap pendekatan memecahkan satu masalah sambil menciptakan yang lain. Ini meninggalkan kita dengan sistem yang terlalu kaku, terlalu mahal, atau terlalu tidak stabil untuk lingkungan produksi di mana konsistensi dan biaya menjadi penting.

Perangkap Agen Monolitik

Pendekatan pertama, Adaptasi Agen, mencoba membuat inti LLM lebih pintar dalam menggunakan alat. Ini pada dasarnya mengajarkan AI keterampilan khusus yang dibutuhkan untuk menggunakan alat. Peneliti mengkategorikan ini lebih lanjut ke dalam dua kelas. Beberapa metode melatih agen menggunakan umpan balik langsung dari alat, seperti keberhasilan compiler kode atau hasil mesin pencari. Yang lain melatihnya berdasarkan kebenaran output akhir, seperti jawaban yang benar atau salah.

Sistem seperti DeepSeek-R1 dan Search-R1 menunjukkan bahwa agen dapat belajar strategi yang kompleks dan multi-langkah untuk penggunaan alat. Namun, kekuatan ini datang dengan biaya yang signifikan. Melatih model dengan parameter miliaran adalah ekstravagant secara komputasi. Lebih kritis, ini menciptakan kecerdasan yang kaku dan rapuh. Dengan menggabungkan pengetahuan agen dan aturan penggunaan alat, pendekatan ini membuat pembaruan menjadi lambat, berisiko, dan tidak cocok untuk kebutuhan bisnis yang berubah dengan cepat. Menyesuaikan agen dengan tugas atau alat baru berisiko “lupa bencana,” di mana mereka kehilangan keterampilan yang telah dikuasai sebelumnya. Ini seperti membutuhkan membangun kembali seluruh jalur perakitan pabrik setiap kali Anda ingin menambahkan widget baru.

Masalah Toolbox yang Rapuh

Mengakui keterbatasan ini, pendekatan kedua utama, Adaptasi Alat, meninggalkan agen inti beku dan sebaliknya mengoptimalkan alat dalam ekosistemnya. Ini lebih modular dan efektif biaya. Beberapa alat dilatih secara umum, seperti pengambil pencarian standar, dan dimasukkan. Yang lain secara khusus disesuaikan untuk melengkapi agen beku, belajar dari outputnya untuk menjadi pembantu yang lebih baik.

Paradigma ini memiliki janji besar untuk efisiensi. Studi ciri-ciri sistem yang disebut s3 menunjukkan potensi pendekatan ini. Ini melatih “pencari” kecil yang disesuaikan untuk mendukung LLM beku, mencapai kinerja yang setara dengan agen yang dilatih ulang sepenuhnya seperti Search-R1 tetapi menggunakan 70 kali lebih sedikit data pelatihan. Intuisinya adalah mengapa melatih fisikawan jenius untuk menggunakan katalog perpustakaan? Sebaliknya, latih pustakawan yang lebih baik yang memahami kebutuhan fisikawan.

Namun, model toolbox memiliki keterbatasannya sendiri. Kemampuan sistem secara keseluruhan pada akhirnya dibatasi oleh penalaran bawaan LLM yang beku. Anda dapat memberikan skalpel yang lebih tajam kepada seorang ahli bedah, tetapi Anda tidak dapat membuat seseorang yang bukan ahli bedah melakukan operasi jantung. Selain itu, mengatur kumpulan alat adaptif yang tumbuh menjadi tantangan integrasi yang kompleks. Alat A mungkin mengoptimalkan satu metrik yang melanggar persyaratan input Alat B. Kinerja sistem kemudian bergantung pada keseimbangan yang rapuh antara komponen yang terhubung.

Tantangan Ko-Adaptasi

Ini membawa kita ke inti defisit adaptasi dalam paradigma agentic AI saat ini. Kita baik mengadaptasi agen atau alat, tetapi tidak keduanya dengan cara yang sinkron dan stabil. Lingkungan produksi tidak statis. Data baru, persyaratan pengguna baru, dan alat baru terus muncul. Sistem AI yang tidak dapat berkembang dengan lancar dan aman baik “otak” maupun “tangan” akan pada akhirnya gagal.

Peneliti mengidentifikasi kebutuhan akan ko-adaptasi sebagai frontier berikutnya. Namun, ini adalah tantangan yang kompleks. Jika agen dan alatnya belajar secara bersamaan, siapa yang mendapatkan kredit atau kesalahan untuk kegagalan? Bagaimana Anda mencegah loop umpan balik yang tidak stabil di mana agen dan alat saling mengejar perubahan tanpa meningkatkan kinerja secara keseluruhan? Upaya awal untuk ini, seperti memperlakukan hubungan agen-alat sebagai sistem agen multi-koperatif, menunjukkan kesulitan. Tanpa solusi yang kuat untuk penugasan kredit dan stabilitas, bahkan agentic AI paling canggih kita tetap menjadi kumpulan kemampuan yang mengesankan tetapi tidak terhubung.

Memori sebagai Sistem Kelas Pertama

Salah satu tanda paling terlihat dari defisit adaptasi adalah memori statis. Banyak agen yang diterapkan tidak membaik seiring waktu. Mereka mengulangi kesalahan yang sama karena mereka tidak dapat menginternalisasi pengalaman. Setiap interaksi diobati sebagai jika itu pertama kali.

Lingkungan produksi menuntut memori adaptif. Agen memerlukan pengingatan episodik untuk menangani tugas horizon panjang, memori strategis untuk memperbarui rencana, dan memori operasional untuk menghindari mengulangi kegagalan. Tanpa ini, agen terasa rapuh dan tidak dapat dipercaya.

Memori harus diperlakukan sebagai komponen yang dapat disesuaikan, bukan log pasif. Sistem yang mengulas pengalaman, belajar dari kesalahan, dan menyesuaikan perilaku mereka jauh lebih stabil.

Risiko Baru dari Sistem Adaptif

Adaptasi memperkenalkan risiko tersendiri. Agen dapat belajar untuk mengoptimalkan metrik daripada tujuan, fenomena yang dikenal sebagai adaptasi parasit. Mereka mungkin tampak sukses sementara mengunderminasi tujuan dasar. Dalam sistem multi-agen, alat yang rusak dapat manipulasi agen melalui injeksi prompt halus atau data menyesatkan. Untuk memitigasi risiko ini, agen memerlukan mekanisme verifikasi yang kuat. Tindakan harus dapat diuji, dapat dibalik, dan dapat diaudit. Lapisan keamanan antara agen dan alat memastikan bahwa kesalahan tidak menyebar secara diam-diam.

Garisan Bawah

Untuk Agentic AI bekerja di dunia nyata, itu tidak hanya harus cerdas; itu harus dapat beradaptasi. Sebagian besar agen gagal hari ini karena mereka “beku” dalam waktu, sementara dunia nyata kompleks dan terus berubah. Jika AI tidak dapat memperbarui memori dan memperbaiki kesalahan, itu akan pada akhirnya gagal. Keandalan tidak datang dari demo yang sempurna; itu datang dari kemampuan untuk beradaptasi.