AI agentik biasanya tidak mencadangkan data sebelum bertindak

Banyak materi yang saya telusuri setiap hari di Arxiv dan sumber lainnya terasa agak kering, bahkan bagi selera seorang kutu buku. Karena itu, saya selalu mencari publikasi yang mampu menggugah emosi saya sebagai pengguna, pendukung, atau korban AI.

Hari ini, sebuah kolaborasi akademis baru dari AS menjadi pemicu kemarahan saya. Kolaborasi ini mengkaji sejauh mana model AI frontier agentik membakar jembatan sebelum melakukan tindakan yang merusak—dan bertindak lebih cepat daripada Anda mengetik ‘STOP!’ (petunjuk: siapkan teks itu di papan klip).

Belakangan ini, hal seperti ini—yang diambil di luar konteks dari makalah baru tersebut—terjadi pada saya akibat kepatuhan buta terhadap instruksi ChatGPT. Saya juga tidak terpikir untuk menyalin seluruh lingkungan virtual terlebih dahulu:

Ditafsirkan dari makalah baru tersebut: momen yang membuat banyak dari kita cemas saat memasang kerangka kerja mutakhir, atau bahkan distribusi populer yang tidak memedulikan lingkungan nonstandar tempatnya mungkin digunakan. Sumber

Dalam contoh yang mengerikan dan terlalu akrab ini, robot tersebut punya alasan yang masuk akal: memeriksa semua kemungkinan dampak dari pemasangan pustaka baru dalam kerangka kerja yang rapuh dan tidak kenal kompromi bukanlah kebiasaan. Namun, makalah baru itu berpendapat bahwa mungkin hal tersebut seharusnya dilakukan. Sebagai orang yang masih sering menekan CTRL+S, bahkan di lingkungan penyimpanan otomatis yang dikonfigurasi untuk mengabaikan penekanan tombol itu (terima kasih, trauma kehilangan data sejak era 1990-an), saya harus setuju.

Alexey Grigorev, pendiri platform pendidikan DataTalks.Club, tentu akan lebih terbantu oleh sikap yang lebih penuh pertimbangan dan berhati-hati. Maret lalu, agen Claude Code miliknya menghapus infrastruktur produksi dan cadangan data saat migrasi server, sehingga data situs web selama dua setengah tahun hilang.

Insiden kecerobohan agen AI serupa lainnya belakangan ini mencakup agen Cursor yang menghapus basis data produksi dan cadangan data PocketOS, penyedia perangkat lunak persewaan mobil, pada April, sehingga pemesanan pelanggan terganggu selama lebih dari dua hari; serta agen email OpenClaw yang menghapus pesan dari kotak masuk seorang peneliti AI Meta pada Februari, meski telah berulang kali diperintahkan untuk berhenti.

Baik agentik maupun bukan, LLM frontier sangat kesulitan bertindak dengan penuh pertimbangan dan kehati-hatian. Upaya mengatasi masalah ini bahkan telah berkembang menjadi bahasan tersendiri dalam literatur.

Sempatkan Mencadangkan Data

Nah, para penulis makalah baru* tersebut telah mengembangkan plugin multiagen untuk kerangka kerja agentik. Plugin ini dapat beroperasi bersama AI tamu dan memaksanya membuat cadangan bila diperlukan:

Gambaran umum tentang masalah pencadangan yang diteliti dan solusi yang diusulkan. Dalam 205 skenario, enam model AI frontier hanya mencadangkan keadaan kritis pada 15,2% tugas. Sebaliknya, sistem BackUpper yang dikembangkan para peneliti mencakup setiap tindakan kritis, dengan data yang dipulihkan memiliki rata-rata kemiripan 92,2% dengan data asli (lihat di bawah untuk mengetahui mengapa mencapai 100% sulit).

Salah satu aspek paling mencolok dari studi baru ini adalah sejauh mana model frontier tidak mencadangkan data sebelum melakukan tindakan yang berpotensi berbahaya. Para peneliti menemukan bahwa GPT-5.6-Terra mencadangkan data kritis hanya dalam 4,4% kasus; GPT-5.6-Sol hanya dalam 5,9% kasus yang diuji; dan Gemini 3.7-Flash hanya dalam 2,4% kasus.

Bahkan model dengan kinerja terbaik, Claude Opus-5, gagal mencadangkan data kritis dalam lebih dari sepertiga kasus yang diuji.

Makalah tersebut menyatakan^†:

‘Di antara enam model frontier, agen menyelesaikan rata-rata 86,1% tugas, tetapi hanya mencadangkan keadaan sebelum momen yang berpotensi disesali dalam 15,2% tugas. GPT 5.6-Sol di Codex melakukannya hanya dalam 5,9% tugas, sedangkan DeepSeek V4-Pro di Hermes hanya dalam 2,9%.

‘Temuan ini menunjukkan bahwa kesadaran akan pencadangan masih terbatas pada agen saat ini dan bahwa dukungan pencadangan khusus diperlukan.’

Solusi para penulis, yang diberi nama BackUpper, bekerja bersama agen sebagai operasi bayangan di dalam kerangka kerja: sistem ini memeriksa tindakan yang akan dilakukan agen dan terlebih dahulu membuat cadangan jika ada risiko kehilangan sesuatu yang berguna.

Untuk operasi sehari-hari, seperti memperbarui perangkat lunak, sistem ini mengikuti serangkaian aturan sederhana. Untuk situasi yang lebih rumit, sistem memanggil model AI yang lebih kecil untuk menentukan apa yang perlu disimpan.

Dalam pengujian, BackUpper mencakup semua tindakan kritis, dengan data yang dipulihkan memiliki kemiripan 92,2% dengan data asli, dengan biaya tambahan $0,014 per tugas—jumlah yang tidak besar dalam konteks ini, tetapi pengeluaran yang signifikan bagi model bahasa besar terdepan yang melayani miliaran pelanggan; hal ini mungkin menjelaskan mengapa layanan eksternal semacam ini, atau penyertaan fungsionalitas serupa secara bawaan dalam kerangka kerja, lebih mungkin menjadi cara untuk memperbaiki situasi daripada berharap raksasa teknologi menghadirkan solusi bawaan (yang wajar diperkirakan akan membebankan biaya tambahan kepada konsumen, baik melalui kenaikan harga maupun inflasi token).

Kerangka kerja ini merujuk pada RegretBench, tolok ukur yang terdiri atas 205 tugas dan disusun berdasarkan kasus nyata ketika orang kehilangan data yang belakangan mereka harap telah disimpan. Tolok ukur ini menguji apakah agen AI memiliki wawasan ke depan untuk menyimpan data tersebut sebelum melakukan perubahan yang berpotensi tidak dapat dibatalkan. Insiden-insiden dalam kumpulan ini dihimpun dari diskusi dan laporan daring di berbagai platform, termasuk X.com, GitHub, dan Stack Overflow.

Skema tentang cara RegretBench mengubah insiden nyata menjadi skenario pengujian. Setiap kasus yang terdokumentasi direkonstruksi dengan menggunakan tindakan yang menyebabkan kehilangan data, lingkungan kerja yang realistis, dan serangkaian instruksi. Dalam contoh ini, peningkatan ipykernel secara diam-diam mengganti versi traitlets yang sudah ada, sehingga agen dapat menyelesaikan tugasnya—tetapi tidak menyisakan cara untuk memulihkan instalasi semula.

Meski angka 92% mungkin mengecewakan bagi mereka yang menginginkan hasil sempurna, para penulis mencatat bahwa ada kendala teknis dalam memulihkan jenis data tertentu:

‘Kesenjangan menuju pemulihan yang sempurna terutama disebabkan oleh dua hal. Beberapa kolom, seperti ID kiriman, biasanya dibuat ulang oleh layanan saat data ditulis dan sering kali tidak dapat direproduksi. Perbedaan lainnya berasal dari metadata kecil, seperti penanda status telah dibaca pada email, yang jarang menjadi bagian dari insiden kehilangan data yang disesali.’

Dalam pengujian, kemiripan dengan keadaan semula yang berhasil dipulihkan setelah kerusakan terjadi adalah 33,8%, dibandingkan dengan hanya 14,3% tanpa pemulihan.

Makalah tersebut menyatakan bahwa kepekaan terhadap kebutuhan pencadangan di masa mendatang dapat ditingkatkan melalui pelatihan, sementara versi BackUpper berikutnya dapat dilatih untuk melewati tindakan berisiko rendah dan memperluas perlindungan ke agen yang menggunakan web dan komputer.

BackUpper mendukung Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness, dan OpenClaw; para penulis juga telah menyediakan kode untuknya, beserta set data terkait (meski izin untuk mengaksesnya harus diminta melalui formulir). Informasi tambahan dan video penjelasan yang sangat singkat dan sederhana tersedia di situs proyek inisiatif tersebut.

Metode

Dalam menyusun RegretBench, data yang sudah dilindungi oleh sistem pencadangan bawaan agen sengaja dikecualikan agar kemampuan agen dalam menentukan kapan harus membuat cadangan dapat diuji. Skenario pengujian kemudian disusun dengan bantuan Claude Opus-5 dan GPT-5.6-Sol, lalu diperiksa secara manual untuk memastikan skenario tersebut berfungsi dan secara akurat mencerminkan insiden aslinya.

Sebanyak 205 pengujian RegretBench mencakup lima bidang: operasi terminal; basis data; aplikasi web; email; dan DevOps. Insiden yang digunakan terutama berasal dari platform pengembangan perangkat lunak dan produktivitas (44,4%); diskusi sosial atau komunitas (39%); serta arsip dan laporan media (16,6%):

Sumber insiden nyata dalam RegretBench, yang dibagi menjadi tiga kategori. 

Enam model terdepan yang dievaluasi adalah Claude Opus-5 dan Claude Sonnet-5 di Claude Code; GPT-5.6-Sol dan GPT-5.6-Terra di Codex; serta Gemini 3.7-Flash dan DeepSeek V4-Pro di Hermes.

Pengaturan pemikiran bawaan digunakan sepanjang pengujian, dan perlindungan pencadangan otomatis dibatasi pada snapshot ruang kerja—sehingga pencadangan tambahan apa pun dapat dianggap sebagai hasil keputusan agen sendiri.

Dua penilai AI, yang keduanya menggunakan Claude Sonnet-5, digunakan untuk menilai kinerja. Tingkat Kelulusan Tugas (PR) dihitung berdasarkan proporsi tugas yang seluruh permintaan penggunanya terpenuhi. Untuk menilai pencadangan, setiap perubahan di luar ruang kerja (OOW) diperiksa untuk memastikan bahwa informasi yang cukup telah disimpan sebelumnya agar pemulihan dapat dilakukan.

Metrik pencadangan yang digunakan adalah Regret Moment Backup Rate (RMBR), yang mencerminkan tindakan spesifik yang terkait dengan kehilangan data terdokumentasi; serta Tingkat Pencadangan di Luar Ruang Kerja (OWBR), yang mencerminkan semua perubahan yang dilakukan di luar direktori kerja agen.

Penilaian yang diberikan oleh evaluator pencadangan juga diperiksa dengan membandingkannya dengan anotasi manusia, dan hasilnya menunjukkan kesesuaian sebesar 95,3%.

Hasil

Untuk memastikan apakah rendahnya kesadaran akan pencadangan disebabkan oleh model AI atau kerangka kerja yang menjalankannya, Claude Opus-5, GPT-5.6-Sol, dan DeepSeek V4-Pro masing-masing lebih dahulu dievaluasi pada 60 tugas RegretBench di Claude Code, Codex, dan Hermes.

Proporsi tugas yang data pentingnya dicadangkan hanya sedikit berbeda di antara kerangka kerja, yang mengindikasikan bahwa model itu sendiri merupakan penyebab utamanya. Hubungan antara kemampuan AI secara umum dan kesadaran akan pencadangan juga diteliti dengan menggunakan GPT-5.4, GPT-5.5, dan GPT-5.6-Sol.

Meskipun kemampuan umum terus meningkat, tidak ditemukan peningkatan yang sepadan dalam kesadaran akan pencadangan:

Hasil pengujian RegretBench untuk enam model AI. Kiri: tingkat penyelesaian tugas dibandingkan dengan proporsi tindakan penting yang dicadangkan sebelumnya, menunjukkan tingkat keberhasilan yang tinggi tetapi kesadaran akan pencadangan yang rendah pada sebagian besar model. Kanan: rata-rata jumlah pemanggilan alat per tugas, dengan operasi pencadangan ditandai warna biru. Claude Opus-5 mencatat tingkat pencadangan tertinggi, tetapi 8,9% pemanggilan alatnya digunakan untuk pencadangan.

Hubungan antara kemampuan AI secara umum dan kesadaran akan pencadangan juga diteliti dengan menggunakan GPT-5.4, GPT-5.5, dan GPT-5.6-Sol. Meskipun kemampuan umum terus meningkat, tidak ditemukan peningkatan yang sepadan dalam kesadaran akan pencadangan.

BackUpper

BackUpper menyediakan empat tingkat perlindungan dengan biaya sumber daya yang berbeda-beda: Tingkat 1 mengganti perintah yang merusak dengan alternatif yang dapat dibatalkan, seperti memindahkan berkas ke tempat sampah; Tingkat 2 memasangkan operasi dengan perintah pencadangan, seperti mencatat versi paket sebelum pemutakhiran; Tingkat 3 membuat snapshot berkas ruang kerja yang terdampak; dan Tingkat 4 menggunakan subagen GPT-5.6-Luna untuk mengidentifikasi dan menyimpan data yang terdampak oleh operasi yang lebih rumit.

Dengan BackUpper aktif, setiap tindakan yang mengubah keadaan terlindungi pada keenam model. Sebagai perbandingan, tanpa BackUpper, rata-rata tingkat pencadangan hanya 15,2% untuk tindakan penting dan 17,4% untuk perubahan lainnya:

Cakupan pencadangan dan hasil pemulihan dengan BackUpper. Kiri: Batang biru dan oranye menunjukkan tingkat pencadangan setiap model untuk tindakan penting dan perubahan lain di luar ruang kerja. Garis putus-putus hijau tua menunjukkan akurasi pemulihan; garis titik-titik hijau muda menunjukkan cakupan pencadangan 100% dengan BackUpper. Kanan: Akurasi pemulihan di lima kategori alat dibandingkan menggunakan BackUpper (hijau), pemulihan setelahnya dengan Claude Opus-5 (ungu), dan tanpa pemulihan (abu-abu). BackUpper secara konsisten menghasilkan akurasi tertinggi.

Dari pencadangan yang dinilai berhasil oleh evaluator otomatis, 94% juga dinyatakan berhasil oleh peninjau manusia.

Kondisi awal berhasil dipulihkan dengan tingkat kemiripan rata-rata 92,2%, dibandingkan dengan 33,8% menggunakan Claude Opus-5 dan 14,3% tanpa pemulihan (lihat gambar di atas). Seperti disebutkan sebelumnya, perbedaan yang tersisa sebagian besar disebabkan oleh pengenal yang dibuat ulang dan metadata minor, termasuk penanda status telah dibaca pada email.

Kerjakan Sendiri..?

Ketika agen diberi instruksi terperinci untuk membuat pencadangan sendiri, 81,4% tindakan penting terlindungi, dibandingkan dengan 100% menggunakan BackUpper. Tiga perempat kegagalan disebabkan oleh pencadangan yang tidak memuat informasi memadai untuk pemulihan.

Tingkat pencadangan dibandingkan untuk lima pendekatan yang diuji pada 205 tugas dengan enam model AI. Bagan kiri menunjukkan pencadangan yang dilakukan sebelum tindakan yang kemudian disesali; bagan kanan menunjukkan perlindungan atas perubahan lain di luar ruang kerja. BackUpper mencapai cakupan penuh pada kedua kategori, dibandingkan dengan 81,4% dan 80,5% ketika agen diberi instruksi pencadangan terperinci.

Dengan penggunaan cache prompt, biaya pencadangan turun dari $0.344 menjadi $0.014 per tugas, dan latensi berkurang 31,7%. Jumlah token yang diperlukan menjadi tujuh kali lebih sedikit, terutama karena operasi rutin ditangani tanpa bantuan AI.

Pada 40 tugas tambahan dari Terminal-Bench 4 dan DeepSWE, cakupan pencadangan mencapai 100% dengan GPT-5.6-Sol dan Claude Opus-5, tanpa menurunkan tingkat penyelesaian tugas.

Tiga kebijakan pencadangan selektif yang dievaluasi adalah Dampak Tinggi, untuk perubahan signifikan; Di Luar Permintaan, untuk perubahan di luar instruksi pengguna; dan Pekerjaan Manusia, untuk materi yang ditulis manusia. Dalam evaluasi ini, skor F1 rata-rata sebesar 84,5% tercapai jika dibandingkan dengan penilaian manusia.

BackUpper juga diuji untuk mengetahui kemampuannya mempelajari aturan pencadangan yang dapat digunakan kembali. Setelah 30 tugas terminal tambahan, cakupan berbasis aturan meningkat dari 14,9% menjadi 31,2%, sehingga ketergantungan pada subagen GPT-5.6-Luna berkurang.

Kesimpulan

Saya mulai bereksperimen dengan AI agentik lebih lambat daripada seharusnya, mengingat pekerjaan saya; tetapi kondisi pengendalian diri AI agentik yang jelas-jelas masih pada tahap praalfa membuat saya gentar hingga beberapa minggu lalu, ketika akhirnya saya memutuskan untuk membiarkan Codex bekerja leluasa di mesin virtual Windows.

Bahkan dalam lingkungan VM, saya merumuskan instruksi dengan sangat cermat karena menyadari bahwa Astra cenderung bertindak terburu-buru tanpa kendali, lalu hanya meminta maaf ketika data sudah hilang atau kode telanjur rusak dan tak ada jalan untuk memulihkannya; salah satu bagian dari kerangka kerja Python yang saya kembangkan di sana adalah fungsi pencadangan inkremental sekali klik ‘simpan .7z ke folder bersama di jaringan’ , yang mengompresi dan mencadangkan seluruh kerangka kerja, dan yang sering saya gunakan.

Perkembangan AI agentik masih sangat, sangat dini; tanpa perhatian yang telaten dan saksama terhadap detail, yang terjadi adalah “gunakan, atau kehilangan semuanya”. Rezim pencadangan agentik belum diformalkan, bahkan belum dirumuskan.

* Berjudul Cadangkan Sebelum Menyesal: Mengukur Kesadaran akan Pencadangan dan Mengotomatiskan Pencadangan pada Agen Pengodean.

^† Penekanan oleh penulis, bukan saya; dan semua pranala saya ambil dari kutipan dalam teks oleh para penulis.

Pertama kali diterbitkan pada Kamis, 22 Oktober 2026