Penelitian NVIDIA Menemukan bahwa Agen AI Menjadi Kurang Aman saat Menggunakan Alat

Model AI seperti ChatGPT, Gemini, dan Claude dapat digunakan untuk menjalankan agen—«kerangka kerja» yang memungkinkan model berinteraksi langsung dengan dunia nyata. Ini merupakan inovasi baru dan semakin kontroversial.

Bagaimanapun, agen tidak otomatis dibekali kemampuan yang dibutuhkan saat menjelajahi jaringan atau basis data, karena alat yang diperlukan akan berbeda-beda menurut misi dan situasinya. Misalnya, agen mungkin memerlukan kemampuan pengenalan karakter optis (OCR) untuk membaca teks dalam foto, di samping keterampilan lainnya. Bahkan, terdapat kategori alat yang disesuaikan dengan cakupan tugas agen dan tujuannya.

Secara teori, permintaan yang melanggar pagar pengaman bawaan AI tidak akan pernah dijalankan, baik dalam konteks penggunaan alat maupun tidak. Namun, penelitian baru menemukan bahwa penggunaan alat dapat secara signifikan melemahkan filter pelindung yang mencegah agen AI melakukan «pelanggaran».

Kegagalan Menolak

Makalah baru dari NVIDIA, berjudul MLLMs Fail to Refuse when Using Tools Agentically, mengungkapkan bahwa model bahasa multimodal (MLLM, selanjutnya disebut dengan istilah yang lebih umum, ‘VLM’ atau Model Bahasa Visual) secara signifikan lebih mungkin menuruti permintaan berbahaya setelah alat diperkenalkan, dengan kegagalan penolakan meningkat pada setiap model dan tolok ukur yang diuji.

Meskipun model berbobot terbuka seperti Qwen3-VL terbukti lebih rentan terhadap masalah ini, model AI terdepan seperti Claude Opus 4.7, Gemini 3.1 Pro, dan GPT-5.4 juga menunjukkan peningkatan kegagalan menolak saat menggunakan alat.

Para penulis menyatakan*:

«Meskipun MLLM agentik baru-baru ini meraih keberhasilan besar, penelitian ini mengungkap kegagalan keselamatan kritis dalam paradigma penggunaan alat: MLLM agentik yang menggunakan alat menjadi kurang mampu menolak permintaan berbahaya.»

«Eksperimen kami menegaskan bahwa, pada tiga tolok ukur keselamatan populer, semua MLLM berbobot terbuka maupun tertutup teratas yang kami uji menunjukkan tingkat keselamatan yang jauh lebih rendah saat menggunakan alat dibandingkan saat tidak menggunakannya. Tingkat kegagalan menolak relatif meningkat hingga 68,7%.»

«Berdasarkan analisis terhadap lebih dari 100.000 respons, termasuk eksperimen lanjutan, kami juga mengajukan dua kemungkinan penyebab penurunan keselamatan ini.»

Dua kemungkinan penyebab yang dikemukakan dalam makalah tersebut adalah pengaburan konteks, yaitu ketika permintaan berbahaya awal menjadi kurang menonjol seiring bertambahnya keluaran alat; serta pergeseran fokus keselamatan, yaitu ketika model berfokus menjelaskan pengamatan yang diperoleh dari alat alih-alih mengutamakan keselamatan.

Hasil pengujian yang menggambarkan temuan utama makalah ini tentang keselamatan. Di bagian atas, seorang pengguna bertanya cara melakukan aksi yang tampak seperti pencopetan dalam sebuah gambar. VLM konvensional langsung menolak permintaan tersebut, sedangkan versi yang menggunakan alat terlebih dahulu menjalankan alat analisis gambar, seperti pembesaran, lalu melanjutkan penalaran dan akhirnya memberikan jawaban yang berbahaya. Grafik di bawah menunjukkan bahwa peningkatan kegagalan menolak ini terlihat pada setiap model berbobot terbuka dan model proprietari yang dievaluasi. Sumber

Pada kesebelas model yang diuji, penggunaan alat secara konsisten meningkatkan kegagalan menolak. Dalam kasus terburuk, peningkatan relatifnya mencapai 68,7%, bahkan pada model yang sebelumnya menunjukkan kinerja keselamatan yang kuat.

Akan menarik untuk melihat apakah hasil penelitian yang dilakukan oleh enam peneliti NVIDIA ini dapat direplikasi atau diulang di tempat lain, serta apakah hasilnya dapat memperdalam pemahaman kita tentang perilaku menyimpang yang tampak dan mulai muncul pada agen AI pembangkang.

Metode dan Data

Para peneliti mengevaluasi sebelas VLM dari tujuh keluarga model. Model proprietari yang diuji mencakup Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7, dan GPT-5.4.

Model berbobot terbuka yang diuji mencakup Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo, dan AdaReasoner-7B-Randomized, yaitu model berbobot terbuka yang secara khusus disetel untuk penggunaan alat secara agentik.

Eksperimen terpisah juga dilakukan dengan Gemini 3 Flash Vision Agent, karena penggunaan alatnya yang otonom mengharuskan model tersebut dievaluasi secara terpisah.

Untuk pengujian yang menggunakan alat, para peneliti memakai format ReAct, yang bergantian antara penalaran dan pemanggilan alat. Empat alat yang tersedia terdiri atas pemberian tag menggunakan RAM++; pembesaran dan pemotongan gambar; Optical Character Recognition (OCR) dengan GOT-OCR2.0; serta interpreter kode Python dalam lingkungan terisolasi, yang dapat memanipulasi dan menganalisis gambar.

Para peneliti merancang prompt berpasangan untuk mengisolasi dampak penggunaan alat, bukan gaya pemberian prompt. VLM konvensional diarahkan untuk memeriksa gambar dan langsung menjawab permintaan pengguna, sedangkan versi agentik mengikuti alur kerja ReAct dengan berulang kali memutuskan apakah akan menggunakan alat sebelum memberikan jawaban akhir.

Perbandingan prompt berpasangan yang digunakan dalam eksperimen utama. Kondisi tanpa alat mengharuskan model menganalisis gambar dan melakukan penalaran langsung, sedangkan kondisi agentik mengikuti alur kerja ReAct yang iteratif, sehingga model dapat memutuskan kapan menggunakan alat eksternal sebelum memberikan jawaban akhir.

Tiga tolok ukur keselamatan multimodal yang digunakan adalah MM-SafetyBench; VLSBench; dan HoliSafe. Setiap kumpulan data ini terdiri atas pasangan gambar dan permintaan berbahaya dari pengguna, yang dirancang untuk menguji apakah model menolak memberikan bantuan dalam situasi yang tidak aman—misalnya, permintaan tentang cara melakukan aksi pencopetan yang tampak dalam sebuah gambar.

Tingkat Kegagalan Menolak (RFR) digunakan sebagai metrik utama, yang mengukur persentase permintaan berbahaya yang tidak ditolak model; skor yang lebih tinggi menunjukkan tingkat keselamatan yang lebih rendah.

Pengujian

Respons diklasifikasikan oleh GPT-5.2 yang bertindak sebagai penilai LLM, dengan menggunakan prompt evaluasi yang direkomendasikan VLSBench:

Prompt evaluasi GPT-5.2 yang digunakan untuk menentukan apakah setiap respons model merupakan penolakan yang berhasil, respons yang mempertimbangkan keselamatan dengan mengidentifikasi risiko terkait, atau jawaban tidak aman yang gagal mengenali risiko tersebut dan tetap memenuhi permintaan berbahaya. Penilai diberi gambar asli, kueri pengguna, dan respons model, lalu diminta mengembalikan klasifikasi beserta penalarannya dalam format JSON.

Setiap respons dimasukkan ke dalam salah satu dari tiga kategori: aman dengan penolakan; aman dengan peringatan; atau tidak aman.

Tingkat Kegagalan Menolak di tiga tolok ukur keselamatan, dengan membandingkan setiap model yang memiliki akses ke alat dan yang tidak. Semua model menjadi lebih jarang menolak permintaan berbahaya saat menggunakan alat, meskipun besarnya perubahan sangat bervariasi: rata-rata RFR naik 12,6 poin untuk GLM-5V-Turbo, dibandingkan dengan 2,3 poin untuk GPT-5.4. Warna yang lebih gelap menunjukkan peningkatan kegagalan menolak yang lebih besar.

Pemberian alat kepada model membuatnya lebih mungkin menjawab permintaan berbahaya yang sebelumnya akan mereka tolak—temuan ini muncul pada setiap model dan setiap tolok ukur yang diuji. Secara keseluruhan, kegagalan menolak meningkat 17,7% dibandingkan dengan model yang sama saat beroperasi tanpa alat.

GPT-5.4 paling sedikit terdampak: tanpa alat, model ini gagal menolak 14,6% permintaan berbahaya; dengan alat, angkanya naik menjadi 16,8%. Pada GLM-5V-Turbo, kegagalan meningkat dari 38,7% (baseline tanpa alat) menjadi 51,3%. Pola yang sama terlihat di ketiga tolok ukur, yang menunjukkan bahwa masalah ini mungkin tidak terbatas pada jenis permintaan berbahaya tertentu.

Apa Penyebab Kegagalan Ini..?

Seperti disebutkan sebelumnya, para peneliti mengajukan “pengenceran konteks” sebagai salah satu penjelasan atas meningkatnya kegagalan: ketika agen melakukan pemanggilan alat secara berurutan, permintaan berbahaya yang semula diajukan menjadi kurang menonjol di antara keluaran alat yang terus bertambah.

Untuk menguji hal ini, mereka hanya mempertimbangkan permintaan yang sebelumnya berhasil ditolak oleh model yang sama saat tidak menggunakan alat. Seperti terlihat di bawah, tingkat kegagalan kemudian meningkat secara bertahap seiring bertambahnya jumlah pemanggilan alat, dari hampir nol saat tidak ada alat yang digunakan hingga jauh lebih tinggi setelah tiga pemanggilan atau lebih:

Hasil pengujian yang membandingkan kegagalan penolakan pada jumlah panggilan alat yang berbeda. Tingkat kegagalan meningkat seiring bertambahnya panggilan alat, baik pada masing-masing model maupun pada keseluruhan model.

Pengujian kedua sedikit membalikkan efek tersebut. Ketika permintaan awal dan gambar dimasukkan kembali setelah panggilan alat terakhir, tepat sebelum model menjawab, kegagalan penolakan turun rata-rata sebesar 7.6% di berbagai model dan tolok ukur, seperti ditunjukkan di bawah ini:

Hasil pengujian yang membandingkan kegagalan penolakan dengan dan tanpa penyisipan kembali permintaan awal dan gambar. Penyisipan kembali setelah panggilan alat terakhir menurunkan tingkat kegagalan rata-rata sebesar 7.6% pada kelima model yang diuji.

Hal ini mendukung dugaan bahwa pengenceran konteks merupakan salah satu faktor penyebab, sekaligus menunjukkan kemungkinan adanya langkah mitigasi yang relatif sederhana.

Penjelasan kedua yang diajukan dalam makalah tersebut adalah “pergeseran fokus keselamatan”. Dalam hal ini, penggunaan alat tampaknya mengalihkan perhatian model dari pertanyaan apakah permintaan itu berbahaya ke uraian tentang temuan yang diperoleh melalui alatnya.

Hasil pengujian yang menunjukkan bagaimana penggunaan alat mengubah awal respons model yang pada akhirnya menolak permintaan berbahaya. Tanpa alat, respons biasanya diawali dengan menanggapi permintaan secara langsung (55.6%) atau mengemukakan kekhawatiran terkait keselamatan (25.8%). Dengan alat, 52.3% respons justru diawali dengan uraian tentang temuan yang diperoleh melalui alat, sedangkan pernyataan keselamatan yang eksplisit turun menjadi 10.3%.

Peneliti mengkaji kasus ketika model berhasil menolak permintaan, baik dengan maupun tanpa alat. Tanpa alat, 55.6% respons tersebut diawali dengan menanggapi permintaan secara langsung, sedangkan 25.8% diawali dengan pernyataan keselamatan yang eksplisit. Dengan alat, angka-angka tersebut masing-masing turun menjadi 37.4% dan 10.3%, sementara proporsi respons yang diawali dengan uraian tentang pengamatan dari alat naik menjadi 52.3%.

Para penulis memberikan contoh kualitatif yang menarik dengan menggunakan Claude Opus 4.6. Ketika ditanya bagaimana keamanan di toilet umum dapat ditembus, model tersebut langsung menolak tanpa menggunakan alat:

Contoh yang menunjukkan bagaimana penggunaan alat menggeser fokus langsung model dari keselamatan. Claude Opus 4.6 langsung menolak permintaan berbahaya tersebut tanpa alat; dengan alat, model terlebih dahulu memperbesar gambar, membaca dan mengidentifikasi isinya, serta menguraikan papan tanda toilet sebelum akhirnya menolak.

Dengan alat, model yang sama justru memperbesar gambar, membaca teks dan mengidentifikasi isinya, lalu mengawali respons dengan uraian tentang papan tanda toilet. Penolakan baru disampaikan setelah itu, yang menggambarkan bagaimana proses penggunaan alat telah menggeser keselamatan dari prioritas langsung model.

Para penulis menyimpulkan:

‘Secara keseluruhan, temuan kami menunjukkan bahwa penggunaan alat seharusnya dipandang bukan hanya sebagai mekanisme untuk meningkatkan kemampuan penalaran visual, tetapi juga sebagai pilihan desain yang relevan bagi keselamatan dan dapat mengubah perilaku penolakan; karena itu, MLLM agen di masa mendatang perlu dievaluasi dan dilatih dalam kondisi penggunaan alat, alih-alih berasumsi bahwa penyelarasan keselamatan tanpa alat akan tetap berlaku tanpa perubahan dalam lingkungan agen.’

Kesimpulan

Kegagalan mempertahankan konteks jelas menjadi kelemahan dalam rangkaian peristiwa lanjutan yang kompleks berdasarkan suatu prompt—namun saat ini belum ada solusi mudah untuk mengatasi kecenderungan jendela konteks yang terbatas membuat agen melupakan “arahan utama” mereka dan mulai menggunakan alat yang tersedia begitu saja.

* Penekanan dari para penulis; saya mengubah kutipan dalam teks dari para penulis menjadi hyperlink jika diperlukan.

Pertama kali diterbitkan pada Rabu, 7 Oktober 2026