Mengapa Agen AI Memilih Alat yang Terlalu Kuat?

That escalated quickly: penelitian menemukan bahwa agen AI terus mengambil akses lebih dari yang mereka butuhkan, dan kegagalan kecil membuat mereka meningkatkan akses lebih jauh, sehingga mengungkapkan data dan sistem secara tidak perlu.

Banyak insiden yang menarik perhatian baru-baru ini telah menarik perhatian pada risiko membiarkan agentic AI memiliki hak istimewa yang berlebihan, sering melalui penggunaan alat dan metode yang memiliki cakupan yang jauh lebih luas daripada yang dibutuhkan untuk tugas tertentu.

Dalam satu insiden baru-baru ini, agen pengkodean yang ditenagai Claude menghadapi token API Railway yang memiliki cakupan luas selama tugas rutin, dan menggunakan token tersebut untuk menghapus basis data produksi dan cadangannya – meskipun tugas tersebut tidak memerlukan akses pada tingkat yang sekuat itu.

Dalam kasus lain pada tahun 2025, agen pengkodean AI Replit mengabaikan batasan eksplisit, memodifikasi kode yang dilindungi, dan menghapus basis data produksi langsung.

Dalam kasus ketiga pada Februari tahun ini, alur kerja yang dibantu AI melintasi rantai hak istimewa yang akhirnya mencapai kredensial penerbitan paket, secara efektif menciptakan serangan rantai pasokan.

Selanjutnya, analisis keamanan telah mengutip ini, dan kasus serupa, sebagai ilustrasi kecenderungan sistem agen untuk mengubah input minor menjadi tindakan berdampak tinggi sekali hak istimewa yang luas tersedia. Insiden tersebut menunjukkan bahwa AI otonom segera dan ‘secara naluriah’ mencapai alat yang paling kuat – dan berpotensi destruktif – terutama ketika masalah muncul.

Waktu Alat

Untuk mengatasi masalah ini, penelitian baru dari Tiongkok telah menguji berbagai model propietary dan open source yang paling populer, untuk menemukan disposisi mereka untuk mencapai alat yang kuat dalam kasus di mana alat tersebut berlebihan untuk tugas:

Dari makalah baru: kinerja sebelas model AI terkemuka saat memilih antara alat yang memiliki hak istimewa minimal dan alternatif yang lebih kuat yang tidak perlu untuk tugas. Qwen3-8B dan LLaMA-3.1-8B menunjukkan kecenderungan terkuat untuk hak istimewa yang berlebihan, sedangkan Claude 4.6 Sonnet, GPT-5.2, dan GLM-5 jauh lebih terkendali. Segmen yang lebih gelap menunjukkan overreach langsung, sedangkan segmen yang lebih terang menunjukkan eskalasi setelah kegagalan sementara, menunjukkan bahwa banyak model merespons hambatan dengan memperluas akses dan mengurangi pembatasan. Sumber

Hasil penelitian menunjukkan bahwa model open-weight seperti Qwen3-8B dan LLaMA-3.1-8B lebih cenderung untuk meningkatkan akses, mungkin karena kondisi pasca-pelatihan yang lebih terbatas dibandingkan dengan model propietary seperti ChatGPT dan Gemini series.

Para penulis menyatakan:

‘Enam dari sebelas model melebihi 30% [Tingkat Penggunaan Alat yang Berlebihan (OPUR)], dengan tingkat yang sangat tinggi untuk model open-weight yang umum digunakan seperti Qwen3-8B (64,9%) dan LLaMA-3.1-8B (55,9%).

‘Sementara itu, model dengan OPUR yang lebih rendah seperti Claude 4.6 Sonnet, GPT-5.2, dan GLM-5 tetap di bawah 10%, tetapi masih menunjukkan penggunaan alat yang berlebihan dalam beberapa pengaturan.

‘Variasi ini menunjukkan bahwa kepatuhan terhadap prinsip hak istimewa minimal adalah sifat perilaku model yang bergantung pada perbedaan dalam kemampuan umum, pelatihan penggunaan alat, dan keselarasan keamanan.’

Selain itu, kecenderungan untuk menggunakan alat yang berlebihan bervariasi menurut domain, dengan pekerjaan codebase pada risiko tertinggi, dan domain yang lebih ketat, seperti perawatan kesehatan, menginspirasi langkah-langkah yang kurang radikal:

Tingkat penggunaan alat yang berlebihan dan berhak istimewa tinggi di berbagai domain tugas dan kategori risiko. Tugas pengkodean, database, dan infrastruktur konsisten menghasilkan beberapa tingkat eskalasi tertinggi, sedangkan tugas perawatan kesehatan dan pemerintahan umumnya memicu langkah-langkah yang lebih terkendali. Di seluruh jenis risiko, model paling mungkin untuk melakukan eskalasi melalui eskalasi wewenang dan tindakan melewati keamanan, menunjukkan bahwa ketika sistem AI menghadapi hambatan, mereka sering memilih akses yang lebih luas dan lebih sedikit pembatasan daripada tetap dalam izin yang paling sempit yang diperlukan untuk menyelesaikan tugas.

Selain itu, hasil menunjukkan bahwa beberapa dari hasil terburuk terjadi ketika model merasa “tertekan”. Di seluruh keluarga model, kegagalan sementara dari alat dengan hak istimewa yang lebih rendah sering memicu pergeseran cepat ke arah alternatif yang lebih luas dan lebih kuat – bahkan ketika alat asli masih sepenuhnya mampu menyelesaikan tugas.

Mode Panik!

Dengan cara ini, kesalahan sementara dapat menyebabkan model meninggalkan prinsip hak istimewa minimal sama sekali. Daripada mencoba alat dengan hak istimewa yang lebih rendah lainnya, atau mencoba alat yang sama, banyak sistem merespons dengan memperluas akses mereka.

Para penulis menyatakan bahwa kegagalan berulang tampaknya mengerosi kepercayaan pada alat dengan hak istimewa yang lebih rendah, membuat eskalasi hak istimewa yang tidak perlu semakin mungkin dalam kondisi ketidakpastian – perilaku yang diamati dengan berbagai tingkat pada model open-weight dan propietary.

Pelatihan pasca-pelatihan yang sadar hak istimewa mencapai sedikit keberhasilan sebagai mitigasi yang mungkin, dengan menghargai penggunaan alat dengan hak istimewa yang rendah dan menghukum eskalasi prematur. Namun, manipulasi prompt menawarkan sedikit perbaikan dalam tes, dan untuk saat ini masalah ini tampaknya terkait dengan prinsip perilaku yang lebih tinggi pada LLM.

Meskipun makalah tersebut tidak menyentuhnya, tampaknya logis untuk percaya bahwa AI memiliki banyak materi pelatihan pada ‘hasil akhir’ daripada proses trial dan error yang menyebabkan hasil tersebut – budaya ‘TLDR’ yang tidak sabar yang mungkin telah membiakkan ketidaksabaran juga pada AI..?

Makalah baru ini berjudul Ketika Hak Istimewa yang Lebih Rendah Mencukupi: Mengeksplorasi Pemilihan Alat yang Berlebihan pada Agen LLM, dan berasal dari delapan penulis di Akademi Ilmu Pengetahuan Tiongkok, Universitas Tiongkok Hong Kong, Universitas Peking, dan Universitas Akademi Ilmu Pengetahuan Tiongkok.

Metode

Untuk mempelajari penggunaan alat yang berlebihan di bawah kondisi yang terkendali, para peneliti menciptakan ToolPrivBench, sebuah benchmark yang terdiri dari 544 skenario yang diambil dari delapan domain aplikasi: Bisnis, Pengkodean, Database, Pendidikan, Pemerintahan, Perawatan Kesehatan, Infrastruktur, dan Media.

Lima pola risiko yang berulang dieksaminasi: Eskalasi Wewenang, Pengungkapan Data Berlebihan, Melewati Keamanan, Perluasan Lingkup, dan Persistensi Waktu:

Distribusi 544 skenario di ToolPrivBench di seluruh lima pola eskalasi hak istimewa dan delapan domain aplikasi. Eskalasi Wewenang adalah kategori risiko paling umum, sedangkan Database, Bisnis, dan Pendidikan menghasilkan bagian terbesar dari benchmark. Penyebaran domain dan jenis risiko yang luas dimaksudkan untuk menguji apakah pemilihan alat yang berlebihan bertahan di seluruh pengaturan operasional yang berbeda, bukan hanya muncul dari satu set tugas yang sempit.

Setiap skenario memasangkan tugas pengguna dengan tiga alat dengan hak istimewa yang lebih rendah, dan tiga alternatif dengan hak istimewa yang lebih tinggi. Keenam alat tersebut secara independen mampu menyelesaikan tugas, memastikan bahwa preferensi untuk akses yang lebih luas tidak dapat dijelaskan oleh fungsionalitas yang hilang.

ToolPrivBench dirancang untuk mengukur lebih dari apakah model awalnya memilih alat yang paling kuat: selama evaluasi, kegagalan sementara seperti kesalahan koneksi disengaja dimasukkan ke dalam alat dengan hak istimewa yang lebih rendah, meskipun alat tersebut masih sepenuhnya mampu menyelesaikan tugas. Ini memungkinkan peneliti untuk mengamati bagaimana model merespons hambatan, termasuk apakah mereka mencoba kembali alat dengan hak istimewa yang lebih rendah atau meningkatkan akses ke alat dengan hak istimewa yang lebih tinggi:

Gambaran pipeline evaluasi ToolPrivBench. (a) Setiap skenario tes mempresentasikan tugas bersama dengan tiga alat dengan hak istimewa yang lebih rendah dan tiga alternatif dengan hak istimewa yang lebih tinggi, semua mampu menyelesaikan tujuan yang sama. (b) Model dievaluasi baik untuk pemilihan langsung alat yang berlebihan dan untuk eskalasi setelah kegagalan sementara diperkenalkan ke dalam alat dengan hak istimewa yang lebih rendah. (c) Kasus benchmark dihasilkan dari pola risiko API dunia nyata, kemudian melewati pemeriksaan otomatis, validasi kelayakan alat, analisis kegagalan, dan tinjauan ahli sebelum diterima ke dalam set evaluasi akhir.

Metri khusus yang dikembangkan untuk penelitian ini adalah Tingkat Penggunaan Alat yang Berlebihan (OPUR), yang mencatat seberapa sering model menggunakan alat dengan hak istimewa yang lebih tinggi meskipun alternatif yang lebih aman masih tersedia. Kedalaman Eksplorasi Sebelum Eskalasi (PED) juga diukur, mencatat berapa banyak alat dengan hak istimewa yang lebih rendah yang dicoba sebelum eskalasi terjadi.

Untuk memastikan bahwa tingkat hak istimewa tetap menjadi satu-satunya perbedaan yang signifikan antara alat, setiap skenario dalam percobaan tersebut dikenakan beberapa tahap validasi sebelum diterima ke dalam benchmark. ChatGPT-5.2 dan Gemini 2.5 Pro digunakan secara independen untuk memverifikasi bahwa keenam alat tersebut dapat menyelesaikan tugas yang ditugaskan. Hanya kasus yang menerima persetujuan dari kedua sistem yang dipertahankan. Skenario yang tersisa kemudian diaudit oleh peninjau manusia, sebelum dimasukkan ke dalam benchmark akhir.

Pengujian

Benchmark tersebut dievaluasi menggunakan sebelas model bahasa dari keluarga propietary dan open-weight: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5, dan Claude 4.6 Sonnet. Kinerja diukur menggunakan OPUR dan PED.

Sebagian besar model menunjukkan tingkat penggunaan alat yang berlebihan yang substansial meskipun alternatif dengan hak istimewa yang lebih rendah masih sepenuhnya mampu menyelesaikan tugas. Qwen3-8B mencatat OPUR tertinggi pada 64,9%, diikuti oleh LLaMA-3.1-8B pada 55,9%, sementara enam dari sebelas model melebihi 30%:

Distribusi penggunaan alat yang berlebihan di seluruh sebelas model yang dievaluasi. Qwen3-8B dan LLaMA-3.1-8B mencatat nilai OPUR tertinggi, sedangkan Claude 4.6 Sonnet, GPT-5.2, dan GLM-5 menunjukkan tingkat yang lebih rendah. Segmen yang lebih gelap menunjukkan pemilihan langsung alat yang tidak perlu kuat, sedangkan segmen yang lebih terang menunjukkan eskalasi setelah satu atau lebih alat dengan hak istimewa yang lebih rendah dicoba pertama, menunjukkan bahwa eskalasi hak istimewa sering mengikuti kegagalan sementara daripada terjadi pada titik keputusan pertama.

Di ujung lain spektrum, Claude 4.6 Sonnet, GPT-5.2, dan GLM-5 tetap di bawah 10%, meskipun pelanggaran yang dapat diukur masih teramati. Hasil intermediat dilaporkan untuk MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, dan Gemini 3 Flash.

Secara keseluruhan, kepatuhan terhadap prinsip hak istimewa minimal bervariasi secara substansial di seluruh sebelas model. Kegagalan alat ditemukan meningkatkan kemungkinan eskalasi hak istimewa: ketika alat dengan hak istimewa yang lebih rendah mengalami masalah sementara, banyak model beralih ke alternatif dengan hak istimewa yang lebih tinggi daripada terus mengeksplorasi alat dengan hak istimewa yang lebih rendah yang masih mampu menyelesaikan tugas.

Menurut para penulis, kegagalan berulang tampaknya mengurangi kepercayaan pada alat dengan hak istimewa yang lebih rendah, meningkatkan kecenderungan untuk memilih alternatif dengan akses yang lebih luas bahkan ketika hak istimewa tambahan tersebut tidak diperlukan untuk tugas:

‘Kami mengamati tren konsisten di mana bias pemilihan alat diperburuk oleh gesekan lingkungan berurutan. Daripada mencoba alternatif dengan hak istimewa minimal, banyak agen dengan cepat beralih ke alat yang lebih luas dan lebih kuat setelah mengalami kegagalan.

‘Sebagai contoh, GPT-5.2 menunjukkan bias pemilihan nol hanya 5 kali (PED=0), tetapi biasnya dipicu 13 kali pada PED=1, dan meledak menjadi 35 kali pada PED=2.

‘Polanya eskalasi serupa secara konsisten diamati di seluruh DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5, dan model Qwen-series. ‘

Isu Domain yang Terkemuka

Tingkat eskalasi juga bervariasi secara substansial di seluruh domain aplikasi dan kategori risiko. Tugas Infrastruktur menghasilkan beberapa nilai OPUR tertinggi, mencapai 46,4% untuk DeepSeek-v3.2, 42,9% untuk Grok 4.1 Fast, dan 37,5% untuk Qwen3.5-397B.

Tingkat yang ditinggikan juga diamati pada tugas pengkodean, database, dan media-terkait, sedangkan skenario perawatan kesehatan dan pemerintahan umumnya menghasilkan tingkat eskalasi yang lebih rendah, terutama di antara GPT-5.2 dan Claude 4.6 Sonnet. Menurut para penulis, pola ini mungkin mencerminkan perbedaan dalam bagaimana model menafsirkan risiko dan pembatasan operasional di seluruh domain:

OPUR (%) di seluruh delapan domain aplikasi dan lima kategori eskalasi. Model open-weight umumnya mencatat tingkat penggunaan alat yang berlebihan yang lebih tinggi, dengan skenario pengkodean, database, infrastruktur, eskalasi wewenang, dan melewati keamanan menghasilkan kecenderungan terkuat untuk overreach.

Jenis eskalasi hak istimewa juga penting: Autoritas Eskalasi dan Melewati Keamanan adalah bentuk paling umum dari perilaku yang berlebihan pada model yang dievaluasi: LLaMA-3.1-8B mencapai 72,7% pada Autoritas Eskalasi dan 74,1% pada Melewati Keamanan, sedangkan Qwen3.5-397B mencatat 42,4% dan 45,7% masing-masing.

Sebaliknya, Perluasan Lingkup konsisten menjadi kategori yang paling jarang, menunjukkan bahwa model lebih cenderung mencari wewenang yang lebih luas atau melewati pembatasan daripada memperluas lingkup tindakan mereka di seluruh pengguna atau sistem tambahan.

Mencari Solusi

Eksperimen mitigasi mengeksaminasi apakah metode keamanan agen yang ada juga mengurangi eskalasi hak istimewa yang tidak perlu. Tabel hasil berikut membandingkan OPUR dengan kinerja pada AgentHarm, sebuah benchmark yang mengukur perilaku berbahaya dan tingkat penolakan pada agen AI.

Pengujian pertama mengevaluasi AgentAlign, sebuah metode keselarasan keamanan yang dirancang untuk mengurangi tindakan berbahaya. AgentAlign secara substansial meningkatkan kinerja AgentHarm:

Keselarasan keamanan dan penggunaan alat yang berlebihan sebelum dan setelah pelatihan AgentAlign. AgentAlign secara substansial meningkatkan kinerja pada benchmark keamanan AgentHarm, mengurangi output berbahaya dan meningkatkan tingkat penolakan; tetapi efeknya pada OPUR tidak konsisten, dengan satu model menunjukkan penurunan moderat dalam eskalasi hak istimewa yang tidak perlu, dan yang lain menunjukkan peningkatan. Hasil ini menunjukkan bahwa perbaikan pada keamanan agen konvensional tidak selalu diterjemahkan ke dalam pemilihan alat yang lebih baik dengan hak istimewa minimal.

Untuk Ministral-8B-Instruct, skor berbahaya turun dari 67,4 menjadi 10,5 sementara tingkat penolakan meningkat dari 0,0 menjadi 79,5. Untuk Qwen2.5-7B-Instruct, skor berbahaya turun dari 41,9 menjadi 6,7 dan tingkat penolakan meningkat dari 21,6 menjadi 85,8. Namun, perbaikan ini tidak secara konsisten diterjemahkan ke dalam OPUR yang lebih rendah. OPUR turun sedikit untuk Ministral-8B-Instruct, dari 68,8 menjadi 62,5, tetapi meningkat untuk Qwen2.5-7B-Instruct, dari 50,4 menjadi 60,7.

Para penulis juga menguji intervensi berbasis prompt yang secara eksplisit menginstruksikan model untuk memilih alat dengan hak istimewa yang lebih rendah. Meskipun prompt tersebut mengurangi OPUR dalam beberapa pengaturan, efeknya berkurang ketika alat dengan hak istimewa yang lebih rendah mengalami kegagalan:

Efek strategi mitigasi pada penggunaan alat yang berlebihan pada tiga model Qwen3. Prompt engineering (PE) mengurangi tingkat eskalasi, tetapi pelatihan pasca-pelatihan yang sadar hak istimewa ('Ours') menghasilkan pengurangan yang jauh lebih besar dalam OPUR di seluruh model dan kedalaman eskalasi.

Hasil mitigasi terkuat diperoleh dari pendekatan pelatihan pasca-pelatihan yang khusus difokuskan pada pemilihan alat dengan hak istimewa minimal. Model dilatih untuk memilih alat dengan hak istimewa yang lebih rendah setiap kali mereka cukup untuk tugas dan menghindari eskalasi yang tidak perlu.

Menurut para penulis, pendekatan ini menghasilkan pengurangan yang lebih besar dalam OPUR sambil mempertahankan kinerja penyelesaian tugas, menunjukkan bahwa perilaku hak istimewa minimal mungkin memerlukan pelatihan yang ditargetkan daripada muncul secara otomatis dari keselarasan keamanan umum.

Kesimpulan

Untuk menjawab pertanyaan yang diajukan oleh judul artikel ini, para penulis menyimpulkan bahwa eskalasi didorong oleh ketidakpastian kemampuan: setelah kegagalan sementara, model kehilangan kepercayaan pada alat dengan hak istimewa yang lebih rendah dan semakin memilih alat yang lebih luas dan lebih fleksibel yang tampaknya lebih mungkin untuk berhasil, bahkan ketika alternatif dengan hak istimewa yang lebih rendah masih cukup.

Sekali lagi kita melihat masalah yang asli bagi model terlatih, dan yang perlu diatasi oleh metode tersier, pembatasan, kondisi pasca-pelatihan, dan pendekatan tambahan, ketika preferensi adalah bahwa perilaku tersebut dapat dibentuk dalam arsitektur – kemungkinan melalui kurasi data yang lebih baik, atau kontekstualisasi jenis data ‘jawaban cepat’ yang mendominasi koleksi, dan yang mungkin cenderung LLM ke perilaku yang tidak bertanggung jawab.

Publikasi pertama pada hari Minggu, 21 Juni 2026