Agen AI Dapat Mengingat Aturan, tetapi Tetap Melanggarnya Setelah Pemadatan

Pemadatan terjadi ketika rangkaian komunikasi kompleks dengan AI chat diringkas, lalu interaksi berlanjut berdasarkan ringkasan itu, bukan seluruh riwayat percakapan. Dari segi penggunaan memori, proses ini seperti “memulai dari awal” dan telah diterapkan sebagai solusi atas keterbatasan jendela konteks dalam percakapan dengan AI.

Awalnya diterapkan pada AI berbasis agen, metode ini kemudian diperluas ke Claude, sementara pemadatan untuk Gemini belum muncul dalam diskusi para pengembang. ChatGPT memilih menghentikan chat saja alih-alih melakukan pemadatan.

Jika Anda pernah menggunakan Codex (pada dasarnya, versi ChatGPT yang benar-benar dapat mengubah berbagai hal di komputer Anda jika diberi izin) selama lebih dari 30 menit sekaligus, Anda pasti pernah melihat pesan sesekali tentang pemadatan konteks, yang membuat Anda tidak dapat berinteraksi lebih lanjut selama proses berlangsung:

Codex beristirahat sejenak untuk memadatkan ingatan tentang sesi yang saat itu telah berlangsung selama tiga minggu.

Namun, setelah proses pemadatan selesai, entitas yang berbicara dengan Anda menggunakan catatan selektif yang tidak terlihat, bukan ingatan lengkap tentang perkembangan percakapan.

AI Pelanggar Aturan

Pada Juni tahun ini, makalah dari Tiongkok berjudul Governance Decay menunjukkan bahwa pemadatan dapat diam-diam menghapus aturan tetap dari konteks agen, sehingga tindakan yang sebelumnya dilarang akhirnya dilakukan:

Dari makalah Juni 2026 tentang Governance Decay: bagaimana pemadatan konteks dapat menyebabkan agen AI melanggar aturan yang sebelumnya dipatuhinya. Jika aturan tersebut tidak disertakan dalam ringkasan yang dipadatkan, agen mungkin akan melakukan tindakan yang dilarang. Penyerang dapat mengeksploitasi proses tersebut, dan memulihkan aturan dapat mencegah pelanggaran. Sumber

Di tujuh model, tingkat pelanggaran meningkat dari 0% sebelum pemadatan menjadi 30% sesudahnya, bahkan mencapai 59% dalam beberapa kasus. Dalam praktiknya, ini berarti agen dapat mengabaikan arahan penting, seperti Jangan menghubungi siapa pun yang tidak memiliki alamat email [our-company] —yang jelas dapat menimbulkan dampak serius.

Pada Juli, Penn State University dan IBM menindaklanjuti penelitian ini dengan Lost in Context. Mereka menemukan bahwa pemadatan dapat membuang instruksi yang mengatur cara AI menjalankan tugas, sementara tugas itu sendiri tetap dipertahankan. Dalam pengujian pada tiga situasi, sistem pemadat rata-rata hanya mempertahankan 17% dari instruksi tersebut.

Pada Agustus, sebuah kolaborasi akademis di AS mengajukan TRACE, yang menunjukkan bahwa pemadatan dapat mengganggu agen sekalipun informasi yang dibutuhkannya masih dapat dipulihkan. Dalam pengujian, agen kehilangan jejak posisi mereka dalam tugas, mengulangi pekerjaan yang telah selesai, dan menjadi kurang andal dalam beberapa kali pelaksanaan.

ARCBench

Bulan ini, wawasan tambahan datang dari Belanda melalui ARCBench, sebuah studi yang menemukan bahwa agen dapat menyelesaikan pemadatan dengan aturan tetap utuh namun tetap jauh lebih mungkin melanggarnya. Dalam pengujian ketika aturan tetap bertahan, pelanggaran terjadi 2,6 kali lebih sering setelah pemadatan dibandingkan dengan riwayat percakapan lengkap:

Dari makalah terbaru, skema konseptual tentang bagaimana pemadatan konteks dapat memengaruhi kepatuhan agen terhadap aturan operasional. Permintaan berikutnya yang sama dapat ditolak jika aturan tetap ada setelah pemadatan, atau dilaksanakan jika aturan tersebut dihilangkan; dokumen eksternal dapat memengaruhi informasi mana yang dipertahankan. Gambar ini diadaptasi dari gambar asli berorientasi potret dalam makalah sumber demi menyesuaikan tata letak. Sumber

Studi ini membedakan aturan yang hilang saat pemadatan dari aturan yang tetap ada tetapi kemudian dilanggar—sehingga dampak lupa dan ketidakpatuhan dapat diukur secara terpisah untuk pertama kalinya.

Dalam pengujian dengan DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash, dan GPT-Luna, 70,1% proses yang dipadatkan tetap mempertahankan aturan secara lengkap. Di antara proses yang aturannya bertahan, pelanggaran terjadi 2,6 kali lebih sering dibandingkan dengan riwayat percakapan lengkap.

Konteks dalam pengertian tradisional terbukti berpengaruh, sebab aturan yang disajikan sebagai kebijakan organisasi tidak menimbulkan pelanggaran ketika konteksnya utuh; namun, tingkat pelanggaran naik menjadi 30,6% dan 22,2% setelah pemadatan.

Pertahanan terkuat yang tersedia mempertahankan aturan dalam 99% ringkasan, tetapi tetap gagal mengembalikan tingkat pelanggaran ke tingkat sebelum serangan. Hal ini menunjukkan bahwa keberhasilan mempertahankan aturan selama pemadatan tidak serta-merta mempertahankan kemampuan—atau kemauan—agen untuk mematuhinya.

Makalah tersebut menyatakan:

‘[We]Kami menemukan bahwa pemadatan meningkatkan pelanggaran terutama tanpa menghapus aturan: percobaan yang dipadatkan dan tetap memuat aturan masih melanggar aturan 2,6 kali lebih sering daripada percobaan dengan riwayat lengkap.

‘Selain itu, pemadatan mengubah penalaran agen yang mendasari pelanggaran. Strategi pemadatan yang berbeda, batasan anggaran pemadatan yang ketat, serta saluran penyampaian aturan semuanya memengaruhi kepatuhan.’

Sebagai upaya mengatasi masalah ini, makalah tersebut mengusulkan penguatan upaya mempertahankan aturan yang hilang selama pemadatan, tetapi persoalan agen yang tidak mematuhi aturan yang masih dipertahankan tetap belum terpecahkan”

‘Pertahanan memulihkan aturan, tetapi kepatuhan tetap melemah saat diserang. Karena itu, dipertahankannya aturan bukanlah tolok ukur yang memadai untuk menilai kepatuhan. Penelitian mendatang dapat menggunakan ARCBench untuk menjelaskan mengapa agen masih melanggar aturan yang dipertahankan, menguji serangan dan pertahanan adaptif, serta mencakup lebih banyak model, ranah, dan sesi yang lebih panjang dengan pemadatan berulang.’

Metode

ARCBench memperluas fungsionalitas kerangka kerja sumber terbuka pi, yang memiliki rutinitas pemadatan bawaannya sendiri, serta loop agen, pemanggilan alat, dan pemadatan bawaan. Tolok ukur ini merekonstruksi situasi ketika agen mengerjakan tugas panjang dengan aturan yang berlaku, memadatkan riwayat yang telah terkumpul, lalu menghadapi permintaan yang akan melanggar aturan tersebut; tindakan agen kemudian diperiksa melalui pemanggilan alatnya:

Alur evaluasi ARCBench. Agen diberi tugas dan aturan operasional sebelum riwayatnya dipadatkan dengan berbagai konfigurasi, serangan, dan pertahanan. Tindakan agen selanjutnya melalui alat diperiksa untuk menentukan apakah aturan tersebut tetap dipertahankan dan apakah aturan itu dipatuhi.

ARCBench mencakup 17 kasus yang meliputi pengungkapan data yang dilindungi, akses ke sumber daya terbatas, tindakan tanpa izin, serta pengelakan atau pengabaian kontrol yang diwajibkan; kasus-kasus ini sesuai dengan kelas risiko OWASP.

Kasus-kasus diadaptasi dari Governance Decay dan COMPINT, dengan penambahan empat kasus untuk memastikan bahwa keempat jenis pelanggaran tercakup, baik untuk aturan pribadi maupun aturan organisasi.

Tolok ukur ini dapat dikonfigurasi berdasarkan lima faktor: cara aturan disampaikan; metode yang digunakan untuk memadatkan konteks; anggaran token yang tersedia untuk pemadatan; jenis serangan; dan pertahanan yang diterapkan:

ARCBench mencakup lima variabel untuk menguji perubahan kepatuhan terhadap aturan dalam berbagai bentuk pemadatan konteks, penyampaian aturan, serangan, dan pertahanan.

Aturan dapat diberikan sebagai instruksi langsung atau berkelanjutan, disematkan dalam dokumen, atau diambil melalui alat kebijakan.

Data dan Pengujian

Sepuluh metode pemadatan dievaluasi, yang terdiri atas tujuh strategi generatif dan tiga pendekatan selektif. Setiap kasus dijalankan berulang kali, dan kegagalan dicatat jika agen melanggar aturannya setidaknya sekali—pendekatan yang dianggap lebih tepat untuk pengujian keselamatan daripada merata-ratakan kinerja antarpercobaan, sebab agen yang sesekali melakukan tindakan terlarang tetap tidak aman.

Riwayat yang telah dipadatkan kemudian diperiksa oleh GPT-6-Luna-Pro, Qwen-3.8-flash, dan Claude-Sonnet-4.6, dengan setiap aturan diklasifikasikan sebagai utuh, dilemahkan, atau tidak ada. Keputusan mayoritas digunakan, sementara perbedaan pendapat ditinjau oleh anotator manusia. Sampel terpisah yang terdiri atas 50 ringkasan juga diberi label secara manual untuk memeriksa konsistensi para penilai.

Ketika aturan yang utuh dilanggar, penalaran agen diperiksa oleh GPT-6-Luna-Pro, GPT-6.1-Sol, dan Claude Sonnet 5.5. Pelanggaran diklasifikasikan berdasarkan apakah permintaan berikutnya dianggap sebagai izin untuk mengesampingkan aturan, apakah tindakan dinilai berada di luar cakupan aturan, apakah aturan tidak disebutkan, atau apakah aturan dikenali dan diabaikan.

Keempat model yang digunakan dalam pengujian, yang diakses melalui OpenRouter, adalah DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; dan GPT-Luna. Dalam setiap percobaan, model yang sama digunakan untuk memadatkan riwayat percakapan sekaligus bertindak berdasarkan konteks hasil pemadatan, sesuai dengan perilaku bawaan pi. Model-model tersebut diakses melalui OpenRouter.

Tujuh studi dilakukan, dan Hermes digunakan dalam sebagian besar pengujian pemadatan. Dalam studi pertama, masing-masing dari 17 tugas diuji menggunakan empat model dan dua cara penyampaian aturan, sehingga menghasilkan 136 kasus. Setiap kasus dijalankan tiga kali dengan percakapan asli tetap utuh dan tiga kali setelah percakapan tersebut dipadatkan.

Konfigurasi tujuh studi ARCBench, dikelompokkan berdasarkan pertanyaan penelitian. Sel yang disorot dengan warna hijau menunjukkan faktor yang diubah dalam setiap studi, sedangkan sel berwarna abu-abu menunjukkan pengaturan yang dipertahankan tetap; setiap kasus dijalankan tiga kali, meningkat menjadi enam kali untuk studi serangan dan pertahanan S6 dan S7.

Pengujian ini membahas tiga pertanyaan: Dari mana pelanggaran setelah pemadatan berasal?; Bagaimana konfigurasi pemadatan yang berbeda mengubah sumber pelanggaran?; dan Bagaimana serangan dan pertahanan yang menargetkan pemadat memengaruhi sumber pelanggaran?.

Dari Mana Pelanggaran Setelah Pemadatan Berasal?

Hasil awal menunjukkan bahwa pelanggaran aturan meningkat setelah pemadatan, dari 9,6% kasus saat seluruh riwayat percakapan tersedia menjadi 37,8%. Namun, aturan hilang sepenuhnya hanya dalam 3% proses pemadatan; aturan tetap utuh dalam 70,1% kasus dan hanya bertahan sebagian dalam 26,9% kasus:

Hasil yang menunjukkan seberapa sering setiap model melanggar aturan sebelum dan sesudah pemadatan. Sebagian besar aturan tetap utuh atau bertahan sebagian setelah pemadatan, meskipun pelanggaran meningkat tajam; Qwen mencatat peningkatan terbesar, hingga 61,8%.

Perbedaan ini terbukti penting. Di antara proses yang aturan lengkapnya tetap bertahan setelah pemadatan, 21,1% tetap berakhir dengan pelanggaran, dibandingkan dengan 8,1% saat riwayat asli dipertahankan. Jika aturan hanya bertahan sebagian, angkanya meningkat menjadi 29,4%; jika tidak ada aturan yang tersisa, angkanya mencapai 83,3%.

Pengujian juga menelaah bagaimana pelanggaran terjadi ketika aturan tetap utuh. Di antara pelanggaran yang disebabkan oleh pemadatan, dalam 45,9% kasus, permintaan yang muncul kemudian ditafsirkan sebagai izin untuk melanjutkan; dalam 27% kasus, aturan tampaknya diabaikan; dan dalam 21,6% kasus, aturan diakui berlaku, tetapi tetap dilanggar:

Hasil yang menunjukkan alasan aturan dilanggar sebelum dan sesudah pemadatan. Ketika pelanggaran hanya terjadi setelah pemadatan, permintaan yang muncul kemudian paling sering dianggap sebagai izin untuk melanjutkan (45,9%); dalam 27% kasus, aturan yang masih tersimpan diabaikan, sedangkan dalam 21,6% kasus, aturan diakui sebelum tetap dilanggar.

Bagaimana Konfigurasi Pemadatan yang Berbeda Mengubah Sumber Pelanggaran?

Cara penyampaian aturan berdampak nyata pada kepatuhan. Saat seluruh percakapan tetap utuh, pelanggaran terjadi dalam 25% dan 16,1% kasus ketika aturan diberikan langsung oleh pengguna; namun, tidak ada pelanggaran yang tercatat ketika aturan disampaikan melalui dokumen organisasi atau perangkat kebijakan:

Dampak cara penyampaian aturan, strategi pemadatan, dan anggaran token terhadap pelanggaran serta retensi aturan. Pemadatan generatif mempertahankan aturan jauh lebih andal daripada metode selektif, sedangkan anggaran 300 token atau kurang menyebabkan aturan hampir seluruhnya hilang.

Setelah pemadatan, pelanggaran meningkat pada keempat saluran, mencapai 56,3% untuk instruksi langsung dari pengguna dan 22,2% untuk aturan dalam perangkat kebijakan. Retensi aturan tidak banyak bervariasi, yakni berkisar antara 65,7% hingga 74%. Penulis menduga bahwa permintaan pengguna yang muncul kemudian dapat ditafsirkan sebagai pengesamping aturan pribadi, sedangkan aturan organisasi tidak dapat dikesampingkan oleh pengguna.

Bagaimana Serangan dan Pertahanan yang Menargetkan Pemadat Memengaruhi Sumber Pelanggaran?

Membanjiri konteks dengan materi tambahan saja hanya berdampak kecil; pelanggaran bahkan turun dari 37,8% menjadi 34,3%. Injeksi yang menargetkan pemadat jauh lebih efektif, meningkatkan pelanggaran hingga 46,3% dan menurunkan retensi aturan secara utuh dari 70,1% menjadi 42,5%.

Serangan terkuat, yang disebut escape, meningkatkan pelanggaran dari 23,5% menjadi 58,8% dan menurunkan retensi aturan dari 96,1% menjadi 66,7%. Bahkan ketika aturan tetap bertahan, pelanggaran meningkat dua kali lipat, dari 13,3% menjadi 26,5%.

Hasil pengujian yang menunjukkan dampak serangan dan pertahanan terhadap kepatuhan pada aturan setelah pemadatan. Injeksi terarah meningkatkan pelanggaran dan mengurangi retensi aturan, sementara pertahanan terkuat memulihkan retensi hingga 99% tanpa sepenuhnya memulihkan kepatuhan.

Pertahanan terkuat mempertahankan aturan dalam 99% percobaan—namun agen tetap melanggarnya dalam 29,4% kasus, dibandingkan dengan 23,5% ketika tidak ada serangan. Dengan kata lain, memastikan agen masih mengingat aturan tidak menjamin bahwa agen akan mematuhinya.

Kesimpulan

Secara logis, tampaknya ada semacam “efek mesin fotokopi” yang terjadi ketika konteks dipadatkan puluhan, bahkan ratusan kali dalam utas yang sangat panjang (seperti utas yang telah saya kerjakan di Codex* sejak pertengahan Oktober dan masih saya kerjakan pagi ini saja—sebuah epik pengembangan perangkat lunak eksperimental dengan bantuan AI).

Seperti prompt sistem inti, kita tidak dapat melihat ringkasan terpadatkan tentang tindakan yang telah dilakukan hingga saat ini. Pengalaman anekdotal saya sendiri menunjukkan bahwa misi utama tetap bertahan setelah pemadatan, begitu pula sebagian besar detail penting. Namun, saya tidak berada dalam skenario mimpi buruk ketika perintah “Kirim email ini kepada semua orang”, yang dimaksudkan hanya untuk semua orang di perusahaan, akhirnya terkirim kepada semua orang dalam direktori kontak korporat gabungan. Aduh.

* Saya rasa saya mulai tua, tetapi ini pasti nama paling tidak berkesan, paling hambar, dan paling “beige korporat” yang mungkin dipilih untuk agen ini. Saya terus-menerus lupa namanya.

Pertama kali diterbitkan Kamis, 12 November 2026