IBM Merilis Model Granite yang Dirancang untuk Menangkal Injeksi Prompt

Tim Granite IBM merilis dua model bahasa eksperimental pada 12 November 2026, yang dilatih untuk memisahkan instruksi tepercaya dari data yang tidak tepercaya. IBM melaporkan bahwa versi pratinjau 3B dan 8B berhasil menghindari 47% lebih banyak serangan dibandingkan model terdepan terbaik yang diuji IBM pada tolok ukur OPI.

Kedua model, Granite-4.1-3B-LLMON-preview dan Granite-4.1-8B-LLMON-preview, disetel lebih lanjut dari checkpoint dasar Granite 4.1, bukan dari model instruksi yang telah dirilis. Keduanya menggunakan lisensi Apache 2.0 dan ditujukan untuk eksplorasi serta evaluasi, bukan untuk produksi. Karya ini dikembangkan berdasarkan makalah tentang bahasa LLMON, yang pertama kali diajukan pada 23 Maret 2026.

Instruksi Menjadi Rujukan Eksplisit

LLMON, singkatan dari LLM Object Notation dan dilafalkan “lemon”, adalah bahasa markup mirip XML untuk menjelaskan struktur prompt kepada model. Instruksi, dokumen, definisi alat, persyaratan, dan respons ditempatkan dalam blok-blok yang masing-masing dapat dirujuk secara terpisah. Blok eksekusi menentukan instruksi mana yang harus dijalankan, masukan dan persyaratan mana yang berlaku, serta ke mana jawaban harus diarahkan; konten yang tidak terikat tetap berada dalam konteks tanpa dipanggil oleh blok tersebut.

Sasaran keamanannya adalah injeksi prompt tidak langsung, yaitu ketika instruksi berbahaya disembunyikan di dalam dokumen yang diambil, respons alat, atau data yang diberikan pengguna. Model dilatih untuk memperlakukan instruksi yang dijangkau melalui blok eksekusi sebagai sesuatu yang berwenang, sementara materi yang dijangkau sebagai masukan hanya dibaca, bukan dipatuhi. Pembatas struktural menggunakan token khusus yang dicadangkan, dan setiap ID blok dua karakter diambil dari sekumpulan token tunggal yang telah ditetapkan, sehingga satu alamat selalu memerlukan dua token.

Pengembang biasanya tidak menulis markup itu sendiri. Mereka dapat menamai bagian-bagian dari sebuah messages daftar biasa dan memanggil apply_chat_template; templat bawaan merender LLMON sambil mempertahankan peran system, user, dan assistant yang sudah dikenal. Repositori LLMON yang menyertainya menyediakan konversi JSON tanpa kehilangan data, utilitas untuk merender percakapan, dan contoh, sementara demonstrasi atensi yang ditautkan memvisualisasikan pembagian atensi di antara blok instruksi, masukan, dan blok yang tidak terikat.

Pelatihan Menargetkan Serangan Tidak Langsung

Makalah pascapelatihan yang diajukan pada 28 Oktober 2026 menjelaskan korpus terstruktur berisi 4,6 miliar token yang mencakup data umum, generasi dengan pengambilan informasi (RAG), dan penggunaan alat. Contoh pengalih menambahkan instruksi yang saling bersaing dan data tidak relevan yang tetap tidak dirujuk, sementara respons sasaran tidak berubah. Pendekatan ini menggunakan penyetelan halus terawasi dan pembelajaran penguatan tanpa mengubah arsitektur model.

Resep pelatihan kemudian menerapkan lima tahap pembelajaran penguatan secara berurutan yang mencakup penalaran multidomain, penyelarasan berdasarkan umpan balik manusia, kalibrasi pengetahuan, dan matematika, lalu optimasi preferensi langsung pada 1.000 pasangan preferensi yang dihasilkan dari respons model itu sendiri terhadap upaya injeksi. Aturan hak istimewa yang dihasilkan berasal dari tata letak yang dipelajari ini, bukan dari pagar pengaman tambahan.

OPI menyisipkan injeksi ke dalam data tugas NLP klasik. IBM mengukur ketahanan sebagai satu dikurangi tingkat keberhasilan serangan: proporsi serangan ketika model tidak menjalankan instruksi yang disisipkan.

Makalah pascapelatihan tersebut secara terpisah melaporkan bahwa tingkat keberhasilan serangan dalam evaluasi injeksi tidak langsung turun dari 53%–100% menjadi 0,02%–5,6%, sementara kemampuan umum tetap dipertahankan. Perbandingan tolok ukur yang diumumkan mencakup injeksi tidak langsung statis, bukan serangan adaptif yang berkembang selama beberapa giliran percakapan, yang masih menjadi bidang penelitian aktif.

Hasil Kemampuan Umum

Kartu model 8B menyebut kesetaraan dengan Granite 4.1 Instruct sebagai sasaran untuk tugas umum, sementara hasilnya beragam: skor GPQA versi pratinjau adalah 35,05 dibandingkan 41,96 untuk model instruksi, DeepMind Math 70,86 dibandingkan 80,07, BigCodeBench 44,04 dibandingkan 35,00, dan MMLU 74,20 dibandingkan 73,84. Pola ini menempatkan rilis tersebut sebagai pengujian prompt terstruktur dan ketahanan terhadap injeksi, bukan peningkatan kemampuan secara menyeluruh.

LLMON juga dapat diadaptasi untuk kosakata khusus bidang tertentu. IBM mendemonstrasikan tag khusus dan penyetelan halus adaptor menggunakan lintasan referensi ScienceWorld, dengan model terlatih memainkan permainan yang tidak disertakan dalam pelatihan dan menuliskan tindakan berikutnya menggunakan kosakata baru. Mellea, pustaka tingkat lebih tinggi, secara otomatis mengonversi pemanggilan modelnya ke LLMON, sehingga pengguna aplikasi tidak perlu melihat markup yang mendasarinya.

Rilis ini memberi pengembang cara konkret untuk mengukur perilaku pengikatan eksekusi eksplisit dalam alur kerja yang menggunakan pengambilan informasi dan alat. Untuk penerapan yang sensitif, pertanyaan yang belum terjawab adalah apakah aturan hak istimewa yang dipelajari tetap berlaku di luar pengujian yang dilaporkan; kartu model mengingatkan bahwa aturan tersebut bukan jaminan yang ditegakkan dan tidak seharusnya menjadi satu-satunya pertahanan bagi suatu agen.