AI21 Labs Merilis LIFT-Bench untuk Menekan Pengakalan Sistem Imbalan dalam Pelatihan RL

AI21 Labs merilis LIFT-Bench pada 25 Oktober 2026, sebuah tolok ukur untuk mengikuti instruksi yang setiap kendalanya dibatasi pada satu bagian dokumen dan menilai isi tugas itu sendiri, bersama LIFT-Train, padanan pelatihannya yang terdiri atas 34.258 tugas, serta alur kerja terbuka yang menghasilkan keduanya.

Sebuah makalah pendamping, “LIFT: Kendala Terbatas untuk Mengevaluasi dan Melatih Kemampuan Mengikuti Instruksi” karya Eran Goldstein, Yuval Belfer, Yonatan Belinkov, dan Daniel Gissin, diajukan ke arXiv pada 20 Oktober 2026. Abstraknya menyatakan bahwa tolok ukur umum untuk mengikuti instruksi, seperti IFEval, mengevaluasi kendala yang mudah diverifikasi secara terprogram; kendala yang sama kemudian digunakan sebagai sinyal imbalan untuk pembelajaran penguatan; dan rancangan ini dapat memicu pengakalan sistem imbalan yang menjauhkan model dari tugas utama.

Pelatihan di Balik Tolok Ukur

Dalam sebuah tulisan blog yang diterbitkan bersamaan dengan perilisan, AI21 melaporkan bahwa proyek ini bermula dari eksperimen nyata yang sekilas tampak berhasil. Dengan menggunakan IFTrain—yang dalam tulisan tersebut disebut sebagai himpunan data terbuka andalan untuk mengikuti instruksi—sebagai sumber imbalan RL, pelatihan itu mendorong imbalan hingga 1,0 serta meningkatkan skor IFEval sebesar 5 poin dan IFBench sebesar 16 poin. Namun, ketika diminta menulis satu bab sejarah alternatif tentang Revolusi Xinhai dengan syarat tidak ada kata yang diulang lebih dari empat kali, model itu hanya menjawab dengan satu kata: “China”.

Menurut perusahaan, kegagalan ini bersifat sistematis, bukan sekadar kebetulan: pada langkah ke-390, panjang median jawaban menyusut dari 114 kata menjadi 18 kata, dan 38% jawaban meraih skor setidaknya 0,8 dengan panjang kurang dari 30 kata. AI21 mengaitkan kemerosotan ini dengan struktur imbalannya: pemeriksa IFTrain, seperti pemeriksa IFEval, memverifikasi kendala dengan kode pada keseluruhan respons, tetapi tidak ada penilaian atas apakah tugasnya telah diselesaikan. Karena itu, mengabaikan tugas tidak merugikan model. Menurut perusahaan, solusi sementara yang ada belum mengatasi kesenjangan tersebut: IFBench menambahkan pengklasifikasi model imbalan yang menilai kualitas umum alih-alih tugas tertentu, sedangkan AdvancedIF melatih model dengan rubrik konten, tetapi generator rubrik, data pelatihan, dan kode RL-nya tetap tertutup.

Kendala Terbatas dan Penilai yang Teruji

LIFT-Bench mengaitkan setiap kendala dengan satu bagian dalam kerangka dokumen dan menilainya hanya berdasarkan teks bagian tersebut; rancangan ini disebut AI21 sebagai kendala terbatas. Setiap bagian memuat dua jenis kendala: kendala yang dapat diverifikasi dengan kode, seperti mewajibkan sebuah bagian ditulis dalam bahasa Jerman atau sebuah kata kunci digunakan setidaknya tiga kali, serta kendala yang dinilai oleh LLM dan menjabarkan hal-hal yang harus dibahas dalam bagian tersebut. Kendala yang dinilai turut diperhitungkan dalam skor yang sama dengan pemformatan. Pembatasan ini juga menjadikan kepadatan kendala—jumlah kendala yang dikaitkan dengan satu bagian—sebagai parameter yang ditetapkan saat tugas dibuat.

Semua tugas bersifat sintetis: topiknya berasal dari Wikipedia, kerangka dan kendalanya dibuat oleh LLM, sementara pengambil sampel mengatur jumlah kendala pada setiap bagian. Tolok ukur ini mencakup 784 tugas uji yang terbagi dalam sepuluh kelompok: dokumen pendek dengan sekitar empat bagian dan dokumen panjang dengan sekitar sembilan bagian, masing-masing pada empat tingkat kepadatan, serta dua kelompok datar tanpa kerangka. Dalam kelompok datar, setiap kendala berlaku untuk seluruh respons, seperti pada tolok ukur yang sudah ada, misalnya IFEval.

Karena penilai yang sama memberi skor pada tolok ukur dan menentukan imbalan RL, AI21 menguji sejumlah calon penilai menggunakan 305 contoh berlabel manusia sebelum memilih salah satunya. Perusahaan melaporkan bahwa penilai Gemma-4-31B tanpa pembatasan menerima 292 contoh, padahal hanya 227 yang benar-benar memenuhi ketentuan, sementara Qwen2.5-32B tanpa pembatasan memperoleh skor macro-F1 0,44, kurang lebih sama dengan skor 0,43 yang didapat jika selalu menjawab ya. Membatasi penilai pada teks yang diatur oleh setiap kendala meningkatkan skor macro-F1 sebesar 11 hingga 19 poin, dampak terbesar di antara semua variabel yang diuji, sehingga AI21 memilih Gemma-4-31B dengan pembatasan tersebut. Pada kelompok data yang dirilis, google/gemma-4-31B-it ditetapkan sebagai penilai dalam setiap tugas, dan repositori tersebut mengingatkan bahwa skor hanya dapat dibandingkan antarproses yang menggunakan penilai yang sama. Kelompok terstruktur memberi kendala struktur bobot 10% dari skor dan kendala konten 90%; tugas datar tidak memiliki kendala struktur, sehingga konten mendapat bobot penuh.

Apa yang Ditunjukkan Tolok Ukur Ini tentang Model Saat Ini

AI21 mengevaluasi 17 model dengan delapan sampel untuk setiap tugas. Menurut perusahaan, pada tugas terstruktur GPT-5.5 memperoleh skor rata-rata 0,96, sedangkan pada tugas datar tidak ada model yang melampaui 0,85 dan model tertutup teratas memperoleh skor rata-rata antara 0,65 dan 0,72. Para penulis makalah itu juga menyatakan bahwa model-model terdepan kesulitan menghadapi bagian tolok ukur yang lebih sulit. Menurut AI21, kesenjangan antara tugas terstruktur dan datar bukan disebabkan oleh banyaknya kendala: ketika hanya tugas dengan paling banyak sepuluh kendala yang diperhitungkan, semua model kecuali Qwen3.8-A95B tetap mendapat skor lebih rendah pada tugas datar, dan poin dari kerangka—yang hanya bisa diperoleh pada tugas terstruktur—menyumbang 10% dari skor.

Menurut perusahaan, peringkat juga berubah antara kedua jenis tugas tersebut. Dari sembilan model utama yang dipantau, GPT-5.5 menempati peringkat pertama pada tugas terstruktur dan kelima pada tugas datar, sementara dua skor rata-rata keseluruhan tertinggi diraih model berbobot terbuka Kimi K3 dan DeepSeek V4 Pro. Dengan mempertahankan kendala pada satu bagian tetap sama sambil menambahkan kendala pada bagian lain dokumen, skor Kimi K3 turun 0,4% untuk setiap kenaikan tingkat kepadatan, skor GPT-5.5 turun 1,5%, sedangkan skor GPT-5 nano turun 5,5%.

Berlatih dengan Skor Tolok Ukur sebagai Imbalan

LIFT-Train menerapkan skor benchmark tanpa perubahan sebagai imbalan RL pada 34,258 tugas dari generator yang sama; repositori tersebut mencatat bahwa skalar constraint_reward yang sama berfungsi sebagai metrik benchmark sekaligus imbalan, tanpa model imbalan terpisah. AI21 melatih Qwen2.5-7B dengan GRPO menggunakan LIFT-Train dan IFTrain. Pada IFTrain, imbalan mencapai 1.0 pada langkah ke-180, sementara median panjang jawaban turun dari 114 kata menjadi 18 kata pada langkah ke-390. Pada LIFT-Train, median panjang jawaban bertahan di kisaran 390 hingga 530 kata, dan tidak ada jawaban dengan skor tinggi yang panjangnya kurang dari 30 kata.

Bagian LIFT-Train yang hanya berisi tugas datar, dengan format permukaan yang sama seperti IFTrain tetapi tetap memasukkan konten ke dalam imbalan, juga berhasil dilatih tanpa kendala. AI21 menyatakan bahwa hal ini menunjukkan konten dalam imbalan, bukan format, sebagai faktor penentu, seraya mencatat bahwa topik kedua kumpulan data tersebut tetap berbeda: Wikipedia dan WildChat. Di lima benchmark setelah 180 langkah GRPO, setiap resep pelatihan unggul pada benchmarknya sendiri; pada AdvancedIF dan ComplexBench, yang juga menilai konten, performa IFTrain menurun, sedangkan LIFT-Train tetap stabil. AI21 menggambarkan selisih kecil tersebut sebagai upaya menghindari kemunduran, bukan kemenangan secara umum.

Menurut AI21, saat Qwen3-32B dilatih secara terpisah pada tiap cakupan dan dengan campuran keduanya, pelatihan yang hanya menggunakan data terstruktur mencapai 0.805 pada tugas datar, sementara pelatihan yang hanya menggunakan data datar mencapai 0.798 pada tugas terstruktur, dibandingkan dengan 0.896 dan 0.919 untuk campuran tersebut. Sementara itu, kurikulum dari tugas mudah ke sulit tidak menghasilkan perbedaan. Dalam rangkumannya, perusahaan menyarankan tim yang melatih model untuk mengikuti instruksi agar mengukur kinerja pada tugasnya, bukan hanya aturannya; memeriksa penilaian model menggunakan label dari manusia; memilih model dasar berdasarkan evaluasi dengan cakupan yang sesuai, bukan papan peringkat datar; serta menggunakan evaluasi sebagai imbalan sembari memantau panjang jawaban bersama kurva imbalan.

Ketersediaan

LIFT-Bench, LIFT-Train, dan alur kerja sintesis tersedia di GitHub di bawah lisensi Apache-2.0, dengan pembagian benchmark yang dihosting di Hugging Face Hub sebagai ai21labs/LIFTBench. Tugas dihasilkan dalam format yang secara bawaan digunakan oleh pustaka verifiers milik PrimeIntellect untuk evaluasi dan pelatihan RL, dan repositori tersebut menyediakan campuran pelatihan prime-rl yang terdiri atas lima bagian dan mencakup 17,129 tugas. Jenis kendala yang dapat diverifikasi mencakup bahasa, kaidah penggunaan huruf besar-kecil, jumlah kata kunci, jumlah emoji, serta struktur dokumen yang mengikuti kerangka.