AI21 Labs、強化学習の訓練における報酬ハッキング抑制を目指すLIFT-Benchを公開

AI21 Labsは2026年10月25日、文書の各制約を一つのセクションに適用し、タスクの内容そのものも評価する指示追従ベンチマーク「LIFT-Bench」を公開した。併せて、34,258件のタスクからなる訓練用の対応データセット「LIFT-Train」と、両者を生成したオープンなパイプラインも公開した。

関連論文「LIFT: 指示追従の評価と訓練に向けたスコープ付き制約」は、Eran Goldstein、Yuval Belfer、Yonatan Belinkov、Daniel Gissinによるもので、2026年10月20日にarXivへ投稿された。論文の要旨によると、IFEvalなど一般的な指示追従ベンチマークは、プログラムで容易に検証できる制約を評価しており、同じ制約がその後、強化学習の報酬信号として使われている。この設計は、モデルを主要なタスクから遠ざける報酬ハッキングにつながる可能性がある。

ベンチマーク開発のきっかけとなった訓練実験

公開に合わせて掲載されたブログ記事で、AI21は、プロジェクトが一見すると成功したように見える実際の実験から始まったと報告している。同記事が指示追従の定番オープンデータセットとするIFTrainを強化学習の報酬源として使ったところ、報酬は1.0に達し、IFEvalは5ポイント、IFBenchは16ポイント上昇した。しかし、モデルに「単語の繰り返しを4回まで」として辛亥革命を題材にした歴史改変小説の章を書くよう求めると、返答は「中国」の一語だけだった。

同社によると、この失敗は偶発的なものではなく、系統的に起きていた。390ステップまでに回答の中央値は114語から18語に減少し、回答の38%は30語未満で少なくとも0.8のスコアを獲得していた。AI21は、この崩壊の原因を報酬の仕組みにあると説明する。IFTrainの判定器はIFEvalの判定器と同様に、回答全体を対象にコードで制約を検証する一方、タスクが実行されたかどうかは評価しない。そのため、タスクを放棄してもモデルに不利益はない。同社によると、既存の対策でもこの問題は解消されない。IFBenchは特定のタスクではなく全般的な品質を評価する報酬モデルの分類器を追加しており、AdvancedIFは内容に関する評価基準を使って訓練するものの、評価基準の生成器、訓練データ、強化学習コードは非公開のままだ。

スコープ付き制約と検証済みの判定器

LIFT-Benchでは、文書のアウトライン内の各セクションに制約を一つずつ割り当て、そのセクションの本文だけを対象に評価する。AI21はこの設計を「スコープ付き制約」と呼ぶ。各セクションには2種類の制約がある。コードで検証できるものは、たとえばセクションをドイツ語で書くことや、キーワードを少なくとも3回使うことを求める。もう一方はLLMが判定するもので、そのセクションで何を扱うべきかを具体的に定める。判定対象の制約も、書式と同じスコアに反映される。また、スコープを設けることで、タスク生成時に設定するパラメーターとして「制約密度」、すなわち単一のセクションに割り当てる制約の数を扱えるようになる。

すべてのタスクは合成データで、トピックはWikipedia、アウトラインと制約はLLMから取得し、サンプラーが各セクションに割り当てる制約の数を調整する。ベンチマークには、10個の分割にわたる784件のテストタスクが含まれる。内訳は、約4セクションからなる短い文書と約9セクションからなる長い文書をそれぞれ4段階の制約密度で用意したものに加え、アウトラインのないフラットな分割が2つある。フラットな分割では、IFEvalなど既存のベンチマークと同様、すべての制約が回答全体に適用される。

ベンチマークのスコア判定と強化学習の報酬付与に同じ判定器を使うため、AI21は候補となる判定器を選ぶ前に、人手でラベル付けした305件の例で検証した。同社によると、スコープを設けていないGemma-4-31Bの判定器は、実際に条件を満たしていたのが227件だったのに対し、292件を条件達成と判定した。また、スコープを設けていないQwen2.5-32BのマクロF1スコアは0.44で、常に「はい」と答えた場合の0.43とほぼ同じだった。各制約が適用されるテキストに判定対象を限定すると、マクロF1スコアは11～19ポイント上昇した。これは、検証した変数の中で最も大きな効果であり、AI21はスコープ付きのGemma-4-31Bを採用した。公開された分割データでは、各タスクに判定器としてgoogle/gemma-4-31B-itが記載されている。リポジトリでは、同じ判定器を使った実行同士でのみスコアを比較できると注意を促している。構造化された分割では、スコアの重みの10%を構造制約に、90%を内容制約に割り当てる。フラットなタスクには構造制約がないため、内容がスコアの全体を占める。

ベンチマークが示す現行モデルの実力

AI21は、各タスクにつき8件のサンプルを用いて17モデルを評価した。同社の報告によると、構造化タスクではGPT-5.5の平均スコアが0.96だった一方、フラットなタスクでは0.85を超えるモデルはなく、上位のクローズドモデルの平均スコアは0.65～0.72だった。論文の著者らも、最先端モデルはベンチマークの難易度の高いサブセットで苦戦すると述べている。AI21によると、構造化タスクとフラットなタスクの差は、制約の量によるものではない。制約が10個以下のタスクに限っても、Qwen3.8-A95Bを除くすべてのモデルでフラットなタスクのスコアが低かった。また、構造化タスクだけが獲得できるアウトラインのポイントは、スコアの10%を占める。

同社によると、2つの条件間ではモデルの順位も変動する。追跡対象となった主要9モデルのうち、GPT-5.5は構造化タスクで1位、フラットなタスクで5位だった。全体平均の上位2モデルは、オープンウェイトモデルのKimi K3とDeepSeek V4 Proだった。あるセクションの制約を固定したまま文書の残りの部分に制約を追加すると、密度が1段階上がるごとにKimi K3のスコアは0.4%、GPT-5.5は1.5%、GPT-5 nanoは5.5%低下した。

ベンチマークのスコアを報酬として使う訓練

LIFT-Trainでは、同じ生成器から作成された34,258件のタスク全体で、ベンチマークのスコアを変更せずにRLの報酬として適用しています。リポジトリによると、同じconstraint_rewardスカラー値をベンチマーク指標と報酬の両方に用いており、個別の報酬モデルはありません。AI21はQwen2.5-7Bを、LIFT-TrainとIFTrainのそれぞれでGRPOを用いて学習させました。IFTrainでは、180ステップまでに報酬が1.0に達する一方、回答の中央値は390ステップまでに114語から18語に減少しました。LIFT-Trainでは、回答の中央値は390〜530語程度を維持し、高スコアの回答が30語未満になることはありませんでした。

IFTrainと表面的な形式をそろえつつ、報酬には内容を反映させた、LIFT-Trainのフラット形式のみのサブセットでも、学習は順調に進みました。AI21によると、これは形式ではなく報酬に含まれる内容が決め手であることを示しています。ただし、データセットのトピックはWikipediaとWildChatで異なるとも指摘しています。GRPOで180ステップ学習した後、5つのベンチマークでは、それぞれの学習レシピが対応するベンチマークで優位に立ちました。内容も評価するAdvancedIFとComplexBenchでは、IFTrainのスコアが低下した一方、LIFT-Trainは安定していました。AI21は、このわずかな差について、全般的な勝利というより、性能の後退を避けたものだと位置づけています。

AI21の報告によると、Qwen3-32Bを各範囲で個別に学習させた場合、構造化タスクのみでの学習はフラットタスクで0.805、フラットタスクのみでの学習は構造化タスクで0.798に達しました。これに対し、混合データでの学習はそれぞれ0.896と0.919でした。一方、簡単なタスクから難しいタスクへ進むカリキュラムによる違いはありませんでした。同社は総括で、指示追従のために学習させるチームに対し、ルールだけでなくタスクを評価すること、判定器を人間のラベルと照合すること、単純なリーダーボードではなく対象範囲に合わせた評価に基づいてベースモデルを選ぶこと、そして評価を報酬として用いながら、報酬曲線と並行して回答の長さも追跡することを勧めています。

公開状況

LIFT-Bench、LIFT-Train、合成パイプラインは、Apache-2.0ライセンスのもと、GitHubで入手できます。ベンチマークの分割データはHugging Face Hubでai21labs/LIFTBenchとして公開されています。タスクは、評価とRL学習においてPrimeIntellectのverifiersライブラリが標準で受け付ける形式で出力されます。また、リポジトリでは、17,129件のタスクからなる5分割のprime-rl学習用混合データセットが公開されています。検証可能な制約の種類には、言語、大文字・小文字の表記規則、キーワード数、絵文字数、アウトラインに沿った文書構成が含まれます。