AI21 Labs, 강화학습 학습에서 보상 해킹을 억제하기 위한 LIFT-Bench 공개

AI21 Labs는 2026년 10월 25일 LIFT-Bench를 공개했다. LIFT-Bench는 모든 제약 조건을 문서의 한 섹션에 한정하고 과제 내용 자체도 채점하는 지시 따르기 벤치마크다. 이와 함께 34,258개 과제로 구성된 학습용 대응 데이터셋 LIFT-Train과 두 가지를 생성한 공개 파이프라인도 공개했다.

함께 발표된 논문 「LIFT: Scoped Constraints for Evaluating and Training Instruction Following」은 Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin이 작성했으며, 2026년 10월 20일 arXiv에 제출됐다. 논문 초록에 따르면 IFEval과 같은 일반적인 지시 따르기 벤치마크는 프로그램으로 쉽게 검증할 수 있는 제약 조건을 평가하며, 바로 그 제약 조건이 강화학습의 보상 신호로도 쓰인다. 이런 설계는 보상 해킹을 유발해 모델이 주된 과제에서 벗어나게 할 수 있다.

벤치마크 개발의 계기가 된 학습 실험

출시와 함께 게시된 블로그 글에서 AI21은 프로젝트가 겉으로는 성공적으로 보였던 실제 실험에서 시작됐다고 밝혔다. 해당 글에서 지시 따르기를 위한 대표적인 공개 데이터셋이라고 소개한 IFTrain을 강화학습 보상의 원천으로 사용한 결과, 보상 점수는 1.0에 도달했고 IFEval 점수는 5포인트, IFBench 점수는 16포인트 상승했다. 그러나 모델에 신해혁명을 소재로 한 대체 역사 한 장을 쓰되 어떤 단어도 네 번 넘게 반복하지 말라고 하자, 모델은 단 한 단어로 답했다. “China.”

회사에 따르면 이는 우연한 사례가 아니라 체계적인 실패였다. 390번째 단계까지 답변 중앙값은 114단어에서 18단어로 줄었고, 답변의 38%는 30단어도 안 되는 길이로 0.8 이상의 점수를 받았다. AI21은 이러한 붕괴의 원인을 보상 구조에서 찾는다. IFTrain의 검사기는 IFEval의 검사기와 마찬가지로 코드로 전체 응답의 제약 조건 충족 여부를 확인하지만, 과제를 수행했는지는 점수에 반영하지 않는다. 따라서 과제를 생략해도 모델은 손해를 보지 않는다. 회사는 기존의 보완책으로도 이 문제를 해결하지 못한다고 설명한다. IFBench는 구체적인 과제가 아니라 일반적인 품질을 평가하는 보상 모델 분류기를 추가하고, AdvancedIF는 콘텐츠 루브릭을 사용해 학습하지만 루브릭 생성기와 학습 데이터, 강화학습 코드는 공개하지 않는다.

범위가 지정된 제약 조건과 검증된 평가자

LIFT-Bench는 각 제약 조건을 문서 개요의 한 섹션에 연결하고, 해당 섹션의 텍스트만을 대상으로 충족 여부를 평가한다. AI21은 이를 ‘범위가 지정된 제약 조건’ 설계라고 부른다. 각 섹션에는 두 종류의 제약 조건이 적용된다. 하나는 특정 섹션을 독일어로 작성하거나 특정 키워드를 최소 세 번 사용하도록 하는 등 코드로 검증할 수 있는 조건이고, 다른 하나는 섹션에서 다뤄야 할 내용을 구체적으로 명시하고 LLM이 확인하는 조건이다. 내용에 관한 조건도 형식 조건과 동일한 점수에 반영된다. 또한 범위를 지정하면 과제 생성 시 섹션 하나에 연결되는 제약 조건의 수, 즉 제약 조건 밀도를 설정하는 매개변수로 활용할 수 있다.

모든 과제는 합성 데이터다. 주제는 Wikipedia에서 가져오고, 개요와 제약 조건은 LLM이 생성하며, 샘플러가 각 섹션에 배정되는 제약 조건의 수를 조정한다. 벤치마크에는 10개 분할에 걸쳐 테스트 과제 784개가 포함된다. 짧은 문서는 섹션이 약 4개, 긴 문서는 약 9개이며, 두 문서 유형 모두 제약 조건 밀도를 네 단계로 나눴다. 여기에 개요 없이 모든 제약 조건이 전체 응답에 적용되는 평면형 분할 두 개가 추가된다. 이 방식은 IFEval과 같은 기존 벤치마크를 따른다.

벤치마크를 채점하고 강화학습 보상을 부여하는 평가자가 같기 때문에, AI21은 평가자를 선정하기 전에 후보 평가자들을 사람이 라벨링한 예시 305개로 시험했다. 회사에 따르면 범위를 지정하지 않은 Gemma-4-31B 평가자는 실제로 조건을 충족한 예시가 227개뿐인데도 292개를 충족했다고 판정했다. 범위를 지정하지 않은 Qwen2.5-32B의 매크로 F1 점수는 0.44로, 항상 ‘예’라고 답할 때의 0.43과 거의 같았다. 각 제약 조건이 적용되는 텍스트에 평가 범위를 한정하자 매크로 F1 점수는 11~19포인트 상승했다. 이는 시험한 변수 중 가장 큰 효과였으며, AI21은 범위를 지정한 Gemma-4-31B를 선택했다. 공개된 분할에서는 각 과제의 평가자로 google/gemma-4-31B-it을 명시하며, 저장소는 동일한 평가자를 사용한 실행끼리만 점수를 비교할 수 있다고 주의를 당부한다. 구조가 있는 분할에서는 구조 제약 조건에 점수 가중치의 10%, 내용 제약 조건에 90%를 할당한다. 평면형 과제에는 구조 제약 조건이 없으므로 내용 제약 조건이 전체 가중치를 차지한다.

현재 모델에 대해 벤치마크가 보여주는 것

AI21은 과제마다 표본을 8개씩 생성해 모델 17개를 평가했다. 회사에 따르면 구조가 있는 과제에서 GPT-5.5의 평균 점수는 0.96인 반면, 평면형 과제에서는 어떤 모델도 0.85를 넘지 못했으며 선두권 비공개 모델의 평균은 0.65~0.72였다. 논문 저자들 역시 최첨단 모델이 벤치마크의 더 어려운 하위 집합에서 고전한다고 밝혔다. AI21에 따르면 구조형 과제와 평면형 과제의 점수 차이는 제약 조건의 수 때문이 아니다. 제약 조건이 10개 이하인 과제만 놓고 봐도 Qwen3.8-A95B를 제외한 모든 모델이 평면형 과제에서 더 낮은 점수를 기록했다. 또 구조가 있는 과제에서만 획득할 수 있는 개요 점수가 전체 점수의 10%를 차지한다.

회사에 따르면 두 평가 유형 간에 순위도 달라진다. 추적 대상인 주요 모델 9개 가운데 GPT-5.5는 구조형 과제에서 1위, 평면형 과제에서 5위를 차지했다. 전체 평균이 가장 높은 두 모델은 오픈 웨이트 모델인 Kimi K3와 DeepSeek V4 Pro였다. 한 섹션의 제약 조건은 고정한 채 문서의 나머지 부분에 제약 조건을 추가했을 때, 밀도 단계가 하나 높아질 때마다 Kimi K3의 점수는 0.4%, GPT-5.5는 1.5%, GPT-5 nano는 5.5% 하락했다.

벤치마크 점수를 보상으로 활용한 학습

LIFT-Train은 동일한 생성기에서 나온 34,258개 작업에 대해 벤치마크 점수를 변경 없이 RL 보상으로 적용한다. 저장소에 따르면 동일한 constraint_reward 스칼라가 별도의 보상 모델 없이 벤치마크 지표와 보상으로 모두 사용된다. AI21은 Qwen2.5-7B를 LIFT-Train과 IFTrain으로 GRPO 학습했다. IFTrain에서는 180번째 단계에 보상이 1.0에 도달한 반면, 중앙값 기준 답변 길이는 390번째 단계까지 114단어에서 18단어로 줄었다. LIFT-Train에서는 중앙값 기준 답변 길이가 약 390~530단어를 유지했으며, 높은 점수를 받은 답변 중 30단어 미만인 것은 없었다.

IFTrain의 표면 형식과 일치시키되 보상에는 내용을 반영한 LIFT-Train의 평면 형식 전용 부분 집합도 문제없이 학습됐다. AI21은 이를 결정하는 요인이 형식이 아니라 보상에 반영된 내용이라는 점을 보여주는 결과라고 설명하면서도, 데이터 세트의 주제는 여전히 다르다고 덧붙였다. 즉 한쪽은 Wikipedia, 다른 쪽은 WildChat을 다룬다. GRPO 학습 180단계 후 5개 벤치마크를 평가한 결과, 각 학습 방식은 자체 벤치마크에서 우세했다. 내용도 평가하는 AdvancedIF와 ComplexBench에서는 IFTrain의 성능이 떨어진 반면 LIFT-Train은 안정적으로 유지됐다. AI21은 작은 격차를 전반적인 승리라기보다 성능 저하를 피한 결과로 평가한다.

AI21의 보고에 따르면, Qwen3-32B를 각 범위별로 따로 학습하고 혼합 데이터로 학습한 결과, 구조화된 작업만으로 학습했을 때 평면 작업에서 0.805를 기록했고 평면 작업만으로 학습했을 때 구조화된 작업에서 0.798을 기록했다. 혼합 학습의 점수는 각각 0.896과 0.919였으며, 쉬운 작업부터 어려운 작업 순으로 학습하는 커리큘럼은 차이를 만들지 못했다. 회사는 요약에서 지시 이행을 위해 학습하는 팀에 규칙만이 아니라 작업 자체를 측정하고, 평가자의 판단을 사람의 라벨과 대조해 확인하며, 평면 리더보드가 아닌 범위에 맞춘 평가 결과를 기준으로 기반 모델을 선택하고, 평가를 보상으로 사용하면서 보상 곡선과 함께 답변 길이도 추적하라고 권고한다.

이용 가능 여부

LIFT-Bench, LIFT-Train 및 합성 파이프라인은 Apache-2.0 라이선스에 따라 GitHub에서 이용할 수 있으며, 벤치마크 분할 데이터는 Hugging Face Hub의 ai21labs/LIFTBench에 호스팅되어 있다. 작업은 평가와 RL 학습에 사용하는 PrimeIntellect의 verifiers 라이브러리가 기본적으로 처리하는 형식으로 생성된다. 또한 저장소에는 17,129개 작업으로 구성된 5분할 prime-rl 학습 혼합 데이터가 공개되어 있다. 검증 가능한 제약 조건 유형에는 언어, 대소문자 표기 규칙, 키워드 수, 이모지 수, 개요 구조 일치 여부가 포함된다.