AI21 Labs ra mắt LIFT-Bench nhằm hạn chế việc lách phần thưởng trong huấn luyện học tăng cường

AI21 Labs ra mắt LIFT-Bench vào ngày 25 tháng 10 năm 2026. Đây là bộ chuẩn đánh giá khả năng làm theo chỉ dẫn, trong đó mỗi ràng buộc được giới hạn trong một phần của tài liệu và bản thân nội dung nhiệm vụ cũng được chấm điểm. Cùng với đó là LIFT-Train, phiên bản dùng để huấn luyện với 34.258 nhiệm vụ, và quy trình mở đã tạo ra cả hai bộ này.

Một bài báo đi kèm có tiêu đề “LIFT: Ràng buộc phạm vi để đánh giá và huấn luyện khả năng làm theo chỉ dẫn”, do Eran Goldstein, Yuval Belfer, Yonatan Belinkov và Daniel Gissin viết, đã được gửi lên arXiv vào ngày 20 tháng 10 năm 2026. Phần tóm tắt nêu rằng các bộ chuẩn đánh giá khả năng làm theo chỉ dẫn phổ biến như IFEval đánh giá những ràng buộc có thể dễ dàng được xác minh bằng chương trình; chính những ràng buộc đó sau đó lại được dùng làm tín hiệu thưởng cho học tăng cường; và thiết kế này có thể dẫn đến việc lách phần thưởng, khiến mô hình chệch khỏi nhiệm vụ chính.

Lượt huấn luyện đằng sau bộ chuẩn đánh giá

Trong bài đăng trên blog được công bố cùng đợt ra mắt, AI21 cho biết dự án bắt đầu từ một thử nghiệm thực tế mà kết quả thoạt nhìn có vẻ thành công. Sử dụng IFTrain làm nguồn tạo phần thưởng cho học tăng cường — bài đăng mô tả đây là bộ dữ liệu mở được dùng phổ biến nhất để huấn luyện khả năng làm theo chỉ dẫn — lượt huấn luyện đã đưa phần thưởng lên 1,0, đồng thời tăng điểm IFEval thêm 5 điểm và IFBench thêm 16 điểm. Thế nhưng, khi được yêu cầu viết một chương truyện lịch sử giả tưởng về Cách mạng Tân Hợi, trong đó không từ nào được lặp lại quá bốn lần, mô hình chỉ trả lời bằng một từ: “China”.

Theo công ty, đây là một thất bại có tính hệ thống chứ không phải sự cố ngẫu nhiên: đến bước 390, độ dài trung vị của câu trả lời đã giảm từ 114 từ xuống còn 18 từ, và 38% câu trả lời đạt ít nhất 0,8 điểm với độ dài dưới 30 từ. AI21 cho rằng sự suy sụp này bắt nguồn từ cấu trúc của phần thưởng: các bộ kiểm tra của IFTrain, giống như của IFEval, dùng mã để xác minh ràng buộc trên toàn bộ câu trả lời, nhưng không có cơ chế nào chấm điểm việc hoàn thành nhiệm vụ. Vì vậy, mô hình không phải chịu bất kỳ tổn thất nào khi bỏ qua nhiệm vụ. Công ty cho biết các giải pháp khắc phục hiện có vẫn chưa lấp được khoảng trống đó: IFBench bổ sung một bộ phân loại dựa trên mô hình phần thưởng để chấm chất lượng tổng thể thay vì nhiệm vụ cụ thể, còn AdvancedIF huấn luyện mô hình bằng các tiêu chí đánh giá nội dung nhưng giữ kín bộ tạo tiêu chí, dữ liệu huấn luyện và mã học tăng cường.

Ràng buộc theo phạm vi và bộ đánh giá đã được kiểm chứng

LIFT-Bench gắn từng ràng buộc với một phần trong dàn ý tài liệu và chỉ chấm ràng buộc đó dựa trên nội dung của phần tương ứng — thiết kế mà AI21 gọi là ràng buộc theo phạm vi. Mỗi phần có hai loại ràng buộc: loại có thể xác minh bằng mã, chẳng hạn yêu cầu một phần được viết bằng tiếng Đức hoặc một từ khóa xuất hiện ít nhất ba lần; và loại được một mô hình ngôn ngữ lớn (LLM) đánh giá, trong đó nêu rõ phần đó cần đề cập đến những gì. Các ràng buộc được đánh giá này được tính vào cùng điểm số với định dạng. Việc giới hạn phạm vi cũng biến mật độ ràng buộc — số ràng buộc gắn với một phần cụ thể — thành một tham số được thiết lập khi tạo nhiệm vụ.

Tất cả nhiệm vụ đều là dữ liệu tổng hợp: chủ đề lấy từ Wikipedia, dàn ý và ràng buộc do một mô hình ngôn ngữ lớn tạo ra, còn một bộ lấy mẫu kiểm soát số ràng buộc được gán cho mỗi phần. Bộ chuẩn gồm 784 nhiệm vụ kiểm thử được chia thành mười tập: tài liệu ngắn có khoảng bốn phần và tài liệu dài có khoảng chín phần, mỗi loại có bốn mức mật độ; ngoài ra còn có hai tập phẳng, không có dàn ý, trong đó mọi ràng buộc đều áp dụng cho toàn bộ câu trả lời theo cách tương tự các bộ chuẩn hiện có như IFEval.

Vì cùng một bộ đánh giá vừa chấm điểm bộ chuẩn vừa cấp phần thưởng cho học tăng cường, AI21 đã kiểm tra các bộ đánh giá ứng viên bằng 305 ví dụ được con người gán nhãn trước khi chọn một bộ. Công ty cho biết bộ đánh giá Gemma-4-31B không giới hạn phạm vi chấp nhận 292 ví dụ trong số đó, trong khi thực tế chỉ có 227 ví dụ đáp ứng yêu cầu; còn Qwen2.5-32B không giới hạn phạm vi đạt macro-F1 0,44, xấp xỉ mức 0,43 của cách luôn trả lời “có”. Giới hạn bộ đánh giá vào phần văn bản mà mỗi ràng buộc chi phối giúp macro-F1 tăng từ 11 đến 19 điểm — mức tác động lớn nhất trong số các biến được thử nghiệm — và AI21 đã chọn Gemma-4-31B có giới hạn phạm vi. Trong các tập được phát hành, mỗi nhiệm vụ đều ghi google/gemma-4-31B-it làm bộ đánh giá; kho lưu trữ lưu ý rằng chỉ có thể so sánh điểm số giữa những lượt chạy sử dụng cùng một bộ đánh giá. Trong các tập có cấu trúc, ràng buộc về cấu trúc chiếm 10% trọng số điểm số và ràng buộc về nội dung chiếm 90%; nhiệm vụ phẳng không có ràng buộc về cấu trúc, nên nội dung chiếm toàn bộ trọng số.

Bộ chuẩn cho thấy điều gì về các mô hình hiện nay

AI21 đánh giá 17 mô hình, với tám mẫu cho mỗi nhiệm vụ. Công ty cho biết trên các nhiệm vụ có cấu trúc, GPT-5.5 đạt điểm trung bình 0,96; còn trên các nhiệm vụ phẳng, không mô hình nào vượt quá 0,85 và các mô hình đóng dẫn đầu đạt điểm trung bình từ 0,65 đến 0,72. Các tác giả bài báo cũng cho biết những mô hình tiên tiến nhất gặp khó khăn với các tập con khó hơn của bộ chuẩn. Theo AI21, khoảng cách giữa nhiệm vụ có cấu trúc và nhiệm vụ phẳng không phải do số lượng ràng buộc: khi chỉ xét các nhiệm vụ có tối đa mười ràng buộc, mọi mô hình ngoại trừ Qwen3.8-A95B vẫn đạt điểm thấp hơn trên nhiệm vụ phẳng; ngoài ra, các điểm chỉ có thể ghi được ở nhiệm vụ có cấu trúc nhờ dàn ý chiếm 10% tổng điểm.

Theo công ty, thứ hạng giữa hai dạng nhiệm vụ cũng thay đổi. Trong số chín mô hình chính được theo dõi, GPT-5.5 đứng đầu ở các nhiệm vụ có cấu trúc nhưng xếp thứ năm ở các nhiệm vụ phẳng; hai mô hình có điểm trung bình tổng thể cao nhất là các mô hình có trọng số mở Kimi K3 và DeepSeek V4 Pro. Khi giữ nguyên các ràng buộc của một phần nhưng bổ sung ràng buộc cho những phần còn lại của tài liệu, Kimi K3 mất 0,4% ở mỗi mức mật độ, GPT-5.5 mất 1,5%, còn GPT-5 nano mất 5,5%.

Huấn luyện bằng điểm số của bộ chuẩn làm phần thưởng

LIFT-Train sử dụng nguyên trạng điểm số của bộ benchmark làm phần thưởng RL cho 34.258 tác vụ từ cùng một trình tạo; kho mã lưu ý rằng cùng một giá trị vô hướng constraint_reward vừa là chỉ số của bộ benchmark, vừa là phần thưởng, không có mô hình phần thưởng riêng. AI21 huấn luyện Qwen2.5-7B bằng GRPO trên LIFT-Train và IFTrain. Trên IFTrain, phần thưởng đạt 1.0 ở bước 180, trong khi độ dài câu trả lời trung vị giảm từ 114 từ xuống còn 18 từ ở bước 390. Trên LIFT-Train, độ dài câu trả lời trung vị duy trì trong khoảng 390 đến 530 từ, và không có câu trả lời nào đạt điểm cao dưới 30 từ.

Một lát cắt chỉ gồm các tác vụ dạng phẳng của LIFT-Train, có định dạng bề mặt giống IFTrain nhưng vẫn giữ nội dung trong phần thưởng, cũng được huấn luyện ổn định. AI21 cho biết điều này cho thấy nội dung trong phần thưởng, chứ không phải định dạng, mới là yếu tố quyết định, đồng thời lưu ý rằng chủ đề của các tập dữ liệu vẫn khác nhau: Wikipedia so với WildChat. Trên năm bộ benchmark sau 180 bước GRPO, mỗi công thức đều đạt kết quả tốt nhất trên bộ benchmark tương ứng; trên AdvancedIF và ComplexBench, vốn cũng chấm điểm nội dung, IFTrain giảm sút trong khi LIFT-Train giữ ổn định. AI21 mô tả những chênh lệch nhỏ này là tránh được sự suy giảm, chứ không phải một chiến thắng trên diện rộng.

Theo AI21, khi huấn luyện Qwen3-32B riêng trên từng phạm vi và trên một tập kết hợp, huấn luyện chỉ với dữ liệu có cấu trúc đạt 0.805 trên các tác vụ dạng phẳng, còn huấn luyện chỉ với dữ liệu dạng phẳng đạt 0.798 trên các tác vụ có cấu trúc; các kết quả này lần lượt thấp hơn mức 0.896 và 0.919 của tập kết hợp. Chương trình học theo lộ trình từ dễ đến khó không tạo ra khác biệt. Trong phần tổng kết, công ty khuyến nghị các nhóm huấn luyện khả năng làm theo chỉ dẫn nên đo lường tác vụ thay vì chỉ đánh giá các quy tắc, đối chiếu bộ chấm điểm với nhãn do con người gán, chọn mô hình nền tảng dựa trên kết quả đánh giá trong phạm vi đã xác định thay vì bảng xếp hạng tác vụ dạng phẳng, đồng thời dùng kết quả đánh giá làm phần thưởng và theo dõi độ dài câu trả lời cùng với đường cong phần thưởng.

Khả năng cung cấp

LIFT-Bench, LIFT-Train và quy trình tổng hợp có sẵn trên GitHub theo giấy phép Apache-2.0; các phần dữ liệu của bộ benchmark được lưu trữ trên Hugging Face Hub với tên ai21labs/LIFTBench. Các tác vụ được xuất ra theo định dạng mà thư viện verifiers của PrimeIntellect hỗ trợ trực tiếp để đánh giá và huấn luyện RL; kho mã cũng cung cấp một tập kết hợp huấn luyện prime-rl gồm năm phần, với 17.129 tác vụ. Các loại ràng buộc có thể xác minh bao gồm ngôn ngữ, quy ước viết hoa, số lượng từ khóa, số lượng emoji và cấu trúc tài liệu khớp với dàn ý.