Zephyr-7B: Giới Thiệu Về Chưng Cất Trực Tiếp Của Sự Liên Kết Trong Mô Hình Ngôn Ngữ

Các mô hình ngôn ngữ lớn nguồn mở có quy mô nhỏ đã tiến bộ đáng kể, từ GPT-2 đến những mô hình gọn, chính xác và hiệu quả hơn. Chúng được huấn luyện với số token lớn hơn mức từng được coi là tối ưu về tính toán theo quy luật Chinchilla. Một cách cải thiện tiếp là dSFT, tức tinh chỉnh có giám sát bằng chưng cất: dùng đầu ra của mô hình giáo viên làm dữ liệu cho mô hình học sinh.

Zephyr-7B hướng đến kết quả hàng đầu trên các bộ đánh giá hội thoại cho mô hình 7 tỷ tham số mà không cần con người gán nhãn. Mục tiêu là tạo mô hình nhỏ phù hợp hơn với ý định người dùng. Ngoài dSFT, Zephyr nghiên cứu việc học từ dữ liệu ưu tiên để cải thiện sự căn chỉnh này. Bài viết trình bày kiến trúc, cách hoạt động và kết quả.

Zephyr-7B: chưng cất trực tiếp khả năng căn chỉnh

Các mô hình tiến bộ từ GPT-2 đến GPT-4 và MiniGPT-5, với độ chính xác và hiệu quả cao hơn nhưng sử dụng nhiều token huấn luyện. Mô hình nhỏ có thể học thêm bằng dSFT từ đầu ra của mô hình mạnh, kể cả mô hình độc quyền. Chưng cất giúp khai thác năng lực mô hình mở trên nhiều tác vụ nhưng chưa tái tạo hoàn toàn hiệu suất giáo viên. Người dùng vẫn gặp tình trạng mô hình không hành xử đúng yêu cầu, dẫn đến câu trả lời không phù hợp.

AlpacaEval và MT-Bench được phát triển để đánh giá vấn đề này. Zephyr dùng phản hồi AI (AIF) để thu thập ưu tiên từ các câu trả lời của nhiều mô hình, rồi tối ưu trực tiếp bằng dDPO — distilled direct preference optimization, tức tối ưu hóa ưu tiên trực tiếp bằng chưng cất. Khác với PPO, phương pháp này không cần lấy mẫu bằng học tăng cường trong bước tối ưu ưu tiên và không cần nhãn do con người cung cấp.

Lưu ý về thuật ngữ: Bài tiếng Anh có chỗ mở rộng sai dDPO thành một thuật ngữ liên quan đến khuếch tán và mô tả các bước khử nhiễu. Báo cáo Zephyr, arXiv:2310.16944, xác định dDPO là “distilled direct preference optimization”; phần mô tả khử nhiễu không thuộc phương pháp căn chỉnh này.

Zephyr-7B là phiên bản căn chỉnh của Mistral-7B. Trước hết mô hình được dSFT bằng UltraChat, sau đó học dDPO từ phản hồi. Thử nghiệm cho thấy mô hình 7 tỷ tham số có thể đạt kết quả hội thoại tương đương các mô hình được căn chỉnh bằng phản hồi con người có hơn 70 tỷ tham số. Học ưu tiên đóng vai trò quan trọng trong việc cải thiện cả hội thoại và một số đánh giá học thuật.

Hình trên so sánh MT-Bench với các mô hình lớn, độc quyền hoặc mở như GPT-3.5-Turbo và Llama-2-70B đã dùng thêm học tăng cường cùng nhiều phản hồi con người. Dù nhỏ hơn nhiều, Zephyr-7B có kết quả tương đương phần lớn đối tượng so sánh và vượt một số mô hình ở từng lĩnh vực.

Phương pháp, hoạt động và kiến trúc

Mục tiêu là căn chỉnh mô hình ngôn ngữ lớn mở với ý định người dùng. Phương pháp giả định có thể truy vấn mô hình giáo viên lớn bằng prompt, tương tự cách InstructGPT xây dựng mô hình học sinh hiệu quả.

1. dSFT xây dựng dữ liệu lớn theo cách tự tạo chỉ dẫn.
2. AIF thu thập câu trả lời từ nhiều mô hình hội thoại, dùng GPT-4 chấm điểm và chuyển thành cặp ưu tiên nhị phân.
3. dDPO tối ưu mô hình đã dSFT bằng dữ liệu phản hồi.

dSFT: tinh chỉnh có giám sát bằng chưng cất

Mô hình nền ban đầu cần học cách phản hồi prompt. SFT thông thường dùng chỉ dẫn chất lượng cao cùng câu trả lời tương ứng. Khi có mô hình giáo viên, hệ thống có thể tự sinh chỉ dẫn và phản hồi để huấn luyện trực tiếp; đó là dSFT. Trong sơ đồ, x là các prompt hạt giống bao phủ nhiều chủ đề, y là câu trả lời mẫu, x1 là chỉ dẫn mới dùng để cải thiện mẫu, và C là điểm cuối trong tập dữ liệu.

Phản hồi AI thông qua ưu tiên

Phản hồi con người thường cung cấp tín hiệu về chất lượng câu trả lời. Zephyr thay bằng đánh giá của mô hình giáo viên đối với đầu ra từ mô hình khác, theo hướng UltraFeedback. Mỗi prompt x được gửi đến một nhóm bốn mô hình như Llama, Falcon, Claude và các mô hình khác. Giáo viên như GPT-3 hoặc GPT-4 chấm từng phản hồi, rồi hệ thống lưu câu trả lời có điểm cao nhất.

dDPO: tối ưu hóa ưu tiên trực tiếp bằng chưng cất

Bước cuối cải thiện mô hình học sinh đã qua dSFT để tăng xác suất của câu trả lời được ưu tiên so với câu trả lời bị loại. PPO, tức Proximal Policy Optimization, thường học mô hình phần thưởng rồi lấy mẫu chính sách hiện tại để tính cập nhật. DPO tối ưu trực tiếp trên dữ liệu ưu tiên tĩnh thay vì quy trình học tăng cường đó. Hàm mục tiêu sau khi thay hàm phần thưởng vào mô hình ưu tiên được trình bày dưới đây.

Thử nghiệm, bộ đánh giá và kết quả

Thử nghiệm tinh chỉnh dùng Mistral-7B, vốn có kết quả tương đương nhiều mô hình lớn hơn trên các tác vụ NLP.

Dữ liệu

Hai tập hội thoại được chưng cất từ tổ hợp mô hình mở và độc quyền đã chứng minh hiệu quả khi xây dựng mô hình trò chuyện.

UltraChat

Gồm gần 1,5 triệu hội thoại nhiều lượt trên 30 chủ đề và 20 loại tài liệu văn bản do GPT-3.5-Turbo tạo. Hệ thống dùng quy tắc hiệu chỉnh chữ hoa/chữ thường để xử lý lỗi viết hoa trong dữ liệu.

UltraFeedback

Có hơn 64.000 prompt, mỗi prompt có bốn phản hồi LLM. Phản hồi có điểm trung bình cao nhất được chọn, còn một trong ba phản hồi còn lại được chọn ngẫu nhiên làm phương án bị loại để tạo cặp ưu tiên.

Đánh giá

Hai bộ đánh giá hội thoại kiểm tra khả năng làm theo chỉ dẫn và trả lời phù hợp.

MT-Bench

Có 160 câu hỏi thuộc tám lĩnh vực. Mô hình trả lời câu hỏi ban đầu rồi câu hỏi tiếp nối.

AlpacaEval

Đánh giá một lượt với hơn 800 câu hỏi thuộc nhiều chủ đề, tập trung vào tính hữu ích của câu trả lời.

Zephyr-7B còn được đánh giá trên Open LLM Leaderboard với các tác vụ phân loại nhiều lớp như ARC, HellaSwag và MMLU. Các so sánh bao gồm mô hình mở và độc quyền, với quy trình căn chỉnh khác nhau.

Kết quả

dDPO cải thiện khả năng hội thoại

Bảng dưới so sánh AlpacaEval và MT-Bench.

Trong nhóm mô hình mở 7B, Zephyr-7B vượt đáng kể các mô hình chỉ dùng dSFT và thiết lập kết quả hàng đầu trong so sánh. Nó cũng vượt XWIN-LM-7B, một mô hình dùng dPPO, và đạt hiệu suất tương đương Llama2-Chat có hơn 70 tỷ tham số.

dDPO cải thiện tác vụ học thuật

Hình sau so sánh với nhiều mô hình mở và độc quyền.

Zephyr-7B vượt rõ các mô hình 7 tỷ tham số và các mô hình dSFT tốt nhất trong nhóm so sánh. Khi quy mô đối thủ tăng, nó không còn dẫn đầu nhưng vẫn đạt mức tương đương những mô hình 40 tỷ tham số.

Tối ưu hóa ưu tiên

Các bước căn chỉnh ảnh hưởng đến kết quả như sau: dDPO kết hợp dSFT cải thiện đáng kể cả MT-Bench lẫn AlpacaEval.

Hình cuối thể hiện độ chính xác huấn luyện và kiểm tra trong DPO. Theo phân tích của bài gốc, DPO không làm suy giảm hiệu suất trên các tác vụ phía sau.

Kết luận

Zephyr-7B dựa trên Mistral-7B và giải quyết việc chưng cất khả năng căn chỉnh từ mô hình lớn sang mô hình nhỏ đã tiền huấn luyện. Ngoài dSFT, học ưu tiên giúp mô hình hội thoại phù hợp hơn với ý định người dùng.

Kết quả vẫn có hạn chế. GPT-4 được dùng chấm MT-Bench và AlpacaEval có thể thiên vị những mô hình học từ chính nó. Tuy vậy, phương pháp mở ra hướng khám phá các mô hình mở nhỏ hơn nhưng đáp ứng tốt hơn nhu cầu tương tác.