Những tiến bộ gần đây trong kiến trúc và hiệu suất của Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) đã nhấn mạnh tầm quan trọng của dữ liệu và mô hình có thể mở rộng để tăng cường hiệu suất. Mặc dù phương pháp này giúp tăng cường hiệu suất, nhưng nó cũng đòi hỏi chi phí tính toán đáng kể, hạn chế tính thực tế và khả năng sử dụng của các phương pháp này. Trong những năm qua, Mô hình Mixture of Experts (MoE) đã xuất hiện như một phương pháp thay thế thành công để tăng quy mô hiệu quả các mô hình ngôn ngữ và hình ảnh lớn, vì Mô hình Mixture of Experts có chi phí tính toán thấp hơn và hiệu suất mạnh mẽ. Tuy nhiên, mặc dù có những lợi thế, Mô hình Mixture of Experts không phải là phương pháp lý tưởng để tăng quy mô mô hình ngôn ngữ lớn, vì chúng thường liên quan đến ít chuyên gia và số lượng phương thức hạn chế, do đó hạn chế các ứng dụng.

Để vượt qua các rào cản mà các phương pháp hiện tại gặp phải và tăng quy mô mô hình ngôn ngữ lớn một cách hiệu quả, trong bài viết này, chúng tôi sẽ thảo luận về Uni-MoE, một mô hình ngôn ngữ lớn đa phương thức thống nhất với kiến trúc Mixture of Experts (MoE) có khả năng xử lý nhiều phương thức và chuyên gia. Khung khổ Uni-MoE cũng thực hiện kiến trúc Mixture of Experts thưa thớt trong các mô hình ngôn ngữ lớn để làm cho quá trình đào tạo và suy luận trở nên hiệu quả hơn bằng cách sử dụng song song mô hình chuyên gia và dữ liệu. Hơn nữa, để tăng cường khả năng tổng quát hóa và hợp tác giữa các chuyên gia, khung khổ Uni-MoE trình bày một chiến lược đào tạo tiến bộ, kết hợp ba quá trình khác nhau. Đầu tiên, khung khổ Uni-MoE đạt được sự sắp xếp giữa các phương thức khác nhau bằng cách sử dụng các kết nối khác nhau với dữ liệu chéo giữa các phương thức. Thứ hai, khung khổ Uni-MoE kích hoạt sự ưu tiên của các thành phần chuyên gia bằng cách đào tạo chuyên gia cụ thể cho từng phương thức với dữ liệu hướng dẫn chéo giữa các phương thức. Cuối cùng, mô hình Uni-MoE thực hiện kỹ thuật học Low-Rank Adaptation (LoRA) trên dữ liệu hướng dẫn đa phương thức hỗn hợp để tinh chỉnh mô hình. Khi khung khổ Uni-MoE được đào tạo với dữ liệu hướng dẫn đa phương thức toàn diện, kết quả thực nghiệm rộng rãi đã nhấn mạnh lợi thế chính của khung khổ Uni-MoE trong việc giảm thiểu thiên vị hiệu suất khi xử lý dữ liệu đa phương thức hỗn hợp đáng kể. Kết quả cũng cho thấy sự cải thiện đáng kể trong hợp tác giữa các chuyên gia và khả năng tổng quát hóa.

Bài viết này nhằm mục đích trình bày khung khổ Uni-MoE một cách chi tiết, và chúng tôi khám phá cơ chế, phương pháp, kiến trúc của khung khổ cùng với so sánh với các khung khổ hiện đại. Vậy hãy bắt đầu.

Uni-MoE: Tăng quy mô Mô hình Ngôn ngữ Lớn Đa phương thức

Sự ra đời của các mô hình ngôn ngữ lớn đa phương thức mã nguồn mở, bao gồm LLama và InstantBlip, đã phác họa sự thành công đáng kể và tiến bộ trong các nhiệm vụ liên quan đến hiểu biết hình ảnh-văn bản trong những năm gần đây. Hơn nữa, cộng đồng AI đang tích cực xây dựng một mô hình ngôn ngữ lớn đa phương thức thống nhất có thể bao gồm nhiều phương thức, bao gồm hình ảnh, văn bản, âm thanh, video và nhiều hơn nữa, vượt ra ngoài khuôn khổ hình ảnh-văn bản truyền thống. Một phương pháp phổ biến được cộng đồng mã nguồn mở thực hiện để tăng cường khả năng của các mô hình ngôn ngữ lớn đa phương thức là tăng kích thước của các mô hình nền tảng tầm nhìn, tích hợp nó với các mô hình ngôn ngữ lớn có hàng tỷ tham số và sử dụng các tập dữ liệu đa phương thức đa dạng để tăng cường hiệu chỉnh hướng dẫn. Những phát triển này đã nhấn mạnh khả năng ngày càng tăng của các mô hình ngôn ngữ lớn đa phương thức trong việc suy luận và xử lý nhiều phương thức, thể hiện tầm quan trọng của việc mở rộng dữ liệu hướng dẫn đa phương thức và khả năng mở rộng mô hình.

Mặc dù việc tăng quy mô mô hình là một phương pháp đã được thử nghiệm và mang lại kết quả đáng kể, việc tăng quy mô mô hình là một quá trình tính toán tốn kém cho cả quá trình đào tạo và suy luận.

Để giải quyết vấn đề về chi phí tính toán cao, cộng đồng mã nguồn mở đang chuyển hướng tích hợp kiến trúc Mixture of Experts (MoE) vào các mô hình ngôn ngữ lớn để tăng cường hiệu quả đào tạo và suy luận. Trái ngược với các mô hình ngôn ngữ lớn đa phương thức và mô hình ngôn ngữ lớn sử dụng tất cả các tham số có sẵn để xử lý mỗi đầu vào, kiến trúc Mixture of Experts chỉ yêu cầu người dùng kích hoạt một tập hợp con của các tham số chuyên gia cho mỗi đầu vào. Kết quả là, kiến trúc Mixture of Experts xuất hiện như một phương pháp khả thi để tăng cường hiệu quả của các mô hình lớn mà không cần kích hoạt rộng rãi các tham số và chi phí tính toán cao. Mặc dù các công việc hiện có đã nhấn mạnh việc tích hợp thành công các mô hình Mixture of Experts vào xây dựng các mô hình ngôn ngữ lớn chỉ dành cho văn bản và hình ảnh-văn bản, các nhà nghiên cứu vẫn chưa khám phá đầy đủ tiềm năng của việc phát triển kiến trúc Mixture of Experts để xây dựng các mô hình ngôn ngữ lớn đa phương thức thống nhất mạnh mẽ.

Uni-MoE là một mô hình ngôn ngữ lớn đa phương thức tận dụng các mô hình Mixture of Experts thưa thớt để diễn giải và quản lý nhiều phương thức trong nỗ lực khám phá tăng quy mô các mô hình ngôn ngữ lớn đa phương thức thống nhất với kiến trúc MoE. Như được minh họa trong hình ảnh sau, khung khổ Uni-MoE đầu tiên thu được mã hóa của các phương thức khác nhau bằng cách sử dụng các bộ mã hóa cụ thể cho từng phương thức, sau đó ánh xạ các mã hóa này vào không gian biểu diễn ngôn ngữ của các mô hình ngôn ngữ lớn bằng cách sử dụng các kết nối được thiết kế. Các kết nối này chứa một mô hình transformer có thể đào tạo với các dự án tuyến tính tiếp theo để chưng cất và chiếu các biểu diễn đầu ra của bộ mã hóa bị đóng băng. Khung khổ Uni-MoE sau đó giới thiệu các lớp Mixture of Experts thưa thớt trong khối nội bộ của Mô hình Ngôn ngữ Lớn Dense. Kết quả là, mỗi khối dựa trên Mixture of Experts có một lớp tự chú ý chia sẻ áp dụng cho tất cả các phương thức, một bộ định tuyến thưa thớt để phân bổ chuyên môn ở cấp độ token, và các chuyên gia đa dạng dựa trên mạng nơ-ron hồi quy. Nhờ phương pháp này, khung khổ Uni-MoE có khả năng hiểu nhiều phương thức, bao gồm lời nói, âm thanh, văn bản, video, hình ảnh và chỉ yêu cầu kích hoạt một phần tham số trong quá trình suy luận.

Hơn nữa, để tăng cường hợp tác giữa các chuyên gia và khả năng tổng quát hóa, khung khổ Uni-MoE thực hiện một chiến lược đào tạo ba giai đoạn. Trong giai đoạn đầu, khung khổ sử dụng các cặp hình ảnh/âm thanh-văn bản rộng rãi để đào tạo kết nối tương ứng do sự đại diện phương thức thống nhất trong không gian ngôn ngữ của mô hình ngôn ngữ lớn. Thứ hai, mô hình Uni-MoE đào tạo các chuyên gia cụ thể cho từng phương thức bằng cách sử dụng các tập dữ liệu chéo giữa các phương thức riêng biệt trong nỗ lực tinh chỉnh chuyên môn của mỗi chuyên gia trong lĩnh vực của nó. Trong giai đoạn thứ ba, khung khổ Uni-MoE tích hợp các chuyên gia đã được đào tạo vào lớp Mixture of Experts của mô hình ngôn ngữ lớn và đào tạo toàn bộ khung khổ Uni-MoE với dữ liệu hướng dẫn đa phương thức hỗn hợp. Để giảm chi phí đào tạo thêm, khung khổ Uni-MoE sử dụng phương pháp học LoRA để tinh chỉnh các lớp tự chú ý và các chuyên gia đã được đào tạo trước.

Uni-MoE: Phương pháp và Kiến trúc

Động lực cơ bản đằng sau khung khổ Uni-MoE là chi phí đào tạo và suy luận cao của việc tăng quy mô các mô hình ngôn ngữ lớn đa phương thức, cùng với hiệu quả của các mô hình Mixture of Experts, và khám phá khả năng tạo ra một mô hình ngôn ngữ lớn đa phương thức thống nhất hiệu quả, mạnh mẽ và sử dụng kiến trúc MoE. Hình ảnh sau đây trình bày một biểu diễn của kiến trúc được thực hiện trong khung khổ Uni-MoE, thể hiện thiết kế bao gồm các bộ mã hóa riêng lẻ cho các phương thức khác nhau, tức là âm thanh, lời nói và hình ảnh, cùng với các kết nối tương ứng của chúng.

Khung khổ Uni-MoE sau đó tích hợp kiến trúc Mixture of Experts với các khối lõi của mô hình ngôn ngữ lớn, một quá trình quan trọng để tăng cường hiệu quả tổng thể của cả quá trình đào tạo và suy luận. Khung khổ Uni-MoE đạt được điều này bằng cách thực hiện một cơ chế định tuyến thưa thớt. Quá trình đào tạo tổng thể của khung khổ Uni-MoE có thể được chia thành ba giai đoạn: sắp xếp giữa các phương thức, đào tạo chuyên gia cụ thể cho từng phương thức và tinh chỉnh Uni-MoE bằng cách sử dụng một tập hợp đa dạng các tập dữ liệu hướng dẫn đa phương thức. Để chuyển đổi hiệu quả các đầu vào đa phương thức khác nhau thành định dạng ngôn ngữ, khung khổ Uni-MoE được xây dựng trên cơ sở LLaVA, một khung khổ ngôn ngữ-vision đã được đào tạo trước. Mô hình LLaVA cơ bản tích hợp CLIP làm bộ mã hóa hình ảnh của nó, cùng với một lớp dự án tuyến tính chuyển đổi các tính năng hình ảnh thành các token hình ảnh mềm. Hơn nữa, để xử lý nội dung video, khung khổ Uni-MoE chọn tám khung hình đại diện từ mỗi video và chuyển đổi chúng thành token video bằng cách tính toán trung bình để tổng hợp biểu diễn dựa trên hình ảnh hoặc khung hình của chúng. Đối với các nhiệm vụ âm thanh, khung khổ Uni-MoE triển khai hai bộ mã hóa, BEATs và bộ mã hóa Whisper, để tăng cường việc trích xuất tính năng. Mô hình sau đó chưng cất các vector tính năng âm thanh và lời nói cố định và chuyển đổi chúng thành token lời nói và âm thanh mềm qua một lớp dự án tuyến tính.

Chiến lược Đào tạo

Khung khổ Uni-MoE giới thiệu một chiến lược đào tạo tiến bộ cho sự phát triển tăng dần của mô hình. Chiến lược đào tạo tiến bộ được giới thiệu nhằm tận dụng các khả năng riêng biệt của các chuyên gia khác nhau, tăng cường hiệu quả hợp tác giữa các chuyên gia và tăng cường khả năng tổng quát hóa tổng thể của khung khổ. Quá trình đào tạo được chia thành ba giai đoạn với nỗ lực hiện thực hóa cấu trúc MLLM được xây dựng trên cơ sở Mixture of Experts tích hợp.

Giai đoạn 1: Sắp xếp giữa các Phương thức

Trong giai đoạn đầu, khung khổ Uni-MoE cố gắng thiết lập kết nối giữa các phương thức ngôn ngữ và phương thức khác nhau. Khung khổ Uni-MoE đạt được điều này bằng cách dịch dữ liệu phương thức thành token mềm bằng cách xây dựng các kết nối. Mục tiêu chính của giai đoạn đào tạo đầu tiên là giảm thiểu sự mất mát entropy sinh. Trong khung khổ Uni-MoE, mô hình ngôn ngữ lớn được tối ưu hóa để tạo ra các mô tả cho đầu vào trên các phương thức khác nhau, và mô hình chỉ đào tạo các kết nối, một chiến lược cho phép khung khổ Uni-MoE tích hợp các phương thức khác nhau trong một khuôn khổ ngôn ngữ thống nhất.

Giai đoạn 2: Đào tạo Chuyên gia Cụ thể cho từng Phương thức

Trong giai đoạn thứ hai, khung khổ Uni-MoE tập trung vào việc phát triển các chuyên gia đơn phương thức bằng cách đào tạo mô hình chuyên dụng trên dữ liệu chéo giữa các phương thức cụ thể. Mục tiêu chính là tinh chỉnh chuyên môn của mỗi chuyên gia trong lĩnh vực của nó, do đó tăng cường hiệu suất tổng thể của hệ thống Mixture of Experts trên một loạt các dữ liệu đa phương thức. Hơn nữa, khung khổ Uni-MoE điều chỉnh các mạng nơ-ron hồi quy để phù hợp hơn với các đặc điểm của phương thức trong khi duy trì sự mất mát entropy sinh làm chỉ số đào tạo chính.

Giai đoạn 3: Tinh chỉnh Uni-MoE

Trong giai đoạn thứ ba và cuối cùng, khung khổ Uni-MoE tích hợp các trọng số được tinh chỉnh bởi các chuyên gia trong giai đoạn 2 vào các lớp Mixture of Experts. Khung khổ Uni-MoE sau đó tinh chỉnh các MLLM bằng cách sử dụng dữ liệu hướng dẫn đa phương thức hỗn hợp chung. Các đường cong mất mát trong hình ảnh sau phản ánh tiến trình của quá trình đào tạo.

Phân tích so sánh giữa các cấu hình của Mixture of Experts cho thấy rằng các chuyên gia mà mô hình tinh chỉnh trong giai đoạn đào tạo thứ 2 đã thể hiện sự ổn định được cải thiện và đạt được sự hội tụ nhanh hơn trên các tập dữ liệu đa phương thức hỗn hợp. Hơn nữa, trên các nhiệm vụ liên quan đến dữ liệu đa phương thức phức tạp, bao gồm văn bản, hình ảnh, âm thanh, video, khung khổ Uni-MoE đã thể hiện hiệu suất đào tạo nhất quán hơn và giảm thiểu sự biến động của mất mát khi sử dụng bốn chuyên gia hơn là khi sử dụng hai chuyên gia.

Uni-MoE: Thử nghiệm và Kết quả

Bảng sau tóm tắt các thông số kỹ thuật kiến trúc của khung khổ Uni-MoE. Mục tiêu chính của khung khổ Uni-MoE, được xây dựng trên kiến trúc LLaMA-7B, là tăng quy mô mô hình.

Bảng sau tóm tắt thiết kế và tối ưu hóa của khung khổ Uni-MoE theo hướng dẫn của các nhiệm vụ đào tạo chuyên dụng. Các nhiệm vụ này đóng vai trò quan trọng trong việc tinh chỉnh khả năng của các lớp MLP, từ đó tận dụng kiến thức chuyên sâu của chúng để tăng cường hiệu suất mô hình. Khung khổ Uni-MoE thực hiện tám nhiệm vụ chuyên gia đơn phương thức để làm rõ tác động khác nhau của các phương pháp đào tạo khác nhau.

Mô hình đánh giá hiệu suất của các biến thể mô hình khác nhau trên một tập hợp các tiêu chuẩn đa dạng, bao gồm hai nhiệm vụ hiểu video, ba nhiệm vụ hiểu âm thanh và năm nhiệm vụ liên quan đến lời nói. Đầu tiên, mô hình được kiểm tra khả năng hiểu nhiệm vụ hình ảnh-văn bản và văn bản-lời nói, và kết quả được chứa trong bảng sau.

Như có thể quan sát được, các mô hình cơ sở trước đó đã cung cấp kết quả kém hơn trên các nhiệm vụ hiểu lời nói, điều này cũng ảnh hưởng đến hiệu suất trên các nhiệm vụ lý luận hình ảnh-lời nói. Kết quả cho thấy rằng việc giới thiệu kiến trúc Mixture of Experts có thể tăng cường khả năng tổng quát hóa của MLLM trên các nhiệm vụ lý luận hình ảnh-âm thanh chưa từng thấy. Bảng sau trình bày kết quả thực nghiệm trên các nhiệm vụ hiểu hình ảnh-văn bản. Như có thể quan sát được, kết quả tốt nhất từ các mô hình Uni-MoE đã vượt qua các mô hình cơ sở và vượt qua nhiệm vụ hiệu chỉnh với một biên độ trung bình là 4 điểm.

Lời Kết

Trong bài viết này, chúng tôi đã thảo luận về Uni-MoE, một mô hình ngôn ngữ lớn đa phương thức thống nhất với kiến trúc Mixture of Experts (MoE) có khả năng xử lý nhiều phương thức và chuyên gia. Khung khổ Uni-MoE cũng thực hiện kiến trúc Mixture of Experts thưa thớt trong các mô hình ngôn ngữ lớn để làm cho quá trình đào tạo và suy luận trở nên hiệu quả hơn bằng cách sử dụng song song mô hình chuyên gia và dữ liệu. Hơn nữa, để tăng cường khả năng tổng quát hóa và hợp tác giữa các chuyên gia, khung khổ Uni-MoE trình bày một chiến lược đào tạo tiến bộ, kết hợp ba quá trình khác nhau. Đầu tiên, khung khổ Uni-MoE đạt được sự sắp xếp giữa các phương thức khác nhau bằng cách sử dụng các kết nối khác nhau với dữ liệu chéo giữa các phương thức. Thứ hai, khung khổ Uni-MoE kích hoạt sự ưu tiên của các thành phần chuyên gia bằng cách đào tạo chuyên gia cụ thể cho từng phương thức với dữ liệu hướng dẫn chéo giữa các phương thức. Cuối cùng, mô hình Uni-MoE thực hiện kỹ thuật học Low-Rank Adaptation (LoRA) trên dữ liệu hướng dẫn đa phương thức hỗn hợp để tinh chỉnh mô hình.