Mô hình Mixture of Experts (MoE) 8x7B mới nhất của Mistral AI

Mistral AI

là một công ty khởi nghiệp mô hình mã nguồn mở có trụ sở tại Paris, đã thách thức các chuẩn mực bằng cách phát hành mô hình ngôn ngữ lớn (LLM) mới nhất của họ, MoE 8x7B, thông qua một liên kết torrent đơn giản torrent. Điều này trái ngược với cách tiếp cận truyền thống của Google (GOOGL ) với việc phát hành Gemini, tạo ra sự bàn luận và hứng thú trong cộng đồng AI.

Cách tiếp cận của Mistral AI trong việc phát hành sản phẩm luôn không chính thống. Thường xuyên bỏ qua các yếu tố đi kèm như giấy tờ, blog hoặc thông cáo báo chí, chiến lược của họ đã chứng minh hiệu quả trong việc thu hút sự chú ý của cộng đồng AI.

Gần đây, công ty đã đạt được một mức định giá đáng kinh ngạc $2 tỷ sau một vòng tài trợ do Andreessen Horowitz dẫn đầu. Vòng tài trợ này đã tạo ra một kỷ lục với một vòng tài trợ hạt giống trị giá 118 triệu đô la, lớn nhất trong lịch sử châu Âu. Ngoài thành công trong việc tài trợ, Mistral AI cũng tích cực tham gia vào các cuộc thảo luận về Đạo luật AI của EU, vận động cho việc giảm quy định đối với AI mã nguồn mở.

Tại sao MoE 8x7B lại thu hút sự chú ý

Được mô tả là “GPT-4 thu nhỏ”, mô hình Mixtral 8x7B sử dụng khuôn khổ Mixture of Experts (MoE) với tám chuyên gia. Mỗi chuyên gia có 111 tỷ tham số, kết hợp với 55 tỷ tham số chú ý chia sẻ, để tạo ra tổng cộng 166 tỷ tham số trên mỗi mô hình. Sự lựa chọn thiết kế này rất quan trọng vì nó cho phép chỉ hai chuyên gia tham gia vào việc suy luận của mỗi token, thể hiện sự chuyển dịch hướng tới việc xử lý AI hiệu quả và tập trung hơn.

Một trong những điểm nổi bật của Mixtral là khả năng quản lý một ngữ cảnh rộng lớn với 32.000 token, cung cấp phạm vi rộng lớn cho việc xử lý các nhiệm vụ phức tạp. Khả năng đa ngôn ngữ của mô hình bao gồm hỗ trợ mạnh mẽ cho tiếng Anh, tiếng Pháp, tiếng Ý, tiếng Đức và tiếng Tây Ban Nha, phục vụ cho cộng đồng nhà phát triển toàn cầu.

Quá trình tiền huấn luyện của Mixtral liên quan đến dữ liệu được lấy từ mạng mở, với một phương pháp huấn luyện đồng thời cho cả chuyên gia và bộ định tuyến. Phương pháp này đảm bảo rằng mô hình không chỉ rộng lớn về không gian tham số mà còn được tinh chỉnh để phù hợp với những sắc thái của dữ liệu mà nó đã được tiếp xúc.

Mixtral 8x7B đạt được điểm số ấn tượng

Mixtral 8x7B vượt trội so với LLaMA 2 70B và đối thủ GPT-3.5, đặc biệt là trong nhiệm vụ MBPP với tỷ lệ thành công 60,7%, cao hơn đáng kể so với các mô hình khác. Thậm chí trong nhiệm vụ MT-Bench nghiêm ngặt dành cho các mô hình tuân theo hướng dẫn, Mixtral 8x7B đạt được điểm số ấn tượng, gần như tương đương với GPT-3.5

Hiểu về khuôn khổ Mixture of Experts (MoE)

Mô hình Mixture of Experts (MoE), trong khi gần đây nhận được sự chú ý do việc tích hợp vào các mô hình ngôn ngữ hàng đầu như MoE 8x7B của Mistral AI, thực sự bắt nguồn từ những khái niệm cơ bản đã có từ nhiều năm trước. Hãy cùng tìm hiểu lại nguồn gốc của ý tưởng này thông qua các bài nghiên cứu cơ bản.

Khái niệm MoE

Mixture of Experts (MoE) đại diện cho một sự thay đổi范式 trong kiến trúc mạng nơ-ron. Không giống như các mô hình truyền thống sử dụng một mạng lưới đồng nhất để xử lý tất cả các loại dữ liệu, MoE áp dụng một cách tiếp cận chuyên biệt và mô-đun hơn. Nó bao gồm nhiều mạng lưới chuyên gia, mỗi mạng lưới được thiết kế để xử lý các loại dữ liệu hoặc nhiệm vụ cụ thể, dưới sự giám sát của một mạng lưới cổng (gating network) động, điều khiển dữ liệu đầu vào đến chuyên gia phù hợp.

Một lớp Mixture of Experts (MoE) được nhúng trong một mô hình ngôn ngữ tuần hoàn (Nguồn)

Hình ảnh trên cung cấp một cái nhìn tổng quan về một lớp MoE được nhúng trong một mô hình ngôn ngữ. Về bản chất, lớp MoE bao gồm nhiều mạng lưới con (sub-networks) hướng tới (feed-forward), được gọi là chuyên gia, mỗi chuyên gia có tiềm năng chuyên biệt hóa trong việc xử lý các khía cạnh khác nhau của dữ liệu. Một mạng lưới cổng (gating network) xác định哪 chuyên gia sẽ được kích hoạt cho một đầu vào cụ thể. Sự kích hoạt có điều kiện này cho phép mạng lưới tăng đáng kể khả năng của mình mà không cần tăng tương ứng nhu cầu tính toán.

Chức năng của lớp MoE

Trong thực tế, mạng lưới cổng đánh giá đầu vào (được ký hiệu là G(x) trong sơ đồ) và chọn một tập hợp chuyên gia thưa thớt để xử lý nó. Sự lựa chọn này được điều chỉnh bởi đầu ra của mạng lưới cổng, hiệu quả trong việc xác định ‘phiếu bầu’ hoặc đóng góp của mỗi chuyên gia vào đầu ra cuối cùng. Ví dụ, như được hiển thị trong sơ đồ, chỉ hai chuyên gia có thể được chọn để tính toán đầu ra cho mỗi token cụ thể, làm cho quá trình này hiệu quả bằng cách tập trung tài nguyên tính toán nơi chúng được cần nhất.

Bộ mã hóa Transformer với các lớp MoE (Nguồn)

Hình ảnh thứ hai trên đối chiếu một bộ mã hóa Transformer truyền thống với một bộ mã hóa được tăng cường bởi một lớp MoE. Kiến trúc Transformer, được biết đến rộng rãi với hiệu quả trong các nhiệm vụ liên quan đến ngôn ngữ, truyền thống bao gồm các lớp tự chú ý và hướng tới được xếp chồng lên nhau. Việc giới thiệu các lớp MoE thay thế một số lớp hướng tới này, cho phép mô hình mở rộng về khả năng một cách hiệu quả hơn.

Trong mô hình tăng cường, các lớp MoE được phân chia trên nhiều thiết bị, thể hiện một cách tiếp cận song song về mô hình. Điều này rất quan trọng khi mở rộng quy mô lên các mô hình rất lớn, vì nó cho phép phân phối tải tính toán và yêu cầu bộ nhớ trên một cụm thiết bị, chẳng hạn như GPU hoặc TPU. Việc phân chia này là thiết yếu cho việc huấn luyện và triển khai các mô hình có hàng tỷ tham số một cách hiệu quả, như được chứng minh bởi việc huấn luyện các mô hình có hàng trăm tỷ đến hơn một nghìn tỷ tham số trên các cụm tính toán lớn.

Phương pháp MoE thưa với điều chỉnh hướng dẫn trên LLM

Bài báo có tiêu đề “Sparse Mixture-of-Experts (MoE) cho mô hình ngôn ngữ có thể mở rộng” thảo luận về một phương pháp sáng tạo để cải thiện các Mô hình Ngôn ngữ Lớn (LLM) bằng cách tích hợp kiến trúc Mixture of Experts với các kỹ thuật điều chỉnh hướng dẫn.

Nó nhấn mạnh một thách thức phổ biến mà các mô hình MoE không thể đạt được hiệu suất như các mô hình dày có cùng khả năng tính toán khi được tinh chỉnh cho các nhiệm vụ cụ thể do sự khác biệt giữa việc tiền huấn luyện chung và tinh chỉnh nhiệm vụ cụ thể.

Điều chỉnh hướng dẫn là một phương pháp huấn luyện trong đó các mô hình được tinh chỉnh để tuân theo các hướng dẫn ngôn ngữ tự nhiên một cách hiệu quả hơn, thực sự tăng cường hiệu suất nhiệm vụ của chúng. Bài báo đề xuất rằng các mô hình MoE cho thấy sự cải thiện đáng kể khi kết hợp với điều chỉnh hướng dẫn, nhiều hơn so với các mô hình dày. Kỹ thuật này căn chỉnh các biểu diễn được tiền huấn luyện của mô hình để tuân theo hướng dẫn một cách hiệu quả hơn, dẫn đến các cải thiện hiệu suất đáng kể.

Các nhà nghiên cứu đã thực hiện các nghiên cứu trên ba thiết lập thí nghiệm, cho thấy rằng các mô hình MoE ban đầu không thể đạt được hiệu suất như các mô hình dày trong việc tinh chỉnh nhiệm vụ cụ thể. Tuy nhiên, khi điều chỉnh hướng dẫn được áp dụng, các mô hình MoE đã vượt trội, đặc biệt là khi được bổ sung thêm tinh chỉnh nhiệm vụ cụ thể. Điều này cho thấy rằng điều chỉnh hướng dẫn là một bước quan trọng để các mô hình MoE có thể vượt trội so với các mô hình dày trong các nhiệm vụ hạ nguồn.

Tác động của điều chỉnh hướng dẫn lên MOE

Nó cũng giới thiệu FLAN-MOE32B, một mô hình chứng minh sự áp dụng thành công của những khái niệm này. Đáng chú ý, nó vượt trội so với FLAN-PALM62B, một mô hình dày, trên các nhiệm vụ chuẩn, trong khi chỉ sử dụng một phần ba tài nguyên tính toán. Điều này thể hiện tiềm năng của các mô hình MoE thưa kết hợp với điều chỉnh hướng dẫn để thiết lập các tiêu chuẩn mới cho hiệu quả và hiệu suất của LLM.

Áp dụng Mixture of Experts trong các kịch bản thực tế

Sự đa năng của các mô hình MoE làm cho chúng lý tưởng cho một loạt các ứng dụng:

• Xử lý Ngôn ngữ Tự nhiên (NLP): Các mô hình MoE có thể xử lý các sắc thái và phức tạp của ngôn ngữ con người một cách hiệu quả hơn, làm cho chúng lý tưởng cho các nhiệm vụ NLP tiên tiến.
• Xử lý Hình ảnh và Video: Trong các nhiệm vụ yêu cầu xử lý độ phân giải cao, MoE có thể quản lý các khía cạnh khác nhau của hình ảnh hoặc khung hình video, tăng cường cả chất lượng và tốc độ xử lý.
• Giải pháp AI tùy chỉnh: Các doanh nghiệp và nhà nghiên cứu có thể tùy chỉnh các mô hình MoE cho các nhiệm vụ cụ thể, dẫn đến các giải pháp AI được nhắm mục tiêu và hiệu quả hơn.

Thách thức và xem xét

Mặc dù các mô hình MoE cung cấp nhiều lợi ích, chúng cũng trình bày các thách thức độc đáo:

• Sự phức tạp trong huấn luyện và tinh chỉnh: Bản chất phân tán của các mô hình MoE có thể làm phức tạp quá trình huấn luyện, đòi hỏi sự cân bằng và tinh chỉnh cẩn thận của các chuyên gia và mạng lưới cổng.
• Quản lý tài nguyên: Quản lý hiệu quả tài nguyên tính toán trên nhiều chuyên gia là quan trọng để tối đa hóa lợi ích của các mô hình MoE.

Việc tích hợp các lớp MoE vào các mạng nơ-ron, đặc biệt là trong lĩnh vực mô hình ngôn ngữ, cung cấp một con đường để mở rộng mô hình lên quy mô trước đây không thể đạt được do các hạn chế tính toán. Việc tính toán có điều kiện được cho phép bởi các lớp MoE cho phép phân phối tài nguyên tính toán một cách hiệu quả hơn, làm cho việc huấn luyện các mô hình lớn hơn và có khả năng hơn trở nên khả thi. Khi chúng ta tiếp tục đòi hỏi nhiều hơn từ các hệ thống AI của mình, các kiến trúc như Transformer được trang bị MoE có thể trở thành tiêu chuẩn cho việc xử lý các nhiệm vụ phức tạp và quy mô lớn trên nhiều lĩnh vực.