Mô hình và nền tảng AI

SALMONN: Hướng tới khả năng nghe chung cho các mô hình ngôn ngữ lớn

Kunal Kejriwal
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhSALMONN tích hợp bộ mã hóa giọng nói và âm thanh với một LLM để xử lý trực tiếp âm…
Xem thêm
  • SALMONN tích hợp bộ mã hóa giọng nói và âm thanh với một LLM để xử lý trực tiếp âm nhạc, sự kiện và lời nói.
  • Mô hình sử dụng một giai đoạn điều chỉnh kích hoạt mới để khôi phục khả năng lập luận đa phương thức bị mất trong quá trình huấn luyện.
  • Kiến trúc của nó sử dụng bộ mã hóa kép và Q-Former để căn chỉnh âm thanh có độ dài biến đổi với các token văn bản.

Nghe, liên quan đến việc nhận thức và hiểu biết thông tin âm thanh chung, là rất quan trọng đối với các tác nhân AI trong môi trường thực tế. Thông tin âm thanh này bao gồm ba loại âm thanh chính: âm nhạc, sự kiện âm thanh và lời nói. Gần đây, các khuôn khổ mô hình ngôn ngữ lớn (LLM) dựa trên văn bản đã thể hiện khả năng đáng kể, đạt được hiệu suất ở mức con người trong nhiều nhiệm vụ Xử lý Ngôn ngữ Tự nhiên (NLP). Ngoài ra, điều chỉnh hướng dẫn, một phương pháp đào tạo sử dụng các cặp phản hồi tham chiếu và lời nhắc người dùng, đã trở nên phổ biến. Phương pháp này đào tạo các mô hình ngôn ngữ lớn để tuân theo các hướng dẫn mở của người dùng một cách hiệu quả hơn. Tuy nhiên, nghiên cứu hiện tại đang ngày càng tập trung vào việc tăng cường các mô hình ngôn ngữ lớn với khả năng nhận thức nội dung đa phương thức.

Đồng thời, trong bài viết này, chúng ta sẽ thảo luận về SALMONN hoặc Mạng nơ-ron mở về lời nói, âm thanh, ngôn ngữ và âm nhạc (Speech Audio Language Music Open Neural Network), một khuôn khổ mô hình ngôn ngữ lớn đa phương thức âm thanh-văn bản đơn được xây dựng bằng cách kết hợp các bộ mã hóa âm thanh và lời nói với một mô hình ngôn ngữ lớn dựa trên văn bản đã được đào tạo trước vào một mô hình âm thanh-văn bản đa phương thức duy nhất. Mô hình SALMONN cho phép Các mô hình ngôn ngữ lớn hiểu và xử lý các đầu vào âm thanh chung trực tiếp, và cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ âm thanh và lời nói được sử dụng trong đào tạo, bao gồm cả việc trả lời câu hỏi dựa trên thông tin âm thanh, nhận dạng và dịch lời nói, xác minh người nói, nhận dạng cảm xúc, chú thích âm thanh và âm nhạc, và nhiều hơn nữa. Chúng ta sẽ đi sâu vào khuôn khổ SALMONN và khám phá cách thức hoạt động, kiến trúc và kết quả của nó trên nhiều nhiệm vụ NLP. Vậy hãy bắt đầu.

SALMONN: Giới thiệu về các mô hình ngôn ngữ lớn đa phương thức âm thanh-văn bản đơn

SALMONN là viết tắt của Mạng nơ-ron mở về lời nói, âm thanh, ngôn ngữ và âm nhạc (Speech Audio Language Music Open Neural Network), và nó là một khuôn khổ mô hình ngôn ngữ lớn đa phương thức âm thanh-văn bản đơn có khả năng nhận thức và hiểu biết ba loại âm thanh cơ bản, bao gồm lời nói, sự kiện âm thanh và âm nhạc. Mô hình SALMONN cho phép các mô hình ngôn ngữ lớn hiểu và xử lý các đầu vào âm thanh chung trực tiếp, và cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ âm thanh và lời nói.

Để tăng cường hiệu suất của mình trên cả nhiệm vụ lời nói và không lời nói, khuôn khổ SALMONN sử dụng một cấu trúc mã hóa kép bao gồm một bộ mã hóa âm thanh BEATs và một bộ mã hóa lời nói được lấy từ mô hình Whisper. Ngoài ra, khuôn khổ SALMONN cũng sử dụng một Q-Former cấp cửa sổ hoặc bộ biến đổi truy vấn như một mô-đun kết nối để chuyển đổi một chuỗi đầu ra của bộ mã hóa có độ dài biến đổi thành các token âm thanh có số lượng biến đổi, và cuối cùng đạt được độ phân giải thời gian cao cho việc căn chỉnh âm thanh-văn bản. Phương pháp LoRA hoặc Thích nghi hạng thấp được sử dụng như một bộ chuyển đổi đa phương thức để căn chỉnh không gian đầu ra của khuôn khổ Vicuna với không gian đầu vào tăng cường của nó trong một nỗ lực nhằm tăng cường hiệu suất hơn nữa. Trong khuôn khổ SALMONN, khả năng thực hiện các nhiệm vụ đa phương thức không được nhìn thấy trong giai đoạn đào tạo bị mất trong quá trình đào tạo hướng dẫn, và đó là lý do chính tại sao khuôn khổ SALMONN thực hiện một giai đoạn tinh chỉnh kích hoạt với một số ít ví dụ bổ sung để lấy lại khả năng nổi sinh chung của khuôn khổ LLM.

Hơn nữa, khuôn khổ này sử dụng một loạt các sự kiện âm thanh, chuẩn mực âm nhạc và chuẩn mực lời nói để đánh giá khả năng nghe nhận thức của nó, và chia các chuẩn mực này thành ba cấp độ. Ở cấp độ chuẩn mực đầu tiên, khuôn khổ đào tạo tám nhiệm vụ trong đào tạo hướng dẫn, bao gồm dịch, chú thích âm thanh và nhận dạng lời nói. Hai cấp độ chuẩn mực còn lại là các nhiệm vụ không được đào tạo, với cấp độ chuẩn mực thứ hai bao gồm năm nhiệm vụ NLP dựa trên lời nói chẳng hạn điền khe thông tin và dịch sang ngôn ngữ không được đào tạo dựa trên sự căn chỉnh đa ngôn ngữ chất lượng cao giữa token văn bản và lời nói. Các nhiệm vụ chuẩn mực cấp độ cuối cùng cố gắng hiểu thông tin âm thanh gồm lời nói và âm thanh phi lời nói để suy luận kết hợp lời nói–âm thanh và kể chuyện dựa trên âm thanh.

Tóm lại, khuôn khổ SALMONN là

  1. Mô hình ngôn ngữ lớn đa phương thức âm thanh-văn bản đơn đầu tiên có khả năng hiểu và nhận thức các đầu vào âm thanh chung, bao gồm sự kiện âm thanh, lời nói và âm nhạc, ở mức tối đa của nó.
  2. Một nỗ lực nhằm phân tích khả năng nổi sinh đa phương thức được cung cấp bằng cách thực hiện hệ số tỉ lệ LoRA và sử dụng một giai đoạn kích hoạt tiết kiệm ngân sách bổ sung trong quá trình đào tạo để kích hoạt khả năng nổi sinh đa phương thức của khuôn khổ.

SALMONN: Kiến trúc và Phương pháp

Trong phần này, chúng ta sẽ xem xét kiến trúc, phương pháp đào tạo và thiết lập thí nghiệm cho khuôn khổ SALMONN.

Kiến trúc Mô hình

Ở trung tâm của kiến trúc của nó, khuôn khổ SALMONN đồng bộ hóa và kết hợp đầu ra từ hai bộ mã hóa âm thanh, sau đó khuôn khổ thực hiện một Q-Former ở cấp độ khung như một mô-đun kết nối. Chuỗi đầu ra được tạo bởi Q-Former được kết hợp với các lời nhắc hướng dẫn văn bản và sau đó được cung cấp như một đầu vào cho phương pháp thích nghi LoRA để tạo ra phản hồi cần thiết.

Bộ mã hóa Âm thanh

Khuôn khổ SALMONN sử dụng hai bộ mã hóa âm thanh: một bộ mã hóa âm thanh BEATs không lời nói và một bộ mã hóa lời nói được lấy từ khuôn khổ Whisper của OpenAI. Bộ mã hóa âm thanh BEATs được đào tạo để sử dụng phương pháp học tập tự giám sát lặp lại nhằm trích xuất các ngữ nghĩa âm thanh cấp cao không lời nói, trong khi bộ mã hóa lời nói được đào tạo trên một lượng lớn dữ liệu được giám sát yếu để nhận dạng và dịch lời nói, với các tính năng đầu ra của bộ mã hóa phù hợp để bao gồm cả tiếng ồn và thông tin lời nói. Mô hình trước tiên sẽ mã hóa token đầu vào âm thanh, sau đó sẽ che giấu và dự đoán nó trong quá trình đào tạo. Các tính năng âm thanh kết quả của hai bộ mã hóa này bổ sung cho nhau và phù hợp cho cả thông tin lời nói và không lời nói.

Cấp độ Cửa sổ Q-Former

Việc thực hiện cấu trúc Q-Former là một phương pháp phổ biến được sử dụng trong các khuôn khổ LLM để chuyển đổi đầu ra của bộ mã hóa hình ảnh thành token văn bản, và một số sửa đổi là cần thiết khi xử lý các token âm thanh có độ dài biến đổi. Cụ thể, khuôn khổ coi đầu ra của bộ mã hóa như một chuỗi đầu ra của bộ mã hóa được kết hợp, và Q-Former triển khai một số lượng cố định các truy vấn có thể huấn luyện để chuyển đổi chuỗi đầu ra của bộ mã hóa thành token văn bản bằng cách sử dụng các khối Q-Former được xếp chồng lên nhau. Một khối Q-Former xếp chồng lên nhau giống như một khối giải mã Transformer, với ngoại lệ là loại bỏ các mặt nạ nhân quả trong các lớp tự chú ý và sử dụng một số lượng cố định các truy vấn tĩnh có thể huấn luyện trong các khối ban đầu.

LoRA và LLM

Khuôn khổ SALMONN cũng triển khai một mô hình ngôn ngữ lớn Vicuna, là một khuôn khổ mô hình ngôn ngữ lớn LLaMA được tinh chỉnh để tuân theo các hướng dẫn một cách chính xác và hiệu quả hơn. Phương pháp LoRA là một phương pháp phổ biến được sử dụng để tinh chỉnh tham số hiệu quả, và việc bao gồm nó trong khuôn khổ SALMONN để điều chỉnh các ma trận trọng số của truy vấn và giá trị trong các lớp tự chú ý.

Phương pháp Đào tạo

Khuôn khổ SALMONN sử dụng một phương pháp đào tạo đa phương thức ba giai đoạn. Giai đoạn đào tạo bao gồm một giai đoạn đào tạo trước và một giai đoạn tinh chỉnh hướng dẫn được bao gồm trong hầu hết các khuôn khổ LLM thị giác, và một giai đoạn kích hoạt bổ sung được thực hiện để giải quyết các vấn đề quá khớp trong các nhiệm vụ chú thích âm thanh và nhận dạng lời nói.

Giai đoạn Đào tạo Trước

Để hạn chế khoảng cách giữa các tham số được đào tạo trước, bao gồm cả bộ mã hóa và LLM, và các tham số được khởi tạo ngẫu nhiên, bao gồm cả bộ chuyển đổi và mô-đun kết nối, khuôn khổ SALMONN sử dụng một lượng lớn dữ liệu chú thích âm thanh và nhận dạng lời nói để đào tạo trước các thành phần LoRA và Q-Former. Các nhiệm vụ này chứa thông tin âm thanh quan trọng về nội dung chính của các sự kiện âm thanh, cả lời nói và không lời nói, và không yêu cầu hiểu biết hoặc lý luận phức tạp để học căn chỉnh giữa thông tin văn bản và âm thanh.

Giai đoạn Tinh chỉnh Hướng dẫn

Giai đoạn tinh chỉnh hướng dẫn được thực hiện trong khuôn khổ SALMONN giống như giai đoạn được thực hiện trong các khuôn khổ NLP và LLM trực quan bằng cách sử dụng một danh sách các sự kiện âm thanh, nhiệm vụ âm nhạc và sự kiện lời nói để tinh chỉnh hướng dẫn âm thanh-văn bản. Các nhiệm vụ được ưu tiên dựa trên tầm quan trọng của chúng trên các thử nghiệm khác nhau, bao gồm nhận dạng âm vị, nhận dạng lời nói chồng chéo và chú thích âm nhạc. Hơn nữa, thông tin văn bản được ghép nối với dữ liệu âm thanh tạo thành cơ sở để tạo ra các lời nhắc hướng dẫn.

Quá Khớp Nhiệm Vụ

Ngay cả khi chỉ thực hiện hai giai đoạn đào tạo đầu tiên, khuôn khổ SALMONN vẫn cung cấp kết quả cạnh tranh trên các nhiệm vụ tinh chỉnh hướng dẫn, mặc dù hiệu suất không đạt mức mong muốn khi thực hiện các nhiệm vụ đa phương thức, đặc biệt là các nhiệm vụ yêu cầu khả năng suy luận kết hợp giữa các phương thức. Cụ thể, mô hình đôi khi vi phạm các lời nhắc hướng dẫn, dẫn đến việc tạo ra các phản hồi không liên quan hoặc không chính xác, và hiện tượng này được gọi là quá khớp nhiệm vụ trong khuôn khổ SALMONN, và giai đoạn Kích hoạt được thực hiện để giải quyết các vấn đề quá khớp nhiệm vụ này.

Giai đoạn Kích hoạt

Một phương pháp hiệu quả để giải quyết các vấn đề quá khớp nhiệm vụ là điều chỉnh các mô hình ngôn ngữ có điều kiện nội tại bằng cách sử dụng các phản hồi dài hơn và đa dạng hơn, như câu chuyện hoặc câu hỏi và trả lời dựa trên thông tin âm thanh. Khuôn khổ sau đó tạo ra dữ liệu đào tạo cặp cho các nhiệm vụ như vậy bằng cách ghép văn bản với âm thanh hoặc lời nói hoặc chú thích âm nhạc.

Đặc tả Nhiệm vụ

Để đánh giá khả năng nổi sinh xuyên phương thức ở chế độ zero-shot của SALMONN, các nhà phát triển đã bao gồm 15 nhiệm vụ lời nói, âm thanh và âm nhạc được chia thành ba cấp độ.

Cấp độ 1

Ở cấp độ đầu tiên, các nhiệm vụ được sử dụng để tinh chỉnh hướng dẫn, và do đó, chúng là tập hợp nhiệm vụ dễ nhất mà khuôn khổ SALMONN phải thực hiện.

Cấp độ 2

Cấp độ thứ hai bao gồm các nhiệm vụ không được đào tạo, và mức độ phức tạp cao hơn so với các nhiệm vụ cấp độ 1. Ở cấp độ 2, các nhiệm vụ là các nhiệm vụ NLP dựa trên lời nói, bao gồm trích xuất từ khóa lời nói được sử dụng để đánh giá độ chính xác của khuôn khổ khi trích xuất các từ khóa cụ thể bằng lời nói. Các nhiệm vụ khác bao gồm SQQA hoặc Câu hỏi và Trả lời dựa trên lời nói, đánh giá kiến thức chung mà khuôn khổ trích xuất bằng cách sử dụng câu hỏi lời nói, một nhiệm vụ điền khe thông tin dựa trên lời nói (SF) để đánh giá độ chính xác của các giá trị trong khe, và cuối cùng, có hai nhiệm vụ AST cho các bản dịch từ tiếng Anh sang tiếng Đức và tiếng Nhật.

Cấp độ 3

Mức độ phức tạp của các nhiệm vụ ở Cấp độ 3 là cao nhất so với hai cấp độ khác, và bao gồm các nhiệm vụ suy luận kết hợp lời nói–âm thanh (SAC) và kể chuyện dựa trên âm thanh. Nhiệm vụ SAC yêu cầu khuôn khổ SALMONN hiểu một câu hỏi trong clip âm thanh được cung cấp cho mô hình, tìm bằng chứng hỗ trợ bằng cách sử dụng các sự kiện âm thanh hoặc âm nhạc trong nền, và cuối cùng tạo ra một lý do phù hợp để trả lời câu hỏi. Các nhiệm vụ Câu chuyện dựa trên âm thanh yêu cầu mô hình tạo ra một câu chuyện có ý nghĩa dựa trên thông tin âm thanh được lấy từ các đầu vào âm thanh chung.

Kết quả

Nhiệm vụ Cấp độ 1

Bảng sau minh họa kết quả trên các nhiệm vụ Cấp độ 1, và như có thể thấy, khuôn khổ SALMONN cung cấp kết quả cạnh tranh trên các nhiệm vụ Cấp độ 1 với hoặc không có kích hoạt.

Nhiệm vụ Cấp độ 2 và 3

Mặc dù khuôn khổ SALMONN cung cấp kết quả cạnh tranh trên các nhiệm vụ Cấp độ 1 ngay cả khi không tinh chỉnh, điều này không thể nói về các nhiệm vụ Cấp độ 2 và 3, vì khuôn khổ SALMONN gặp phải vấn đề quá khớp nhiệm vụ nặng nề trên các nhiệm vụ này. Hiệu suất giảm thậm chí còn nhiều hơn trên các nhiệm vụ SQQA, SAC và Câu chuyện, với trọng tâm vào các tương tác đa phương thức, và khuôn khổ SALMONN gặp khó khăn trong việc làm theo hướng dẫn khi chưa tinh chỉnh kích hoạt. Tuy nhiên, khi có tinh chỉnh kích hoạt, kết quả được cải thiện đáng kể, và kết quả được trình bày trong hình ảnh sau.

Giảm Hệ số Tỉ lệ LoRA

Giảm Hệ số Tỉ lệ LoRA đánh giá ảnh hưởng của việc sử dụng việc giảm hệ số tỉ lệ LoRA tại thời điểm kiểm thử để giảm thiểu các vấn đề quá khớp nhiệm vụ trên các nhiệm vụ. Như có thể thấy trong hình sau, việc giảm hệ số tỉ lệ LoRA xuống 2,0 làm tăng khả năng lý luận đa phương thức của khuôn khổ SALMONN trên các nhiệm vụ nhận dạng lời nói (ASR), nhận dạng âm vị (PR), trả lời câu hỏi từ lời nói (SQQA), kể chuyện và suy luận kết hợp lời nói–âm thanh (SAC).

Đánh giá Quá Khớp Nhiệm Vụ

Để nhấn mạnh vào tinh chỉnh, khuôn khổ SALMONN phân tích sự thay đổi của độ hỗn loạn (perplexity) trong ba giai đoạn đào tạo, và như có thể thấy trong hình sau, độ hỗn loạn của các nhiệm vụ Chú thích Âm thanh và Nhận dạng Lời nói có giá trị cuối cùng nhỏ sau giai đoạn đào tạo đầu tiên, cho thấy mô hình đã học được sự căn chỉnh đa phương thức.

Hơn nữa, độ hỗn loạn của nhiệm vụ PR cũng giảm sau khi tinh chỉnh hướng dẫn do sự phụ thuộc của nó vào thành phần LoRA để học các token đầu ra. Ngoài ra, mặc dù tinh chỉnh hướng dẫn giúp giảm độ hỗn loạn trên các nhiệm vụ Câu chuyện và SAC, khoảng cách vẫn còn lớn, khiến các nhiệm vụ này chưa thể được thực hiện thành công trừ khi một giai đoạn kích hoạt bổ sung được thêm vào hoặc thành phần LoRA được loại bỏ.

Kích hoạt

Khuôn khổ SALMONN đi sâu vào các phương pháp kích hoạt khác nhau, bao gồm đào tạo mô hình trên các cặp nhiệm vụ câu hỏi và trả lời dựa trên văn bản với các câu trả lời dài, hoặc sử dụng các câu chuyện dài viết dựa trên âm thanh. Phương pháp thứ ba sử dụng các bản chép lời dài cho nhiệm vụ ASR. Cả Q-Former và LoRA đều được tinh chỉnh bằng ba phương pháp này. Khuôn khổ cũng thử bỏ qua đầu vào âm thanh và Q-Former, rồi tinh chỉnh LoRA và Vicuna như một mô hình ngôn ngữ lớn chỉ xử lý văn bản. Kết quả trong hình sau cho thấy việc huấn luyện ASR với nhãn dài không kích hoạt được mô hình; cách chỉ huấn luyện LoRA bằng lời nhắc văn bản cho kể chuyện hoặc hỏi đáp văn bản cũng không đạt được điều đó.

Kết luận

Trong bài viết này, chúng ta đã thảo luận về SALMONN hoặc Mạng nơ-ron mở về lời nói, âm thanh, ngôn ngữ và âm nhạc (Speech Audio Language Music Open Neural Network), một khuôn khổ mô hình ngôn ngữ lớn đa phương thức âm thanh-văn bản đơn có khả năng nhận thức và hiểu biết ba loại âm thanh cơ bản, bao gồm lời nói, sự kiện âm thanh và âm nhạc. Mô hình SALMONN cho phép các mô hình ngôn ngữ lớn hiểu và xử lý các đầu vào âm thanh chung trực tiếp, và cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ âm thanh và lời nói.

Khuôn khổ SALMONN cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ được đào tạo, bao gồm chú thích âm thanh, dịch và nhận dạng lời nói, và nhiều hơn nữa, trong khi tổng quát hóa đến một loạt các nhiệm vụ hiểu biết không được đào tạo, bao gồm trích xuất từ khóa từ lời nói và dịch sang các ngôn ngữ chưa được huấn luyện. Nhờ vào khả năng của nó, khuôn khổ SALMONN có thể được coi là bước tiếp theo trong việc tăng cường khả năng nghe chung của các mô hình ngôn ngữ lớn.

Kunal Kejriwal là một kỹ sư backend chuyên về Python, PostgreSQL, Redis và hạ tầng đám mây trên GCP và AWS. Với ba năm kinh nghiệm trong việc xây dựng và mở rộng các hệ thống đang vận hành thực tế, anh viết về cơ sở hạ tầng AI, các hệ thống phân tán và kiến trúc triển khai các khối lượng công việc học máy.