Nghe, liên quan đến việc nhận thức và hiểu biết thông tin âm thanh chung, là rất quan trọng đối với các tác nhân AI trong môi trường thực tế. Thông tin âm thanh này bao gồm ba loại âm thanh chính: âm nhạc, sự kiện âm thanh và lời nói. Gần đây, các khuôn khổ mô hình ngôn ngữ lớn (LLM) dựa trên văn bản đã thể hiện khả năng đáng kể, đạt được hiệu suất ở mức con người trong nhiều nhiệm vụ Xử lý Ngôn ngữ Tự nhiên (NLP). Ngoài ra, điều chỉnh hướng dẫn, một phương pháp đào tạo sử dụng các cặp phản hồi tham chiếu và lời nhắc người dùng, đã trở nên phổ biến. Phương pháp này đào tạo các mô hình ngôn ngữ lớn để tuân theo các hướng dẫn mở của người dùng một cách hiệu quả hơn. Tuy nhiên, nghiên cứu hiện tại đang ngày càng tập trung vào việc tăng cường các mô hình ngôn ngữ lớn với khả năng nhận thức nội dung đa phương tiện.

Đồng thời, trong bài viết này, chúng ta sẽ thảo luận về SALMONN hoặc Mạng nơ-ron ngôn ngữ âm thanh mở, một khuôn khổ mô hình ngôn ngữ lớn đa phương tiện âm thanh-văn bản đơn được xây dựng bằng cách kết hợp các bộ mã hóa âm thanh và lời nói với một mô hình ngôn ngữ lớn dựa trên văn bản đã được đào tạo trước vào một mô hình âm thanh-văn bản đa phương tiện duy nhất. Mô hình SALMONN cho phép Các mô hình ngôn ngữ lớn hiểu và xử lý các đầu vào âm thanh chung trực tiếp, và cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ âm thanh và lời nói được sử dụng trong đào tạo, bao gồm cả việc trả lời câu hỏi dựa trên thông tin âm thanh, nhận dạng và dịch lời nói, xác minh người nói, nhận dạng cảm xúc, chú thích âm thanh và âm nhạc, và nhiều hơn nữa. Chúng ta sẽ đi sâu vào khuôn khổ SALMONN và khám phá cách thức hoạt động, kiến trúc và kết quả của nó trên nhiều nhiệm vụ NLP. Vậy hãy bắt đầu.

SALMONN: Giới thiệu về các mô hình ngôn ngữ lớn đa phương tiện âm thanh-văn bản đơn

SALMONN là viết tắt của Mạng nơ-ron ngôn ngữ âm thanh mở, và nó là một khuôn khổ mô hình ngôn ngữ lớn đa phương tiện âm thanh-văn bản đơn có khả năng nhận thức và hiểu biết ba loại âm thanh cơ bản, bao gồm lời nói, sự kiện âm thanh và âm nhạc. Mô hình SALMONN cho phép các mô hình ngôn ngữ lớn hiểu và xử lý các đầu vào âm thanh chung trực tiếp, và cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ âm thanh và lời nói.

Để tăng cường hiệu suất của mình trên cả nhiệm vụ lời nói và không lời nói, khuôn khổ SALMONN sử dụng một cấu trúc mã hóa kép bao gồm một bộ mã hóa âm thanh BEATs và một bộ mã hóa lời nói được lấy từ mô hình Whisper. Ngoài ra, khuôn khổ SALMONN cũng sử dụng một Q-Former cấp cửa sổ hoặc biến đổi câu hỏi như một mô-đun kết nối để chuyển đổi một chuỗi đầu ra của bộ mã hóa có độ dài biến đổi thành các token âm thanh có số lượng biến đổi, và cuối cùng đạt được độ phân giải thời gian cao cho việc căn chỉnh âm thanh-văn bản. Phương pháp LoRA hoặc Thích nghi hạng thấp được sử dụng như một bộ chuyển đổi đa phương tiện để căn chỉnh không gian đầu ra của khuôn khổ Vicuna với không gian đầu vào tăng cường của nó trong một nỗ lực nhằm tăng cường hiệu suất hơn nữa. Trong khuôn khổ SALMONN, khả năng thực hiện các nhiệm vụ đa phương tiện không được nhìn thấy trong giai đoạn đào tạo bị mất trong quá trình đào tạo hướng dẫn, và đó là lý do chính tại sao khuôn khổ SALMONN thực hiện một giai đoạn kích hoạt vài lần bổ sung để lấy lại khả năng nổi bật chung của khuôn khổ LLM.

Hơn nữa, khuôn khổ này sử dụng một loạt các sự kiện âm thanh, chuẩn mực âm nhạc và chuẩn mực lời nói để đánh giá khả năng nghe nhận thức của nó, và chia các chuẩn mực này thành ba cấp độ. Ở cấp độ chuẩn mực đầu tiên, khuôn khổ đào tạo tám nhiệm vụ trong đào tạo hướng dẫn, bao gồm dịch, chú thích âm thanh và nhận dạng lời nói. Hai cấp độ chuẩn mực còn lại là các nhiệm vụ không được đào tạo, với cấp độ chuẩn mực thứ hai bao gồm năm nhiệm vụ NLP dựa trên lời nói như điền từ và dịch sang ngôn ngữ không được đào tạo dựa trên sự căn chỉnh đa ngôn ngữ chất lượng cao giữa token văn bản và lời nói. Các nhiệm vụ chuẩn mực cấp độ cuối cùng cố gắng hiểu thông tin âm thanh và không âm thanh để lý luận và kể chuyện dựa trên âm thanh.

Tóm lại, khuôn khổ SALMONN là

1. Mô hình ngôn ngữ lớn đa phương tiện âm thanh-văn bản đơn đầu tiên có khả năng hiểu và nhận thức các đầu vào âm thanh chung, bao gồm sự kiện âm thanh, lời nói và âm nhạc, ở mức tối đa của nó.
2. Một nỗ lực nhằm phân tích khả năng nổi bật đa phương tiện được cung cấp bằng cách thực hiện yếu tố quy mô LoRA và sử dụng một giai đoạn kích hoạt tiết kiệm ngân sách bổ sung trong quá trình đào tạo để kích hoạt khả năng nổi bật đa phương tiện của khuôn khổ.

SALMONN: Kiến trúc và Phương pháp

Trong phần này, chúng ta sẽ xem xét kiến trúc, phương pháp đào tạo và thiết lập thí nghiệm cho khuôn khổ SALMONN.

Kiến trúc Mô hình

Ở trung tâm của kiến trúc của nó, khuôn khổ SALMONN đồng bộ hóa và kết hợp đầu ra từ hai bộ mã hóa âm thanh, sau đó khuôn khổ thực hiện một Q-Former ở cấp độ khung như một mô-đun kết nối. Chuỗi đầu ra được tạo bởi Q-Former được kết hợp với các lời nhắc hướng dẫn văn bản và sau đó được cung cấp như một đầu vào cho phương pháp thích nghi LoRA để tạo ra phản hồi cần thiết.

Bộ mã hóa Âm thanh

Khuôn khổ SALMONN sử dụng hai bộ mã hóa âm thanh: một bộ mã hóa âm thanh BEATs không lời nói và một bộ mã hóa lời nói được lấy từ khuôn khổ Whisper của OpenAI. Bộ mã hóa âm thanh BEATs được đào tạo để sử dụng phương pháp học tập tự giám sát lặp lại nhằm trích xuất các ngữ nghĩa âm thanh cấp cao không lời nói, trong khi bộ mã hóa lời nói được đào tạo trên một lượng lớn dữ liệu được giám sát yếu để nhận dạng và dịch lời nói, với các tính năng đầu ra của bộ mã hóa phù hợp để bao gồm cả tiếng ồn và thông tin lời nói. Mô hình trước tiên sẽ mã hóa token đầu vào âm thanh, sau đó sẽ che giấu và dự đoán nó trong quá trình đào tạo. Các tính năng âm thanh kết quả của hai bộ mã hóa này bổ sung cho nhau và phù hợp cho cả thông tin lời nói và không lời nói.

Cấp độ Cửa sổ Q-Former

Việc thực hiện cấu trúc Q-Former là một phương pháp phổ biến được sử dụng trong các khuôn khổ LLM để chuyển đổi đầu ra của bộ mã hóa hình ảnh thành token văn bản, và một số sửa đổi là cần thiết khi xử lý các token âm thanh có độ dài biến đổi. Cụ thể, khuôn khổ coi đầu ra của bộ mã hóa như một chuỗi đầu ra của bộ mã hóa được kết hợp, và Q-Former triển khai một số lượng truy vấn có thể đào tạo được để chuyển đổi chuỗi đầu ra của bộ mã hóa thành token văn bản bằng cách sử dụng các khối Q-Former được xếp chồng lên nhau. Một khối Q-Former xếp chồng lên nhau giống như một khối giải mã Transformer, với ngoại lệ là loại bỏ các mặt nạ nhân quả trong các lớp tự chú ý và sử dụng một số lượng truy vấn tĩnh có thể đào tạo được trong các khối ban đầu.

LoRA và LLM

Khuôn khổ SALMONN cũng triển khai một mô hình ngôn ngữ lớn Vicuna, là một khuôn khổ mô hình ngôn ngữ lớn LLaMA được tinh chỉnh để tuân theo các hướng dẫn một cách chính xác và hiệu quả hơn. Phương pháp LoRA là một phương pháp phổ biến được sử dụng để tinh chỉnh tham số hiệu quả, và việc bao gồm nó trong khuôn khổ SALMONN để đánh giá các ma trận trọng số và thích nghi truy vấn trong các lớp tự chú ý.

Phương pháp Đào tạo

Khuôn khổ SALMONN sử dụng một phương pháp đào tạo đa phương tiện ba giai đoạn. Giai đoạn đào tạo bao gồm một giai đoạn đào tạo trước và một giai đoạn tinh chỉnh hướng dẫn được bao gồm trong hầu hết các khuôn khổ LLM trực quan, và một giai đoạn kích hoạt bổ sung được thực hiện để giải quyết các vấn đề quá拟 hợp trong các nhiệm vụ chú thích âm thanh và nhận dạng lời nói.

Giai đoạn Đào tạo Trước

Để hạn chế khoảng cách giữa các tham số được đào tạo trước, bao gồm cả bộ mã hóa và LLM, và các tham số được khởi tạo ngẫu nhiên, bao gồm cả bộ chuyển đổi và mô-đun kết nối, khuôn khổ SALMONN sử dụng một lượng lớn dữ liệu chú thích âm thanh và nhận dạng lời nói để đào tạo trước các thành phần LoRA và Q-Former. Các nhiệm vụ này chứa thông tin âm thanh quan trọng về nội dung chính của các sự kiện âm thanh, cả lời nói và không lời nói, và không yêu cầu hiểu biết hoặc lý luận phức tạp để học căn chỉnh giữa thông tin văn bản và âm thanh.

Giai đoạn Tinh chỉnh Hướng dẫn

Giai đoạn tinh chỉnh hướng dẫn được thực hiện trong khuôn khổ SALMONN giống như giai đoạn được thực hiện trong các khuôn khổ NLP và LLM trực quan bằng cách sử dụng một danh sách các sự kiện âm thanh, nhiệm vụ âm nhạc và sự kiện lời nói để tinh chỉnh hướng dẫn âm thanh-văn bản. Các nhiệm vụ được ưu tiên dựa trên tầm quan trọng của chúng trên các thử nghiệm khác nhau, bao gồm nhận dạng điện thoại, nhận dạng lời nói chồng chéo và chú thích âm nhạc. Hơn nữa, thông tin văn bản được ghép nối với dữ liệu âm thanh tạo thành cơ sở để tạo ra các lời nhắc hướng dẫn.

Quá Nối Hợp

Ngay cả khi chỉ thực hiện hai giai đoạn đào tạo đầu tiên, khuôn khổ SALMONN vẫn cung cấp kết quả cạnh tranh trên các nhiệm vụ tinh chỉnh hướng dẫn, mặc dù hiệu suất không đạt mức mong muốn khi thực hiện các nhiệm vụ đa phương tiện, đặc biệt là các nhiệm vụ yêu cầu khả năng lý luận và căn chỉnh đa phương tiện. Cụ thể, mô hình đôi khi vi phạm các lời nhắc hướng dẫn, dẫn đến việc tạo ra các phản hồi không liên quan hoặc không chính xác, và hiện tượng này được gọi là quá nối hợp trong khuôn khổ SALMONN, và giai đoạn Kích hoạt được thực hiện để giải quyết các vấn đề quá nối hợp này.

Giai đoạn Kích hoạt

Một phương pháp hiệu quả để giải quyết các vấn đề quá nối hợp là điều chỉnh các mô hình ngôn ngữ có điều kiện nội tại bằng cách sử dụng các phản hồi dài hơn và đa dạng hơn, như câu chuyện hoặc câu hỏi và trả lời dựa trên thông tin âm thanh. Khuôn khổ sau đó tạo ra dữ liệu đào tạo cặp cho các nhiệm vụ như vậy bằng cách ghép văn bản với âm thanh hoặc lời nói hoặc chú thích âm nhạc.

Qui định Nhiệm vụ

Để đánh giá khả năng nổi bật đa phương tiện không cần đào tạo của SALMONN, các nhà phát triển đã bao gồm 15 nhiệm vụ lời nói, âm thanh và âm nhạc được chia thành ba cấp độ.

Cấp độ 1

Ở cấp độ đầu tiên, các nhiệm vụ được sử dụng để tinh chỉnh hướng dẫn, và do đó, chúng là tập hợp nhiệm vụ dễ nhất mà khuôn khổ SALMONN phải thực hiện.

Cấp độ 2

Cấp độ thứ hai bao gồm các nhiệm vụ không được đào tạo, và mức độ phức tạp cao hơn so với các nhiệm vụ cấp độ 1. Ở cấp độ 2, các nhiệm vụ là các nhiệm vụ NLP dựa trên lời nói, bao gồm trích xuất từ khóa lời nói được sử dụng để đánh giá độ chính xác của khuôn khổ khi trích xuất các từ khóa cụ thể bằng lời nói. Các nhiệm vụ khác bao gồm SQQA hoặc Câu hỏi và Trả lời dựa trên lời nói, đánh giá kiến thức chung mà khuôn khổ trích xuất bằng cách sử dụng câu hỏi lời nói, một nhiệm vụ Điền từ dựa trên lời nói để đánh giá độ chính xác của các giá trị từ, và cuối cùng, có hai nhiệm vụ AST cho các bản dịch từ tiếng Anh sang tiếng Đức và tiếng Nhật.

Cấp độ 3

Mức độ phức tạp của các nhiệm vụ ở Cấp độ 3 là cao nhất so với hai cấp độ khác, và bao gồm các nhiệm vụ Lý luận và Câu chuyện dựa trên lời nói và âm thanh. Nhiệm vụ Lý luận và Câu chuyện yêu cầu khuôn khổ SALMONN hiểu một câu hỏi trong clip âm thanh được cung cấp cho mô hình, tìm bằng chứng hỗ trợ bằng cách sử dụng các sự kiện âm thanh hoặc âm nhạc trong nền, và cuối cùng tạo ra một lý do phù hợp để trả lời câu hỏi. Các nhiệm vụ Câu chuyện dựa trên âm thanh yêu cầu mô hình tạo ra một câu chuyện có ý nghĩa dựa trên thông tin âm thanh được lấy từ các đầu vào âm thanh chung.

Kết quả

Nhiệm vụ Cấp độ 1

Bảng sau minh họa kết quả trên các nhiệm vụ Cấp độ 1, và như có thể thấy, khuôn khổ SALMONN cung cấp kết quả cạnh tranh trên các nhiệm vụ Cấp độ 1 với hoặc không có kích hoạt.

Nhiệm vụ Cấp độ 2 và 3

Mặc dù khuôn khổ SALMONN cung cấp kết quả cạnh tranh trên các nhiệm vụ Cấp độ 1 ngay cả khi không tinh chỉnh, điều này không thể nói về các nhiệm vụ Cấp độ 2 và 3, vì khuôn khổ SALMONN gặp phải vấn đề quá nối hợp nặng nề trên các nhiệm vụ này. Hiệu suất giảm thậm chí còn nhiều hơn trên các nhiệm vụ SQQA, SAC và Câu chuyện, với trọng tâm vào các tương tác đa phương tiện, và khuôn khổ SALMONN gặp khó khăn trong việc tuân theo các hướng dẫn mà không cần tinh chỉnh. Tuy nhiên, với tinh chỉnh, kết quả được cải thiện đáng kể, và kết quả được trình bày trong hình ảnh sau.

Chiết khấu Yếu tố Quy mô LoRA

Chiết khấu Yếu tố Quy mô LoRA đánh giá ảnh hưởng của việc sử dụng chiết khấu thời gian của yếu tố quy mô LoRA để giảm thiểu các vấn đề quá nối hợp trên các nhiệm vụ. Như có thể thấy trong hình sau, việc giảm yếu tố quy mô LoRA xuống 2,0 làm tăng khả năng lý luận đa phương tiện của khuôn khổ SALMONN trên các nhiệm vụ Nhận dạng Lời nói và Chú thích Âm thanh.

Đánh giá Quá Nối Hợp

Để nhấn mạnh vào tinh chỉnh, khuôn khổ SALMONN phân tích sự thay đổi của độ phức tạp trong ba giai đoạn đào tạo, và như có thể thấy trong hình sau, độ phức tạp của các nhiệm vụ Chú thích Âm thanh và Nhận dạng Lời nói có giá trị cuối cùng nhỏ sau giai đoạn đào tạo đầu tiên, cho thấy mô hình đã học được sự căn chỉnh đa phương tiện.

Hơn nữa, độ phức tạp của nhiệm vụ PR cũng giảm sau khi tinh chỉnh hướng dẫn do sự phụ thuộc của nó vào thành phần LoRA để học các token đầu ra. Ngoài ra, mặc dù tinh chỉnh hướng dẫn giúp giảm độ phức tạp trên các nhiệm vụ Câu chuyện và SAC, khoảng cách vẫn còn đủ lớn để thực hiện các nhiệm vụ này thành công trừ khi một giai đoạn kích hoạt bổ sung được thêm vào hoặc thành phần LoRA được loại bỏ.

Kích hoạt

Khuôn khổ SALMONN đi sâu vào các phương pháp kích hoạt khác nhau, bao gồm đào tạo mô hình trên các cặp nhiệm vụ câu hỏi và trả lời dựa trên văn bản với các câu trả lời dài, hoặc sử dụng các câu chuyện dài viết dựa trên âm thanh. Cả hai thành phần Q-Former và LoRA đều được tinh chỉnh bằng các phương pháp này.

Thoughts Cuối cùng

Trong bài viết này, chúng ta đã thảo luận về SALMONN hoặc Mạng nơ-ron ngôn ngữ âm thanh mở, một khuôn khổ mô hình ngôn ngữ lớn đa phương tiện âm thanh-văn bản đơn có khả năng nhận thức và hiểu biết ba loại âm thanh cơ bản, bao gồm lời nói, sự kiện âm thanh và âm nhạc. Mô hình SALMONN cho phép các mô hình ngôn ngữ lớn hiểu và xử lý các đầu vào âm thanh chung trực tiếp, và cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ âm thanh và lời nói.

Khuôn khổ SALMONN cung cấp hiệu suất cạnh tranh trên nhiều nhiệm vụ được đào tạo, bao gồm chú thích âm thanh, dịch và nhận dạng lời nói, và nhiều hơn nữa, trong khi tổng quát hóa đến một loạt các nhiệm vụ hiểu biết không được đào tạo, bao gồm dịch lời nói cho việc trích xuất từ khóa và ngôn ngữ không được đào tạo. Nhờ vào khả năng của nó, khuôn khổ SALMONN có thể được coi là bước tiếp theo trong việc tăng cường khả năng nghe chung của các mô hình ngôn ngữ lớn.