LASS hoặc Language-queried Audio Source Separation là mô hình mới cho CASA hoặc Computational Auditory Scene Analysis nhằm tách âm thanh mục tiêu từ hỗn hợp âm thanh sử dụng truy vấn ngôn ngữ tự nhiên cung cấp giao diện có thể mở rộng cho các nhiệm vụ và ứng dụng âm thanh kỹ thuật số. Mặc dù các khung LASS đã tiến bộ đáng kể trong những năm qua về mặt đạt được hiệu suất mong muốn trên các nguồn âm thanh cụ thể như các nhạc cụ, nhưng chúng không thể tách âm thanh mục tiêu trong lĩnh vực mở.

AudioSep là một mô hình cơ bản nhằm giải quyết các hạn chế hiện tại của các khung LASS bằng cách cho phép tách âm thanh mục tiêu sử dụng truy vấn ngôn ngữ tự nhiên. Các nhà phát triển của khung AudioSep đã đào tạo mô hình rộng rãi trên nhiều tập dữ liệu đa phương tiện lớn và đã đánh giá hiệu suất của khung trên nhiều nhiệm vụ âm thanh bao gồm tách nhạc cụ, tách sự kiện âm thanh và cải thiện giọng nói trong số nhiều nhiệm vụ khác. Hiệu suất ban đầu của AudioSep đáp ứng các tiêu chuẩn và thể hiện khả năng học tập zero-shot ấn tượng cũng như hiệu suất tách âm thanh mạnh mẽ.

Trong bài viết này, chúng tôi sẽ đi sâu vào cách thức hoạt động của khung AudioSep khi chúng tôi sẽ đánh giá kiến trúc của mô hình, các tập dữ liệu được sử dụng cho đào tạo và đánh giá, và các khái niệm quan trọng trong hoạt động của mô hình AudioSep. Vì vậy, hãy bắt đầu với một giới thiệu cơ bản về khung CASA.

CASA, USS, QSS, LASS Frameworks: Cơ Sở cho AudioSep

Khung CASA hoặc Computational Auditory Scene Analysis là một khung được các nhà phát triển sử dụng để thiết kế các hệ thống nghe máy có khả năng nhận thức môi trường âm thanh phức tạp theo cách tương tự như con người nhận thức âm thanh bằng hệ thống thính giác. Tách âm thanh, với sự tập trung đặc biệt vào tách âm thanh mục tiêu, là một lĩnh vực nghiên cứu cơ bản trong khung CASA, và nó nhằm giải quyết vấn đề “bữa tiệc cocktail” hoặc tách các bản ghi âm thanh thực tế từ các bản ghi âm thanh nguồn riêng lẻ hoặc tệp.

Hầu hết công việc về tách âm thanh được thực hiện trong quá khứ chủ yếu tập trung vào việc tách một hoặc nhiều nguồn âm thanh như tách nhạc hoặc tách giọng nói. Một mô hình mới có tên là USS hoặc Universal Sound Separation nhằm tách các âm thanh tùy ý trong các bản ghi âm thanh thực tế. Tuy nhiên, việc tách mọi nguồn âm thanh từ hỗn hợp âm thanh là một nhiệm vụ đầy thách thức và hạn chế, chủ yếu do sự tồn tại của nhiều nguồn âm thanh khác nhau trên thế giới, điều này khiến phương pháp USS không khả thi cho các ứng dụng thực tế hoạt động trong thời gian thực.

Một giải pháp thay thế khả thi cho phương pháp USS là phương pháp QSS hoặc Query-based Sound Separation, nhằm tách một nguồn âm thanh mục tiêu riêng lẻ từ hỗn hợp âm thanh dựa trên một tập hợp các truy vấn cụ thể. Nhờ đó, khung QSS cho phép các nhà phát triển và người dùng trích xuất các nguồn âm thanh mong muốn từ hỗn hợp dựa trên yêu cầu của họ, điều này làm cho phương pháp QSS trở thành một giải pháp thực tế hơn cho các ứng dụng kỹ thuật số thực tế như chỉnh sửa nội dung đa phương tiện hoặc chỉnh sửa âm thanh.

Hơn nữa, các nhà phát triển gần đây đã đề xuất một mở rộng của khung QSS, khung LASS hoặc Language-queried Audio Source Separation, nhằm tách các nguồn âm thanh tùy ý từ hỗn hợp âm thanh bằng cách sử dụng các mô tả ngôn ngữ tự nhiên của nguồn âm thanh mục tiêu. Vì khung LASS cho phép người dùng trích xuất các nguồn âm thanh mục tiêu sử dụng một tập hợp các hướng dẫn ngôn ngữ tự nhiên, nó có thể trở thành một công cụ mạnh mẽ với các ứng dụng rộng rãi trong các ứng dụng âm thanh kỹ thuật số.

Ban đầu, khung LASS phụ thuộc vào học tập có giám sát, trong đó mô hình được đào tạo trên một tập hợp các dữ liệu âm thanh-văn bản được ghép nối có nhãn. Tuy nhiên, vấn đề chính với phương pháp này là sự hạn chế của dữ liệu âm thanh-văn bản được chú thích và có nhãn. Để giảm sự phụ thuộc của khung LASS vào dữ liệu âm thanh-văn bản được chú thích và có nhãn, các mô hình được đào tạo bằng cách sử dụng phương pháp học tập giám sát đa phương tiện.

Mục tiêu chính của việc sử dụng phương pháp học tập giám sát đa phương tiện là sử dụng các mô hình học tập tương phản đa phương tiện như mô hình CLIP hoặc Contrastive Language Image Pre Training làm bộ mã hóa truy vấn cho khung. Vì mô hình CLIP có khả năng căn chỉnh các bản nhúng văn bản với các phương thức khác như âm thanh hoặc thị giác, nó cho phép các nhà phát triển đào tạo các mô hình LASS bằng cách sử dụng dữ liệu đa phương tiện giàu dữ liệu và cho phép can thiệp với dữ liệu văn bản trong một thiết lập zero-shot.

AudioSep: Các Thành Phần Chính và Kiến Trúc

Kiến trúc của khung AudioSep bao gồm hai thành phần chính: một bộ mã hóa văn bản và một mô hình tách.

Bộ Mã Hóa Văn Bản

Khung AudioSep sử dụng bộ mã hóa văn bản của mô hình CLIP hoặc Contrastive Language Image Pre Training hoặc mô hình CLAP hoặc Contrastive Language Audio Pre Training để trích xuất các bản nhúng văn bản trong một truy vấn ngôn ngữ tự nhiên. Truy vấn văn bản đầu vào bao gồm một chuỗi “N” token được xử lý bởi bộ mã hóa văn bản để trích xuất các bản nhúng văn bản cho truy vấn ngôn ngữ đầu vào.

Mô hình CLIP được đào tạo trước trên một tập hợp dữ liệu lớn của các cặp hình ảnh-văn bản bằng cách sử dụng học tập tương phản, điều này giúp bộ mã hóa văn bản của nó học cách ánh xạ các mô tả văn bản lên không gian ngữ nghĩa cũng được chia sẻ bởi các biểu diễn thị giác. Ưu điểm mà AudioSep đạt được bằng cách sử dụng bộ mã hóa văn bản của CLIP là nó có thể mở rộng hoặc đào tạo mô hình LASS từ dữ liệu âm thanh-hình ảnh không được chú thích bằng cách sử dụng các bản nhúng thị giác làm thay thế, từ đó cho phép đào tạo các mô hình LASS mà không cần dữ liệu âm thanh-văn bản được chú thích và có nhãn.

Mô hình CLAP hoạt động tương tự như mô hình CLIP và sử dụng mục tiêu học tập tương phản để kết nối âm thanh và ngôn ngữ, đưa các mô tả âm thanh và văn bản lên một không gian âm thanh-văn bản潜 ẩn chung.

Mô Hình Tách

Khung AudioSep sử dụng một mô hình ResUNet trong miền tần số được cho ăn một hỗn hợp các đoạn âm thanh làm xương sống tách cho khung. Mô hình hoạt động bằng cách áp dụng một biến đổi Fourier ngắn thời gian (STFT) lên tín hiệu sóng để trích xuất một phổ phức tạp, phổ magnitude và pha của X.

Mô hình ResUNet bao gồm 6 khối mã hóa, 6 khối giải mã và 4 khối cổ chai. Mô hình sau đó xây dựng một mạng nơ-ron mã hóa-decode để xử lý phổ magnitude. Mỗi khối mã hóa sử dụng 4 khối convolutional残余 để lấy mẫu xuống thành một tính năng cổ chai, trong khi các khối giải mã sử dụng 4 khối deconvolutional残余 để thu được các thành phần tách bằng cách lấy mẫu lên các tính năng.

Trong khung của nó, AudioSep sử dụng một lớp FiLm hoặc Feature-wise Linearly modulated để bắc cầu mô hình tách và bộ mã hóa văn bản sau khi triển khai các khối convolutional trong ResUNet.

Đào Tạo và Mất

Trong quá trình đào tạo mô hình AudioSep, các nhà phát triển sử dụng phương pháp tăng cường độ lớn và đào tạo AudioSep từ đầu đến cuối bằng cách sử dụng một hàm mất L1 giữa sóng thực và dự đoán.

Các Tập Dữ Liệu và Tiêu Chuẩn

Như đã đề cập trong các phần trước, AudioSep là một mô hình cơ bản nhằm giải quyết sự phụ thuộc hiện tại của các mô hình LASS vào các tập dữ liệu âm thanh-văn bản được ghép nối có nhãn. Mô hình AudioSep được đào tạo trên một loạt các tập dữ liệu để trang bị cho nó khả năng học đa phương tiện, và dưới đây là mô tả chi tiết về tập dữ liệu và tiêu chuẩn được sử dụng bởi các nhà phát triển để đào tạo khung AudioSep.

AudioSet

AudioSet là một tập dữ liệu âm thanh lớn được dán nhãn yếu, bao gồm hơn 2 triệu đoạn âm thanh 10 giây được trích xuất trực tiếp từ YouTube. Mỗi đoạn âm thanh trong tập dữ liệu AudioSet được phân loại bởi sự hiện diện hoặc vắng mặt của các lớp âm thanh mà không có chi tiết thời gian cụ thể của các sự kiện âm thanh.

Tập dữ liệu AudioSet có hơn 500 lớp âm thanh khác nhau, bao gồm âm thanh tự nhiên, âm thanh của con người, âm thanh của phương tiện và nhiều hơn nữa.

VGGSound

Tập dữ liệu VGGSound là một tập dữ liệu âm thanh-hình ảnh lớn được trích xuất từ YouTube, bao gồm hơn 200.000 đoạn video, mỗi đoạn có độ dài 10 giây. Tập dữ liệu VGGSound được phân loại thành hơn 300 lớp âm thanh, bao gồm âm thanh của con người, âm thanh tự nhiên, âm thanh của chim và nhiều hơn nữa.

Sử dụng tập dữ liệu VGGSound đảm bảo rằng đối tượng chịu trách nhiệm tạo ra âm thanh mục tiêu cũng có thể được mô tả trong đoạn video tương ứng.

AudioCaps

AudioCaps là tập dữ liệu chú thích âm thanh lớn nhất hiện có, bao gồm hơn 50.000 đoạn âm thanh 10 giây được trích xuất từ tập dữ liệu AudioSet. Dữ liệu trong AudioCaps được chia thành ba loại: dữ liệu đào tạo, dữ liệu kiểm tra và dữ liệu xác thực, và các đoạn âm thanh được chú thích bằng các mô tả ngôn ngữ tự nhiên sử dụng nền tảng Amazon (AMZN ) Mechanical Turk.

Mỗi đoạn âm thanh trong tập dữ liệu đào tạo có một chú thích duy nhất, trong khi dữ liệu kiểm tra và xác thực mỗi đoạn có 5 chú thích thực sự.

ClothoV2

ClothoV2 là một tập dữ liệu chú thích âm thanh bao gồm các đoạn âm thanh được trích xuất từ nền tảng FreeSound, và tương tự như AudioCaps, mỗi đoạn âm thanh được chú thích bằng các mô tả ngôn ngữ tự nhiên sử dụng nền tảng Amazon Mechanical Turk.

WavCaps

Tương tự như AudioSet, WavCaps là một tập dữ liệu âm thanh lớn được dán nhãn yếu, bao gồm hơn 400.000 đoạn âm thanh có chú thích, và thời gian chạy tổng cộng khoảng 7568 giờ dữ liệu đào tạo.

Chi Tiết Đào Tạo

Trong quá trình đào tạo, mô hình AudioSep ngẫu nhiên lấy mẫu hai đoạn âm thanh từ hai đoạn âm thanh khác nhau từ tập dữ liệu đào tạo, và sau đó trộn chúng lại với nhau để tạo ra một hỗn hợp đào tạo, trong đó độ dài của mỗi đoạn âm thanh là khoảng 5 giây.

Mô hình sau đó trích xuất phổ phức tạp từ tín hiệu sóng bằng cách sử dụng một cửa sổ Hann có kích thước 1024 với kích thước hop là 320.

Mô hình sau đó sử dụng bộ mã hóa văn bản của mô hình CLIP/CLAP để trích xuất các bản nhúng văn bản với giám sát văn bản là cấu hình mặc định cho AudioSep.

Kết Quả Đánh Giá

Trên Các Tập Dữ Liệu Đã Thấy

Hình dưới đây so sánh hiệu suất của khung AudioSep trên các tập dữ liệu đã thấy trong quá trình đào tạo, bao gồm cả tập dữ liệu đào tạo.

Như có thể thấy trong hình, khung AudioSep hoạt động tốt khi sử dụng các chú thích âm thanh hoặc nhãn văn bản làm truy vấn đầu vào, và kết quả chỉ ra hiệu suất vượt trội của khung AudioSep so với các mô hình tách âm thanh trước đó và các mô hình tách âm thanh được truy vấn âm thanh.

Trên Các Tập Dữ Liệu Chưa Thấy

Để đánh giá hiệu suất của AudioSep trong một thiết lập zero-shot, các nhà phát triển tiếp tục đánh giá hiệu suất trên các tập dữ liệu chưa thấy, và khung AudioSep cung cấp hiệu suất tách ấn tượng trong một thiết lập zero-shot, và kết quả được hiển thị trong hình dưới đây.

Hơn nữa, hình dưới đây cho thấy kết quả của việc đánh giá mô hình AudioSep so với việc nâng cao giọng nói trên Voicebank-Demand.

Đánh giá khung AudioSep chỉ ra hiệu suất mạnh mẽ và mong muốn trên các tập dữ liệu chưa thấy trong một thiết lập zero-shot, và do đó, nó mở ra khả năng thực hiện các nhiệm vụ tách âm thanh trên các phân phối dữ liệu mới.

Visual Hóa Của Kết Quả Tách

Hình dưới đây cho thấy kết quả thu được khi các nhà phát triển sử dụng khung AudioSep-CLAP để thực hiện visual hóa của các phổ âm thanh cho các nguồn âm thanh mục tiêu thực sự, các hỗn hợp âm thanh và các nguồn âm thanh tách được sử dụng các truy vấn văn bản đa dạng.

So Sánh Của Các Truy Vấn Văn Bản

Các nhà phát triển đánh giá hiệu suất của AudioSep-CLAP và AudioSep-CLIP trên AudioCaps Mini, và các nhà phát triển sử dụng các nhãn sự kiện AudioSet, các chú thích AudioCaps và các mô tả ngôn ngữ tự nhiên được chú thích lại để kiểm tra các hiệu ứng của các truy vấn khác nhau, và hình dưới đây cho thấy một ví dụ về AudioCaps Mini hoạt động.

Kết Luận

AudioSep là một mô hình cơ bản được phát triển với mục tiêu trở thành một khung tách âm thanh phổ quát trong lĩnh vực mở sử dụng các mô tả ngôn ngữ tự nhiên cho việc tách âm thanh. Như đã quan sát được trong quá trình đánh giá, khung AudioSep có khả năng thực hiện học tập zero-shot và không giám sát một cách mượt mà bằng cách sử dụng các chú thích âm thanh hoặc nhãn văn bản làm truy vấn. Kết quả và hiệu suất đánh giá của AudioSep chỉ ra hiệu suất mạnh mẽ vượt trội so với các khung tách âm thanh hiện tại như LASS, và nó có thể đủ khả năng giải quyết các hạn chế hiện tại của các khung tách âm thanh phổ biến.