Mendengar, yang melibatkan persepsi dan pemahaman informasi auditori generik, sangat penting bagi agen AI di lingkungan dunia nyata. Informasi auditori ini mencakup tiga jenis suara utama: musik, peristiwa audio, dan ucapan. Baru-baru ini, kerangka kerja Model Bahasa Besar (LLM) berbasis teks telah menunjukkan kemampuan luar biasa, mencapai kinerja tingkat manusia dalam berbagai tugas Pemrosesan Bahasa Alami (NLP). Selain itu, penyetelan instruksi, metode pelatihan menggunakan pasangan respons referensi dan prompt pengguna, telah menjadi populer. Pendekatan ini melatih model bahasa besar untuk lebih efektif mengikuti instruksi pengguna yang terbuka. Namun, penelitian saat ini semakin fokus pada meningkatkan model bahasa besar dengan kemampuan memahami konten multimodal.

Fokus pada hal yang sama, dalam artikel ini, kita akan membahas tentang SALMONN atau Speech Audio Language Music Open Neural Network, sebuah kerangka kerja jaringan neural terbuka untuk bahasa ucapan dan audio yang dibangun dengan menggabungkan pengkode audio dan pengkode teks yang sudah dilatih sebelumnya ke dalam model audio-teks multimodal tunggal. Model SALMONN memungkinkan Model Bahasa Besar untuk memahami dan memproses input audio generik langsung, dan memberikan kinerja kompetitif pada berbagai tugas audio dan ucapan yang digunakan dalam pelatihan, termasuk jawaban pertanyaan berbasis informasi auditori, pengenalan ucapan dan terjemahan, verifikasi pembicara, pengenalan emosi, kapion audio dan musik, dan banyak lagi. Kita akan lebih dalam mempelajari kerangka kerja SALMONN, dan mengeksplorasi cara kerjanya, arsitektur, dan hasilnya pada berbagai tugas NLP. Jadi, mari kita mulai.

SALMONN: Pengenalan Model Bahasa Besar Multimodal Audio-Teks Tunggal

SALMONN adalah singkatan dari Speech Audio Language Music Open Neural Network, dan ini adalah kerangka kerja model bahasa besar multimodal audio-teks tunggal yang dapat memahami dan mempersepsi tiga jenis suara atau audio dasar, termasuk ucapan, peristiwa audio, dan musik. Model SALMONN memungkinkan Model Bahasa Besar untuk memahami dan memproses input audio generik langsung, dan memberikan kinerja kompetitif pada berbagai tugas audio dan ucapan.

Untuk meningkatkan kinerjanya pada tugas ucapan dan non-ucapan, kerangka kerja SALMONN menggunakan struktur pengkode ganda yang terdiri dari pengkode audio BEATs, dan pengkode ucapan yang berasal dari model ucapan Whisper. Selain itu, kerangka kerja SALMONN juga menggunakan Q-Former tingkat jendela atau Transformer kueri sebagai modul koneksi untuk mengubah urutan output pengkode variabel-panjang menjadi token audio yang ditingkatkan dengan jumlah variabel, dan akhirnya mencapai resolusi temporal tinggi untuk penyelarasan audio-teks. Pendekatan LoRA atau Adaptasi Rangking Rendah digunakan sebagai adaptor cross-modal untuk kerangka kerja Vicuna untuk menyelaraskan ruang outputnya dengan ruang input yang ditingkatkan dalam upaya untuk lebih meningkatkan kinerjanya. Dalam kerangka kerja SALMONN, kemampuan untuk melakukan tugas cross-modal yang tidak terlihat selama fase pelatihan hilang selama pelatihan instruksi sebagai kemampuan emergen cross-modal yang merupakan alasan utama mengapa kerangka kerja SALMONN mengimplementasikan tahap aktivasi beberapa tembakan tambahan untuk mengembalikan kemampuan emergen umum kerangka kerja LLM.

Selain itu, kerangka kerja ini menggunakan berbagai acara audio, benchmark musik, dan benchmark ucapan untuk mengevaluasi kemampuan pendengarannya, dan membagi benchmark menjadi tiga tingkat. Pada tingkat benchmark pertama, kerangka kerja ini melatih delapan tugas dalam pelatihan instruksi termasuk terjemahan, kapion audio, dan pengenalan ucapan. Dua tingkat benchmark lainnya adalah tugas yang tidak dilatih dengan tingkat benchmark kedua yang terdiri dari lima tugas Pemrosesan Bahasa Alami berbasis ucapan seperti pengisian slot dan terjemahan ke bahasa yang tidak dilatih yang bergantung pada perjajaran multibahasa berkualitas tinggi antara token teks dan ucapan. Tugas benchmark tingkat terakhir berusaha untuk memahami informasi auditori ucapan dan non-ucapan untuk alasan ucapan-audio dan cerita berbasis audio.

Untuk merangkum, kerangka kerja SALMONN adalah

1. Model bahasa besar multimodal pertama yang dapat memahami dan mempersepsi input audio generik termasuk peristiwa audio, ucapan, dan musik hingga batas kemampuannya.
2. Upaya untuk menganalisis kemampuan emergen cross-modal yang ditawarkan dengan mengimplementasikan faktor penskalaan LoRA, dan menggunakan tahap aktivasi tambahan dengan biaya yang efisien selama pelatihan untuk mengaktifkan kemampuan emergen cross-modal kerangka kerja.

SALMONN: Arsitektur dan Metodologi

Dalam bagian ini, kita akan melihat arsitektur, metode pelatihan, dan pengaturan eksperimental untuk kerangka kerja SALMONN.

Arsitektur Model

Di inti arsitektur, kerangka kerja SALMONN menyelaraskan dan menggabungkan output dari dua pengkode auditori setelah itu kerangka kerja ini mengimplementasikan Q-Former pada tingkat bingkai sebagai modul koneksi. Urutan output yang dihasilkan oleh Q-Former digabungkan dengan prompt instruksi teks dan kemudian diberikan sebagai input ke pendekatan adaptasi LoRA untuk menghasilkan respons yang diperlukan.

Pengkode Auditori

Kerangka kerja SALMONN menggunakan dua pengkode auditori: pengkode audio BEATs non-ucapan, dan pengkode ucapan yang berasal dari kerangka kerja Whisper OpenAI. Pengkode audio BEATs dilatih untuk menggunakan pendekatan pembelajaran iteratif mandiri untuk mengekstrak semantik audio non-ucapan tingkat tinggi, sedangkan pengkode ucapan dilatih pada sejumlah besar data yang lemah-terawasi untuk tugas pengenalan dan terjemahan ucapan dengan fitur output pengkode yang sesuai untuk mencakup kebisingan latar belakang dan informasi ucapan. Model pertama-tama memotong input audio, dan kemudian menyembunyikan dan memprediksi dalam pelatihan. Fitur auditori yang dihasilkan dari kedua pengkode ini saling melengkapi, dan sesuai untuk informasi ucapan dan non-ucapan.

Q-Former Tingkat Jendela

Mengimplementasikan struktur Q-Former adalah pendekatan umum yang digunakan dalam kerangka kerja LLM untuk mengubah output pengkode gambar menjadi token teks, dan beberapa modifikasi diperlukan saat menangani token audio dengan panjang yang bervariasi. Lebih khusus, kerangka kerja ini memandang output pengkode sebagai urutan output pengkode yang digabungkan, dan Q-Former mengirimkan sejumlah kueri yang dapat dilatih untuk mengubah urutan output pengkode menjadi token teks menggunakan blok Q-Former yang ditumpuk. Blok Q-Former yang ditumpuk menyerupai blok dekoder Transformer dengan pengecualian menghilangkan masker kasual dalam lapisan perhatian diri, dan menggunakan sejumlah kueri statis yang dapat dilatih dalam blok awal.

LoRA dan LLM

Kerangka kerja SALMONN juga mengimplementasikan LLM Vicuna yang merupakan kerangka kerja model bahasa besar LLaMA yang dilatih ulang untuk mengikuti instruksi dengan lebih akurat, dan efektif. Kerangka kerja LoRA adalah metode umum yang digunakan untuk pelatihan parameter yang efisien, dan inklusinya dalam kerangka kerja SALMONN untuk mementaskan matriks bobot dan menyesuaikan kueri dalam lapisan perhatian diri.

Metode Pelatihan

Kerangka kerja SALMONN menggunakan pendekatan pelatihan cross-modal tiga tahap. Tahap pelatihan ini terdiri dari tahap pelatihan sebelumnya, dan tahap penyetelan instruksi yang termasuk dalam sebagian besar kerangka kerja LLM visual, dan tahap aktivasi tambahan diimplementasikan untuk menyelesaikan masalah overfitting yang ditemukan selama tugas kapion audio dan pengenalan ucapan.

Tahap Pelatihan Sebelumnya

Untuk membatasi kesenjangan yang diamati antara parameter yang telah dilatih sebelumnya termasuk pengkode dan LLM, dan parameter yang diinisialisasi secara acak termasuk adaptor dan modul koneksi, kerangka kerja SALMONN menggunakan sejumlah besar data kapion audio dan pengenalan ucapan untuk melatih komponen LoRA dan Q-Former. Tugas-tugas ini berisi informasi auditori yang penting tentang konten kunci peristiwa audio baik ucapan maupun non-ucapan, dan tidak ada yang memerlukan pemahaman atau penalaran yang kompleks untuk mempelajari penyelarasan antara informasi teks dan auditori.

Tahap Penyetelan Instruksi

Tahap penyetelan instruksi yang diimplementasikan dalam kerangka kerja SALMONN menyerupai yang diimplementasikan dalam kerangka kerja NLP dan LLM visual dengan menggunakan daftar peristiwa audio, tugas musik, dan peristiwa ucapan untuk menyetel instruksi audio-teks. Tugas-tugas ini diprioritaskan berdasarkan pentingnya mereka di berbagai tes termasuk pengenalan telepon, pengenalan ucapan tumpang tindih, dan kapion musik. Selain itu, informasi teks yang dipasangkan dengan data audio membentuk dasar untuk menghasilkan prompt instruksi.

Overfitting Tugas

Bahkan ketika hanya mengimplementasikan dua tahap pelatihan pertama, kerangka kerja SALMONN memberikan hasil kompetitif pada tugas penyetelan instruksi, meskipun kinerjanya tidak memuaskan saat melakukan tugas cross-modal, terutama pada tugas yang memerlukan kemampuan co-reasoning cross-modal. Secara khusus, model ini kadang-kadang melanggar prompt instruksi yang menghasilkan respons yang tidak relevan atau tidak benar, dan fenomena ini disebut overfitting tugas dalam kerangka kerja SALMONN, dan tahap Aktivasi diimplementasikan untuk menyelesaikan masalah overfitting ini.

Tahap Aktivasi

Pendekatan yang efektif untuk menyelesaikan masalah overfitting adalah dengan mengatur model bahasa kondisional intrinsik menggunakan respons yang lebih panjang dan lebih beragam seperti cerita atau pertanyaan berbasis informasi auditori. Kemudian, kerangka kerja ini menghasilkan data pelatihan pasangan untuk tugas-tugas tersebut menggunakan teks yang dipasangkan dengan audio atau ucapan atau kapion musik.

Spesifikasi Tugas

Untuk mengevaluasi kemampuan emergen cross-modal nol-skor SALMONN, pengembang telah memasukkan 15 tugas ucapan, audio, dan musik yang dibagi menjadi tiga tingkat.

Tingkat 1

Pada tingkat pertama, tugas-tugas digunakan untuk penyetelan instruksi, dan oleh karena itu, mereka adalah set tugas termudah yang harus dilakukan oleh kerangka kerja SALMONN.

Tingkat 2

Tingkat kedua terdiri dari tugas-tugas yang tidak dilatih, dan tingkat kesulitan lebih tinggi dibandingkan dengan tugas-tugas tingkat 1. Pada tingkat 2, tugas-tugas adalah tugas Pemrosesan Bahasa Alami berbasis ucapan termasuk ekstraksi kata kunci ucapan yang digunakan untuk mengevaluasi akurasi kerangka kerja saat mengekstrak kata kunci tertentu menggunakan ucapan. Tugas lainnya termasuk SQQA atau Pertanyaan Berbasis Ucapan yang mengevaluasi pengetahuan umum yang diekstrak oleh kerangka kerja menggunakan pertanyaan ucapan, tugas SF atau Pengisian Slot Berbasis Ucapan untuk mengevaluasi akurasi nilai slot, dan akhirnya, ada dua tugas AST untuk konversi bahasa Inggris ke Jerman dan bahasa Inggris ke Jepang.

Tingkat 3

Tingkat kesulitan tugas-tugas pada Tingkat 3 adalah maksimum dibandingkan dengan dua tingkat lainnya, dan termasuk tugas SAC atau Alasan Ucapan-Audio, dan tugas Cerita Berbasis Audio. Tugas SAC memerlukan kerangka kerja SALMONN untuk memahami pertanyaan yang termasuk dalam klip audio yang diberikan kepada model, menemukan bukti pendukung menggunakan peristiwa audio atau musik di latar belakang, dan akhirnya menghasilkan alasan yang tepat untuk menjawab pertanyaan. Tugas cerita berbasis audio memerlukan model untuk menghasilkan cerita yang bermakna berdasarkan informasi auditori yang diperoleh dari input audio umum.

Hasil

Tugas Tingkat 1

Tabel berikut menunjukkan hasil pada tugas-tugas Tingkat 1, dan seperti yang dapat dilihat, kerangka kerja SALMONN memberikan hasil kompetitif pada tugas-tugas Tingkat 1 dengan atau tanpa aktivasi-penyetelan.

Tugas Tingkat 2 dan 3

Meskipun kerangka kerja SALMONN memberikan hasil kompetitif pada tugas-tugas Tingkat 1 bahkan tanpa penyetelan, hal yang sama tidak dapat dikatakan untuk tugas-tugas Tingkat 2 dan Tingkat 3 karena tanpa aktivasi, kerangka kerja SALMONN sangat menderita overfitting pada tugas-tugas. Kinerja turun lebih jauh pada tugas-tugas SQQA, SAC, dan Cerita, dengan penekanan pada interaksi multimodal, dan kerangka kerja SALMONN kesulitan mengikuti instruksi tanpa aktivasi penyetelan. Namun, dengan aktivasi penyetelan, hasilnya meningkat secara signifikan, dan hasilnya disertakan dalam gambar berikut.

Mengurangi Faktor Penskalaan LoRA

Mengurangi Faktor Penskalaan LoRA mengevaluasi pengaruh menggunakan pengurangan waktu faktor penskalaan LoRA untuk meminimalkan masalah overfitting pada tugas-tugas. Seperti yang dapat dilihat pada gambar berikut, penurunan faktor penskalaan LoRA menjadi 2,0 meningkatkan kemampuan alasan cross-modal kerangka kerja SALMONN pada tugas-tugas ASR dan PR, tugas-tugas SQQA, tugas Cerita, dan tugas SAC.

Mengevaluasi Overfitting Tugas

Untuk menekankan aktivasi penyetelan, kerangka kerja SALMONN menganalisis perubahan kebingungan selama tiga tahap pelatihan, dan seperti yang dapat dilihat pada gambar berikut, perubahan kebingungan untuk tugas-tugas AAC dan ASR memiliki nilai akhir kecil setelah tahap pelatihan pertama, menunjukkan bahwa model telah mempelajari penyelarasan cross-modal.

Selain itu, kebingungan tugas PR juga turun setelah penyetelan instruksi karena ketergantungannya pada komponen LoRA untuk mempelajari token output. Juga diamati bahwa meskipun penyetelan instruksi membantu mengurangi kebingungan pada tugas-tugas Cerita dan SAC, kesenjangan masih cukup besar untuk melakukan tugas-tugas tersebut dengan sukses kecuali tahap aktivasi tambahan ditambahkan atau komponen LoRA dihilangkan.

Aktivasi Penyetelan

Kerangka kerja SALMONN menyelami berbagai metode aktivasi termasuk melatih model pada tugas pertanyaan dan jawaban berbasis teks dengan jawaban panjang, atau menggunakan cerita berbasis audio dengan tulisan panjang, atau menggunakan transkripsi ucapan panjang untuk tugas-tugas ASR. Kedua komponen Q-Former dan LoRA diperbarui menggunakan tiga metode ini. Selain itu, kerangka kerja ini mengabaikan input audio dan Q-Former dalam upaya untuk memperbarui komponen LoRA dan Vicuna sebagai model bahasa besar adaptif berbasis teks, dan hasilnya disertakan dalam gambar berikut, dan seperti yang dapat dilihat, model tidak dapat diaktifkan oleh ASR, atau Cerita, atau Teks berbasis dengan melatih komponen LoRA menggunakan input prompt teks.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang SALMONN atau Speech Audio Language Music Open Neural Network, sebuah kerangka kerja model bahasa besar multimodal audio-teks tunggal yang dapat memahami dan mempersepsi tiga jenis suara atau audio dasar, termasuk ucapan, peristiwa audio, dan musik. Model SALMONN memungkinkan Model Bahasa Besar untuk memahami dan memproses input audio generik langsung, dan memberikan kinerja kompetitif pada berbagai tugas audio dan ucapan.

Kerangka kerja SALMONN memberikan kinerja kompetitif pada berbagai tugas yang dilatih, termasuk kapion audio, terjemahan dan pengenalan ucapan, dan lebih lanjut umum untuk sejumlah tugas pemahaman yang tidak dilatih, termasuk terjemahan ucapan untuk ekstraksi kata kunci dan bahasa yang tidak dilatih. Karena kemampuannya, kerangka kerja SALMONN dapat dianggap sebagai langkah selanjutnya untuk meningkatkan kemampuan mendengar generik model bahasa besar.