Моделі та платформи ШІ
SALMONN: на шляху до загальних слухових можливостей великих мовних моделей
Ключові моментиSALMONN інтегрує кодувальники мови та аудіо з LLM для безпосередньої обробки музики…
Показати більше
- SALMONN інтегрує кодувальники мови та аудіо з LLM для безпосередньої обробки музики, подій та мовлення.
- Модель використовує новітній етап налаштування активації для відновлення здатностей міжмодального міркування, втрачених під час навчання.
- Її архітектура використовує подвійні кодувальники та Q-Former для узгодження аудіо змінної довжини з текстовими токенами.
Слух, який включає сприйняття та розуміння загальної аудіоінформації, є важливим для штучних інтелектуальних агентів у реальному світі. Ця аудіоінформація охоплює три основні типи звуків: музику, аудіоподії та мову. Нещодавно розроблені текстові великі мовні моделі (LLM) продемонстрували видатні можливості, досягнувши рівня людини у широкому спектрі завдань обробки природної мови (NLP). Крім того, налаштування за інструкціями, метод навчання на парах еталонних відповідей і запитів користувача, стала популярною. Цей підхід тренує великі мовні моделі для більш ефективного виконання відкритих інструкцій користувача. Однак сучасні дослідження все частіше зосереджуються на підвищенні можливостей великих мовних моделей з допомогою багатомодальної інформації.
Зосередившись на цьому ж, у цій статті ми будемо говорити про SALMONN або Speech Audio Language Music Open Neural Network, сучасну відкриту нейронну мережу для мовлення, аудіо, мови та музики, створену шляхом інтеграції мовленнєвих та аудіокодерів з попередньо натренованою текстовою великою мовною моделлю у єдину аудіо-текстову багатомодальну модель. Модель SALMONN дозволяє великим мовним моделям розуміти та обробляти загальні аудіовходи напряму, і демонструє конкурентоспроможну продуктивність у широкому спектрі аудіо- та мовних завдань, які використовуються під час навчання, включаючи аудіоінформаційне питання-відповідь, розпізнавання мовлення та переклад, верифікацію мовця, розпізнавання емоцій, аудіо- та музичні підписи та багато іншого. Ми будемо детальніше вивчати фреймворк SALMONN, його роботу, архітектуру та результати у широкому спектрі завдань NLP. Тому почнімо.
SALMONN: Введення у великі мовні моделі з однією аудіо-текстовою багатомодальністю
SALMONN означає Speech Audio Language Music Open Neural Network, і це фреймворк великої мовної моделі з однією аудіо-текстовою багатомодальністю, здатної сприймати та розуміти три основні типи аудіо- чи звукових сигналів, включаючи мову, аудіоподії та музику. Модель SALMONN дозволяє великим мовним моделям розуміти та обробляти загальні аудіовходи напряму, і демонструє конкурентоспроможну продуктивність у широкому спектрі аудіо- та мовних завдань.
Для підвищення продуктивності як у мовних, так і в немовних аудіозадачах фреймворк SALMONN використовує подвійну структуру кодування, що складається з аудіоенкодера BEATs та мовного кодера з моделі Whisper. Крім того, фреймворк SALMONN використовує вікно-рівневий Q-Former або запит-Трансформер як модуль з’єднання для ефективної конвертації вивідної послідовності змінної довжини кодера у посилені аудіотокени змінної кількості, і в кінцевому підсумку досягнення високої часової роздільності для аудіо-текстового вирівнювання. Підхід LoRA або Low Rank Adaptation використовується як міжмодальний адаптер до фреймворку Vicuna для вирівнювання його вивідного простору з його розширеним вхідним простором у спробі подальшого підвищення його продуктивності. Здатність виконувати міжмодальні завдання, яких модель не бачила під час навчання, називають міжмодальними емерджентними можливостями; у SALMONN вони можуть втрачатися під час навчання за інструкціями, що є основною причиною, чому фреймворк SALMONN реалізує додатковий етап налаштування активації на кількох прикладах для відновлення загальних емерджентних можливостей фреймворку LLM.
Крім того, фреймворк використовує широкий спектр аудіоподій, музичних бенчмарків та мовних бенчмарків для оцінки його когнітивних слухових можливостей, і розділяє бенчмарки на три рівні. На першому рівні бенчмарку фреймворк тренує вісім завдань у навчанні інструкцій, включаючи переклад, аудіокапціонування та розпізнавання мовлення. Інші два рівні бенчмарку складаються з незатренованих завдань, а другий рівень бенчмарку складається з п’яти мовних завдань NLP, таких як заповнення слота та переклад на незатреновані мови, що залежать від високоякісних багатомовних вирівнювань між текстом та мовними токенами. Завдання третього рівня бенчмарку намагаються зрозуміти мовну та немовну аудіоінформацію для спільного міркування на основі мовлення й аудіо та аудіо-орієнтованого оповідання.
Підсумувавши, фреймворк SALMONN є
- Першою багатомодальною великою мовною моделлю, здатною розуміти та сприймати загальні аудіовходи, включаючи аудіоподії, мову та музику, до максимальної межі своїх можливостей.
- Спробою проаналізувати міжмодальні емерджентні можливості шляхом реалізації фактору масштабування LoRA та використання додаткового бюджетного етапу активації під час тренування для активації міжмодальних емерджентних можливостей фреймворку.
SALMONN: Архітектура та методологія
У цьому розділі ми розглянемо архітектуру, метод тренування та експериментальну установку для фреймворку SALMONN.
Архітектура моделі
У центрі своєї архітектури фреймворк SALMONN синхронізує та поєднує вивідні дані від двох аудіоенкодерів, після чого фреймворк реалізує Q-Former на рівні кадру як модуль з’єднання. Вивідна послідовність, згенерована Q-Former, поєднується з текстовими інструкціями та подається як вхід для підходу адаптації LoRA для генерації необхідної відповіді.
Аудіоенкодери
Фреймворк SALMONN використовує два аудіоенкодери: немовний аудіоенкодер BEATs та мовний кодер з моделі Whisper. Аудіоенкодер BEATs тренується за допомогою самонавчального ітеративного підходу для витягування немовних високорівневих аудіосемантик, тоді як мовний кодер тренується на великому обсязі даних зі слабким наглядом для завдань розпізнавання мовлення та перекладу, з вивідними особливостями кодера, придатними для включення фонового шуму та мовної інформації. Модель спочатку токенізує вхідне аудіо, а потім маскує та передбачає його під час тренування. Вивідні аудіоособливості цих двох кодерів доповнюють одна одну та придатні для мовної та немовної інформації.
Вікно-рівневий Q-Former
Реалізація структури Q-Former є загальним підходом, використовуваним у фреймворках LLM для конвертації вивідної послідовності зображення у текстові токени, і деякі модифікації потрібні при роботі з аудіотокенами змінної довжини. Конкретно, фреймворк розглядає вивід кодера вхідного зображення як послідовність вивідного кодера, а Q-Former розгортає фіксовану кількість тренованих запитів для перетворення послідовності вивідного кодера у текстові токени за допомогою стекових блоків Q-Former. Стековий блок Q-Former нагадує декодерний блок Трансформера з виключенням каузальних масок у шарах самоуваги та використанням фіксованої кількості тренованих статичних запитів у початкових блоках.
LoRA та LLM
Фреймворк SALMONN також розгортає велику мовну модель Vicuna, яка є фреймворком LLaMA, донавченим для більш точного виконання інструкцій. Підхід LoRA є загальним методом для параметрично ефективного донавчання, і його включення у фреймворк SALMONN для адаптації вагових матриць запитів і значень у шарах самоуваги.

Метод тренування
Фреймворк SALMONN використовує триетапний підхід тренування з багатомодальною взаємодією. Етап тренування складається з попереднього тренування та етапу налаштування інструкцій, які включаються у більшість візуальних фреймворків LLM, і додатковий етап активації реалізується для вирішення проблем перенавчання під час завдань аудіокапціонування та розпізнавання мовлення.
Попередній етап тренування
Для обмеження розриву між попередньо натренованими параметрами, включаючи кодери та LLM, та випадково ініціалізованими параметрами, включаючи адаптер та модуль з’єднання, фреймворк SALMONN використовує великий обсяг даних аудіокапціонування та розпізнавання мовлення для попереднього тренування компонентів LoRA та Q-Former. Ці завдання містять важливу аудіоінформацію про ключовий вміст аудіоподій як мовних, так і немовних, і жодне з них не вимагає складного розуміння чи виводу для вивчення вирівнювання між текстовими та аудіоінформаційними даними.
Етап налаштування інструкцій
Етап налаштування інструкцій, реалізований у фреймворку SALMONN, нагадує той, який реалізований у фреймворках NLP та візуальних LLM, шляхом використання списку аудіоподій, музичних завдань та мовних подій для налаштування аудіотекстових інструкцій. Завдання пріоритезуються на основі їхньої важливості у різних тестах, включаючи розпізнавання фонем, розпізнавання одночасного мовлення та створення музичних описів. Крім того, текстова інформація, поєднана з аудіоданими, утворює основу для генерації інструкційних запитів.
Завдання перенавчання
Навіть при реалізації лише перших двох етапів тренування фреймворк SALMONN демонструє конкурентоспроможні результати на завданнях налаштування інструкцій, хоча продуктивність не на рівні під час виконання міжмодальних завдань, особливо на завданнях, які вимагають міжмодального спільного міркування. Конкретно, модель іноді порушує інструкційні промпти, що призводить до генерації нерелевантних чи неправильних відповідей, і це явище називається завданням перенавчання у фреймворку SALMONN, і етап активації реалізується для вирішення цих проблем перенавчання.
Етап активації
Ефективним підходом для вирішення проблем перенавчання є регуляризація внутрішніх умовних мовних моделей за допомогою довших та більш різноманітних відповідей, таких як завдання оповідання або аудіоінформаційне питання-відповідь. Фреймворк тоді генерує пару тренувальних даних для таких завдань, використовуючи текст, поєднаний з описами аудіо, мовлення чи музики.
Специфікації завдань
Для оцінки міжмодальних емерджентних можливостей у режимі zero-shot фреймворку SALMONN розробники включили 15 мовних, аудіо- та музичних завдань, розділених на три рівні.
Рівень 1
На першому рівні завдання використовуються для налаштування інструкцій, і тому вони є найлегшим набором завдань, які фреймворк SALMONN повинен виконувати.
Рівень 2
Другий рівень складається з незатренованих завдань, і рівень складності вищий порівняно з завданнями рівня 1. На рівні 2 завдання є завданням NLP, включаючи виділення ключових слів із мовлення, яке використовується для оцінки точності фреймворку при витягуванні певних ключових слів за допомогою мови. Інші завдання включають SQQA або питання-відповідь на основі мовних запитів, які оцінюють загальні знання, які фреймворк залучає для відповідей на усні запитання, завдання SF або мовного заповнення слота для оцінки точності значень слота, і, нарешті, два завдання AST для перекладу з англійської на німецьку та англійської на японську.
Рівень 3
Рівень складності завдань на рівні 3 є максимальним порівняно з іншими двома рівнями, і включає завдання SAC або спільного міркування на основі мовлення й аудіо, і аудіо-орієнтованого оповідання. Завдання SAC вимагає від фреймворку SALMONN зрозуміти питання, включене в аудіокліп, поданий моделі, знайти підтримуючі докази, використовуючи аудіоподії чи музику на фоні, і, нарешті, згенерувати відповідну причину для відповіді на питання. Завдання аудіо-орієнтованого оповідання вимагають від моделі згенерувати значущу історію на основі аудіоінформації, витягнутої з загальних аудіовхідних.

Результати
Завдання рівня 1
Наступна таблиця демонструє результати на завданнях рівня 1, і, як можна бачити, фреймворк SALMONN повертає конкурентоспроможні результати на завданнях рівня 1 з або без активації.

Завдання рівня 2 та 3
Хоч фреймворк SALMONN повертає конкурентоспроможні результати на завданнях рівня 1 навіть без донавчання, те саме не можна сказати про завдання рівня 2 та 3, оскільки без активації фреймворк SALMONN сильно страждає від перенавчання на завданнях. Продуктивність падає ще далі на завданнях SQQA, SAC та оповідання, з акцентом на багатомодальні взаємодії, і фреймворк SALMONN бореться з виконанням інструкцій без активації. Однак з активацією результати покращуються значно, і результати включені в наступному зображенні.

Дисконтування фактору масштабування LoRA
Дисконтування фактору масштабування LoRA оцінює вплив використання зменшення під час тестування фактору масштабування LoRA для мінімізації проблем перенавчання на завданнях. Як можна бачити в наступному зображенні, зниження фактору масштабування LoRA до 2,0 підвищує міжмодальну здатність фреймворку SALMONN до міркування на завданнях ASR та PR, SQQA, оповідання та SAC відповідно.

Оцінка завдань перенавчання
Для акценту на активації фреймворк SALMONN аналізує зміни в перплексії під час трьох етапів тренування, і, як можна бачити в наступному зображенні, зміни перплексії для завдань AAC та ASR мають малі кінцеві значення після першого етапу тренування, вказуючи на навчання моделі міжмодальних вирівнювань.

Крім того, перплексія завдання PR також знижується після налаштування інструкцій через свою залежність від компонента LoRA для вивчення вивідних токенів. Також спостерігається, що хоча налаштування інструкцій допомагає у зменшенні перплексії на завданнях оповідання та SAC, розрив усе ще надто великий для успішного виконання завдань, якщо не додати додатковий етап активації або не видалити компонент LoRA.
Активація
Фреймворк SALMONN досліджує різні методи активації, включаючи тренування моделі на завданнях питання-відповідь з довгими відповідями, або використання аудіо-орієнтованих довгих написаних історій, тоді як використання довгих мовних транскрипцій для завдань ASR. Обидва компоненти Q-Former та LoRA донавчаються за допомогою цих трьох методів. Крім того, фреймворк ігнорує аудіо- та Q-Former-вхідні дані для донавчання компонентів LoRA та Vicuna як адаптивної текстової великої мовної моделі, і результати демонструються в наступному зображенні, і, як можна бачити, модель не може бути активована за допомогою ASR (тренування ASR з довгими мітками), ні за допомогою історії чи текстової активації за допомогою тренування компонента LoRA за допомогою текстових вхідних даних.

Фінальні думки
У цій статті ми говорили про SALMONN або Speech Audio Language Music Open Neural Network, фреймворк великої мовної моделі з однією аудіо-текстовою багатомодальністю, здатної сприймати та розуміти три основні типи аудіо- чи звукових сигналів, включаючи мову, аудіоподії та музику. Модель SALMONN дозволяє великим мовним моделям розуміти та обробляти загальні аудіовходи напряму, і демонструє конкурентоспроможну продуктивність у широкому спектрі аудіо- та мовних завдань.
Фреймворк SALMONN демонструє конкурентоспроможну продуктивність у широкому спектрі тренованих завдань, включаючи аудіокапціонування, розпізнавання мовлення та переклад, і узагальнює до великої кількості незатренованих завдань розуміння, включаючи виділення ключових слів із мовлення та переклад мовами, на яких модель не навчали. Завдяки своїм можливостям фреймворк SALMONN можна вважати наступним кроком до підвищення загальних слухових можливостей великих мовних моделей.












