LASS o Language-queried Audio Source Separation è il nuovo paradigma per CASA o Computational Auditory Scene Analysis che mira a separare un suono target da una miscela di audio utilizzando una query di linguaggio naturale che fornisce un’interfaccia naturale e scalabile per le applicazioni e i compiti di audio digitali. Sebbene i framework LASS abbiano fatto notevoli progressi negli ultimi anni in termini di prestazioni desiderate su fonti audio specifiche come strumenti musicali, non sono in grado di separare l’audio target nel dominio aperto.

AudioSep, è un modello fondamentale che mira a risolvere le limitazioni attuali dei framework LASS abilitando la separazione dell’audio target utilizzando query di linguaggio naturale. Gli sviluppatori del framework AudioSep hanno addestrato il modello estensivamente su una vasta gamma di dataset multimodali su larga scala e hanno valutato le prestazioni del framework su una vasta gamma di compiti audio, tra cui la separazione degli strumenti musicali, la separazione degli eventi audio e il miglioramento della parlata, tra gli altri. Le prestazioni iniziali di AudioSep soddisfano i benchmark, poiché dimostra impressionanti capacità di apprendimento zero-shot e fornisce una forte prestazione di separazione audio.

In questo articolo, faremo un’analisi più approfondita del funzionamento del framework AudioSep, valutando l’architettura del modello, i dataset utilizzati per l’addestramento e la valutazione e i concetti essenziali coinvolti nel funzionamento del modello AudioSep. Quindi, iniziamo con una breve introduzione al framework CASA.

CASA, USS, QSS, LASS Frameworks: La base per AudioSep

Il framework CASA o Computational Auditory Scene Analysis è un framework utilizzato dagli sviluppatori per progettare sistemi di ascolto macchina che hanno la capacità di percepire ambienti sonori complessi in modo simile a come gli esseri umani percepiscono il suono utilizzando i loro sistemi uditivi. La separazione del suono, con un focus speciale sulla separazione del suono target, è un’area fondamentale di ricerca all’interno del framework CASA e mira a risolvere il “problema del party” o la separazione di registrazioni audio reali da registrazioni audio individuali o file. L’importanza della separazione del suono può essere attribuita principalmente alle sue ampie applicazioni, tra cui la separazione delle fonti musicali, la separazione delle fonti audio, il miglioramento della parlata, l’identificazione del suono target e molto altro.

La maggior parte del lavoro sulla separazione del suono svolto in passato ruota principalmente intorno alla separazione di una o più fonti audio, come la separazione della musica o della parlata. Un nuovo modello chiamato USS o Universal Sound Separation mira a separare suoni arbitrari in registrazioni audio reali. Tuttavia, è un compito impegnativo e restrittivo separare ogni fonte di suono da una miscela di audio, principalmente a causa della vasta gamma di diverse fonti di suono esistenti nel mondo, che è il motivo principale per cui il metodo USS non è fattibile per applicazioni reali che funzionano in tempo reale.

Un’alternativa fattibile al metodo USS è il metodo QSS o Query-based Sound Separation, che mira a separare una fonte di suono individuale o target da una miscela di audio in base a un set di query specifiche. Grazie a ciò, il framework QSS consente agli sviluppatori e agli utenti di estrarre le fonti di audio desiderate dalla miscela in base alle loro esigenze, rendendo il metodo QSS una soluzione più pratica per le applicazioni digitali reali, come la modifica del contenuto multimediale o la modifica audio.

Inoltre, gli sviluppatori hanno recentemente proposto un’estensione del framework QSS, il framework LASS o Language-queried Audio Source Separation, che mira a separare fonti di suono arbitrarie da una miscela di audio utilizzando descrizioni di linguaggio naturale della fonte di suono target. Poiché il framework LASS consente agli utenti di estrarre le fonti di audio target utilizzando un set di istruzioni di linguaggio naturale, potrebbe diventare uno strumento potente con ampie applicazioni nelle applicazioni audio digitali. Rispetto ai metodi tradizionali di query audio o video, l’utilizzo di istruzioni di linguaggio naturale per la separazione audio offre un maggior grado di flessibilità e rende l’acquisizione delle informazioni di query più facile e conveniente. Inoltre, rispetto ai framework di separazione audio basati su etichette che utilizzano un set predefinito di istruzioni o query, il framework LASS non limita il numero di query di input e ha la flessibilità di essere generalizzato nel dominio aperto in modo fluido.

Originariamente, il framework LASS si basa sull’apprendimento supervisionato, in cui il modello viene addestrato su un set di dati audio-testo etichettati. Tuttavia, il problema principale con questo approccio è la limitata disponibilità di dati audio-testo etichettati e annotati. Per ridurre la dipendenza del framework LASS dai dati audio-testo etichettati, i modelli vengono addestrati utilizzando l’approccio di apprendimento di supervisione multimodale. L’obiettivo principale dietro l’utilizzo di un approccio di apprendimento di supervisione multimodale è utilizzare modelli di pre-addestramento contrastivo multimodale come il modello CLIP o Contrastive Language Image Pre-training come encoder di query per il framework. Poiché il modello CLIP ha la capacità di allineare le embedding testuali con altre modalità come l’audio o la visione, consente agli sviluppatori di addestrare i modelli LASS utilizzando dati ricchi di modalità e consente l’interferenza con i dati testuali in un ambiente zero-shot. Tuttavia, i framework LASS attuali utilizzano piccoli set di dati per l’addestramento e le applicazioni del framework LASS in centinaia di domini potenziali sono ancora da esplorare.

Per risolvere le limitazioni attuali affrontate dai framework LASS, gli sviluppatori hanno introdotto AudioSep, un modello fondamentale che mira a separare il suono da una miscela di audio utilizzando descrizioni di linguaggio naturale. L’attuale focus per AudioSep è sviluppare un modello di separazione del suono pre-addestrato che sfrutta i dataset multimodali su larga scala esistenti per abilitare la generalizzazione dei modelli LASS nelle applicazioni del dominio aperto. In sintesi, il modello AudioSep è: “Un modello fondamentale per la separazione universale del suono nel dominio aperto utilizzando query o descrizioni di linguaggio naturale addestrato su dataset audio e multimodali su larga scala”.

AudioSep: Componenti chiave e architettura

L’architettura del framework AudioSep comprende due componenti chiave: un encoder di testo e un modello di separazione.

L’encoder di testo

Il framework AudioSep utilizza un encoder di testo del modello CLIP o Contrastive Language Image Pre-training o del modello CLAP o Contrastive Language Audio Pre-training per estrarre le embedding testuali all’interno di una query di linguaggio naturale. La query di testo di input consiste in una sequenza di “N” token che viene quindi elaborata dall’encoder di testo per estrarre le embedding testuali per la query di linguaggio di input. L’encoder di testo utilizza uno stack di blocchi di trasformazione per codificare i token di testo di input e le rappresentazioni di output vengono aggregate dopo essere state passate attraverso i layer di trasformazione, il che porta allo sviluppo di una rappresentazione vettoriale a dimensione fissa D, dove D corrisponde alle dimensioni dei modelli CLAP o CLIP, mentre l’encoder di testo è congelato durante il periodo di addestramento.

Il modello CLIP è pre-addestrato su un dataset su larga scala di dati di immagini e testo accoppiati utilizzando l’apprendimento contrastivo, il che è il motivo principale per cui l’encoder di testo del modello CLIP apprende la mappatura delle descrizioni testuali nello spazio semantico condiviso dalle rappresentazioni visive. Il vantaggio che AudioSep ottiene utilizzando l’encoder di testo del modello CLIP è che può ora scalare o addestrare il modello LASS da dati audio-visuali non etichettati utilizzando le embedding visive come alternativa, abilitando così l’addestramento dei modelli LASS senza la necessità di dati audio-testo etichettati e annotati.

Il modello CLAP funziona in modo simile al modello CLIP e utilizza un obiettivo di apprendimento contrastivo, utilizzando un encoder di testo e un encoder di audio per collegare l’audio e il linguaggio, portando così le descrizioni testuali e audio su uno spazio latente audio-testo condiviso.

Modello di separazione

Il framework AudioSep utilizza un modello ResUNet a dominio di frequenza come spina dorsale per la separazione del framework. Il framework funziona applicando prima una STFT o una Short-Time Fourier Transform sul segnale di onda per estrarre uno spettrogramma complesso, lo spettrogramma della magnitudine e la Fase di X. Il modello segue quindi la stessa impostazione e costruisce una rete encoder-decoder per elaborare lo spettrogramma della magnitudine.

La rete ResUNet encoder-decoder consiste in 6 blocchi residuali, 6 blocchi decoder e 4 blocchi di collo di bottiglia. Lo spettrogramma in ogni blocco encoder utilizza 4 blocchi convoluzionali residuali per campionare se stesso in una caratteristica di collo di bottiglia, mentre i blocchi decoder utilizzano 4 blocchi deconvoluzionali residuali per ottenere i componenti di separazione campionando le caratteristiche. Successivamente, ogni blocco encoder e il suo corrispondente blocco decoder stabiliscono una connessione di salto che opera alla stessa velocità di campionamento o di downsampling. Il blocco residuale del framework consiste in 2 layer di attivazione Leaky-ReLU, 2 layer di normalizzazione del batch e 2 layer di CNN, e inoltre il framework introduce un ulteriore collegamento residuale che collega l’input e l’output di ogni blocco residuale individuale. Il modello ResUNet prende lo spettrogramma complesso X come input e produce la maschera di magnitudine M come output con il residuo di fase condizionato sugli embedding testuali che controlla la magnitudine di scala e la rotazione dell’angolo dello spettrogramma. Lo spettrogramma complesso separato può quindi essere estratto moltiplicando la maschera di magnitudine prevista e il residuo di fase con la STFT (Short-Time Fourier Transform) della miscela.

Nel suo framework, AudioSep utilizza un layer FiLm o Feature-wise Linearly modulated per collegare il modello di separazione e l’encoder di testo dopo la distribuzione dei blocchi convoluzionali nel ResUNet.

Addestramento e perdita

Durante l’addestramento del modello AudioSep, gli sviluppatori utilizzano il metodo di aumento del volume e addestrano il framework AudioSep end-to-end utilizzando una funzione di perdita L1 tra le forme d’onda di ground truth e previste.

Dataset e benchmark

Come menzionato in sezioni precedenti, AudioSep è un modello fondamentale che mira a risolvere l’attuale dipendenza dei modelli LASS da dataset audio-testo accoppiati etichettati. Il modello AudioSep è addestrato su una vasta gamma di dataset per dotarlo di capacità di apprendimento multimodale e qui è descritto in dettaglio il dataset e i benchmark utilizzati dagli sviluppatori per addestrare il framework AudioSep.

AudioSet

AudioSet è un dataset audio debole etichettato su larga scala che comprende oltre 2 milioni di clip audio da 10 secondi estratti direttamente da YouTube. Ogni clip audio nel dataset AudioSet è categorizzato per l’assenza o la presenza di classi di suoni senza dettagli temporali specifici degli eventi sonori. Il dataset AudioSet ha oltre 500 classi di suono distinte, tra cui suoni naturali, suoni umani, suoni di veicoli e molti altri.

VGGSound

Il dataset VGGSound è un dataset audio-visivo su larga scala che, come AudioSet, è stato estratto direttamente da YouTube e contiene oltre 200.000 clip video, ognuna delle quali ha una lunghezza di 10 secondi. Il dataset VGGSound è categorizzato in oltre 300 classi di suoni, tra cui suoni umani, suoni naturali, suoni di uccelli e molti altri. L’utilizzo del dataset VGGSound garantisce che l’oggetto responsabile della produzione del suono target sia anche descrivibile nel clip visivo corrispondente.

AudioCaps

AudioCaps è il dataset di annotazione audio più grande disponibile pubblicamente e comprende oltre 50.000 clip audio da 10 secondi estratti dal dataset AudioSet. I dati in AudioCaps sono divisi in tre categorie: dati di addestramento, dati di testing e dati di validazione, e le clip audio sono state annotate con descrizioni di linguaggio naturale utilizzando la piattaforma Amazon (AMZN ) Mechanical Turk. È importante notare che ogni clip audio nel set di addestramento ha una sola didascalia, mentre i dati nel set di testing e di validazione hanno ciascuno 5 didascalie di ground truth.

ClothoV2

Il dataset ClothoV2 è un dataset di annotazione audio che consiste in clip estratte dalla piattaforma FreeSound e, come AudioCaps, ogni clip audio è stata annotata con descrizioni di linguaggio naturale utilizzando la piattaforma Amazon Mechanical Turk.

WavCaps

Come AudioSet, WavCaps è un dataset audio debole etichettato su larga scala che comprende oltre 400.000 clip audio con didascalie, e un tempo di riproduzione totale di circa 7568 ore di dati di addestramento. Le clip audio nel dataset WavCaps sono state estratte da una vasta gamma di fonti audio, tra cui BBC Sound Effects, AudioSet, FreeSound, SoundBible e molti altri.

Dettagli dell’addestramento

Durante la fase di addestramento, il modello AudioSep campiona casualmente due segmenti audio da due clip audio diverse del set di addestramento e li combina per creare una miscela di addestramento, dove la lunghezza di ogni segmento audio è di circa 5 secondi. Il modello quindi estrae lo spettrogramma complesso dal segnale di onda utilizzando una finestra di Hann di dimensione 1024 con un passo di 320.

Il modello quindi utilizza l’encoder di testo dei modelli CLIP/CLAP per estrarre le embedding testuali con la supervisione del testo come configurazione predefinita per AudioSep. Per il modello di separazione, il framework AudioSep utilizza un layer ResUNet composto da 30 layer, 6 blocchi encoder e 6 blocchi decoder, simile all’architettura seguita nel framework di separazione universale del suono. Inoltre, ogni blocco encoder ha due layer convoluzionali con una dimensione del kernel di 3×3, con il numero di mappe di caratteristiche di output dei blocchi encoder che è rispettivamente 32, 64, 128, 256, 512 e 1024. I blocchi decoder condividono la simmetria con i blocchi encoder e gli sviluppatori applicano l’ottimizzatore Adam per addestrare il modello AudioSep con una dimensione del batch di 96.

Risultati della valutazione

Sui dataset visti

La figura seguente confronta le prestazioni del framework AudioSep sui dataset visti durante la fase di addestramento, inclusi i dataset di addestramento. La figura seguente rappresenta i risultati della valutazione del framework AudioSep quando confrontato con i sistemi di base, tra cui i modelli di miglioramento della parlata e i modelli LASS e CLIP. Il modello AudioSep con encoder di testo CLIP è rappresentato come AudioSep-CLIP, mentre il modello AudioSep con encoder di testo CLAP è rappresentato come AudioSep-CLAP.

Come si può vedere nella figura, il framework AudioSep si esegue bene quando utilizza le didascalie audio o le etichette di testo come query di input e i risultati indicano la prestazione superiore del framework AudioSep quando confrontato con i modelli di separazione del suono e i modelli LASS e audio-queried precedenti.

Sui dataset non visti

Per valutare le prestazioni di AudioSep in un ambiente zero-shot, gli sviluppatori hanno continuato a valutare le prestazioni sui dataset non visti e il framework AudioSep fornisce prestazioni di separazione impressionanti in un ambiente zero-shot e i risultati sono visualizzati nella figura seguente.

Inoltre, l’immagine seguente mostra i risultati della valutazione del modello AudioSep contro il miglioramento della parlata Voicebank-Demand.

La valutazione del framework AudioSep indica una prestazione forte e desiderata sui dataset non visti in un ambiente zero-shot e quindi apre la strada all’esecuzione di compiti di operazione del suono su nuove distribuzioni di dati.

Visualizzazione dei risultati di separazione

La figura seguente mostra i risultati ottenuti quando gli sviluppatori hanno utilizzato il framework AudioSep-CLAP per eseguire la visualizzazione degli spettri per le fonti audio di ground truth, le miscele audio e le fonti audio separate utilizzando query di testo di diversi audio o suoni. I risultati hanno consentito agli sviluppatori di osservare che il modello di separazione dello spettrogramma è vicino alla fonte di ground truth, il che supporta ulteriormente i risultati oggettivi ottenuti durante gli esperimenti.

Confronto delle query di testo

Gli sviluppatori valutano le prestazioni di AudioSep-CLAP e AudioSep-CLIP su AudioCaps Mini e gli sviluppatori utilizzano le etichette degli eventi AudioSet, le didascalie AudioCaps e le descrizioni di linguaggio naturale ri-annotate per esaminare gli effetti di diverse query e la figura seguente mostra un esempio di AudioCaps Mini in azione.

Conclusione

AudioSep è un modello fondamentale sviluppato con l’obiettivo di essere un framework di separazione universale del suono nel dominio aperto che utilizza descrizioni di linguaggio naturale per la separazione audio. Come osservato durante la valutazione, il framework AudioSep è in grado di eseguire l’apprendimento zero-shot e non supervisionato in modo fluido utilizzando le didascalie audio o le etichette di testo come query. I risultati e le prestazioni della valutazione di AudioSep indicano una prestazione forte che supera i framework di separazione del suono attuali come LASS e potrebbe essere in grado di risolvere le limitazioni attuali dei framework di separazione del suono popolari.