Nella sintesi vocale testo (TTS), la clonazione vocale istantanea (IVC) consente al modello TTS di clonare la voce di qualsiasi speaker di riferimento utilizzando un breve campione audio, senza richiedere ulteriore formazione per lo speaker di riferimento. Questa tecnica è anche conosciuta come sintesi vocale testo zero-shot. L’approccio di clonazione vocale istantanea consente una personalizzazione flessibile della voce generata e dimostra un significativo valore in una vasta gamma di situazioni reali, tra cui chatbot personalizzati, creazione di contenuti e interazioni tra esseri umani e grandi modelli linguistici (LLM).

Sebbene gli attuali framework di clonazione vocale facciano il loro lavoro bene, sono afflitti da alcune sfide nel settore, tra cui Controllo flessibile dello stile vocale, ovvero i modelli mancano della capacità di manipolare gli stili vocali in modo flessibile dopo la clonazione della voce. Un altro grande ostacolo incontrato dagli attuali framework di clonazione vocale istantanea è Clonazione vocale cross-linguistica zero-shot, ovvero per gli scopi di formazione, gli attuali modelli richiedono l’accesso a un vasto dataset multi-linguistico di speaker (MSML) a prescindere dalla lingua.

Per affrontare queste sfide e contribuire al miglioramento dei modelli di clonazione vocale istantanea, gli sviluppatori hanno lavorato su OpenVoice, un framework di clonazione vocale istantanea versatile che replica la voce di qualsiasi utente e genera discorsi in più lingue utilizzando un breve clip audio dallo speaker di riferimento. OpenVoice dimostra che i modelli di clonazione vocale istantanea possono replicare il colore del tono dello speaker di riferimento e raggiungere un controllo granulare sugli stili vocali, tra cui accento, ritmo, intonazione, pause e persino emozioni. Ciò che è ancora più impressionante è che il framework OpenVoice dimostra anche notevoli capacità nel raggiungere la clonazione vocale cross-linguistica zero-shot per le lingue esterne al dataset MSML, consentendo a OpenVoice di clonare voci in nuove lingue senza una formazione estensiva per quella lingua. OpenVoice riesce a fornire risultati di clonazione vocale istantanea superiori, essendo allo stesso tempo computazionalmente fattibile con costi operativi fino a 10 volte inferiori rispetto alle attuali API disponibili con prestazioni inferiori.

In questo articolo, parleremo del framework OpenVoice in profondità e scopriremo la sua architettura che gli consente di fornire prestazioni superiori nei compiti di clonazione vocale istantanea. Quindi, iniziamo.

OpenVoice: Abilitazione della Clonazione Vocale Istantanea Versatile

Come menzionato in precedenza, la clonazione vocale istantanea, anche conosciuta come sintesi vocale testo zero-shot, consente al modello TTS di clonare la voce di qualsiasi speaker di riferimento utilizzando un breve campione audio senza la necessità di ulteriore formazione per lo speaker di riferimento. La clonazione vocale istantanea è sempre stata un argomento di ricerca caldo con lavori esistenti, tra cui i framework XTTS e VALLE, che estracono l’incorporazione dello speaker e/o i token acustici dall’audio di riferimento che serve come condizione per il modello auto-regressivo. Il modello auto-regressivo genera quindi i token acustici in sequenza e decodifica questi token in un’onda audio grezza.

Sebbene i modelli di clonazione vocale istantanea auto-regressivi clonino il colore del tono in modo notevole, falliscono nel manipolare altri parametri di stile, tra cui accento, emozione, pause e ritmo. Inoltre, i modelli auto-regressivi sperimentano anche una bassa velocità di inferenza e i loro costi operativi sono abbastanza alti. Esistono approcci come il framework YourTTS che impiega un approccio non auto-regressivo che dimostra una velocità di inferenza del discorso significativamente più veloce rispetto ai framework auto-regressivi, ma sono ancora incapaci di fornire ai loro utenti un controllo flessibile sui parametri di stile. Inoltre, sia i framework di clonazione vocale istantanea auto-regressivi che non auto-regressivi richiedono l’accesso a un vasto dataset MSML o multi-linguistico di speaker per la clonazione vocale cross-linguistica.

Per affrontare le sfide affrontate dagli attuali framework di clonazione vocale istantanea, gli sviluppatori hanno lavorato su OpenVoice, una libreria di clonazione vocale istantanea open source che mira a risolvere le seguenti sfide affrontate dagli attuali framework IVC.

1. La prima sfida è abilitare i framework IVC ad avere un controllo flessibile sui parametri di stile, oltre al colore del tono, tra cui accento, ritmo, intonazione e pause. I parametri di stile sono cruciali per generare conversazioni naturali e discorsi in contesto, piuttosto che narrare il testo di input in modo monotono.
2. La seconda sfida è abilitare i framework IVC a clonare voci cross-linguistiche in un ambiente zero-shot.
3. La terza sfida è raggiungere alte velocità di inferenza in tempo reale senza deteriorare la qualità.

Per affrontare le prime due sfide, l’architettura del framework OpenVoice è progettata per scindere i componenti nella voce nel miglior modo possibile. Inoltre, OpenVoice genera il colore del tono, la lingua e altre caratteristiche vocali in modo indipendente, consentendo al framework di manipolare flessibilmente i singoli tipi di lingua e stili vocali. Il framework OpenVoice affronta la terza sfida per impostazione predefinita, poiché la struttura scissa riduce la complessità computazionale e le esigenze di dimensione del modello.

OpenVoice: Metodologia e Architettura

Il framework tecnico del framework OpenVoice è efficace e sorprendentemente semplice da implementare. Non è un segreto che clonare il colore del tono per qualsiasi speaker, aggiungere una nuova lingua e abilitare un controllo flessibile sui parametri vocali simultaneamente possa essere una sfida. Ciò è dovuto al fatto che eseguire questi tre compiti simultaneamente richiede che i parametri controllati si intersechino utilizzando un grande chunk di dataset combinatoriali. Inoltre, nella sintesi vocale testo standard per singolo speaker, per compiti che non richiedono la clonazione vocale, è più facile aggiungere il controllo su altri parametri di stile. Basandosi su questi, il framework OpenVoice mira a scindere i compiti di clonazione vocale istantanea in sottocompiti. Il modello propone di utilizzare un modello di sintesi vocale testo base per controllare la lingua e i parametri di stile e impiega un convertitore di colore del tono per includere il colore del tono di riferimento nella voce generata.

Al suo nucleo, il framework OpenVoice impiega due componenti: un convertitore di colore del tono e un modello di sintesi vocale testo base. Il modello di sintesi vocale testo base è un modello per singolo speaker o multi-speaker che consente un controllo preciso sui parametri di stile, lingua e accento. Il modello genera una voce che viene quindi passata al convertitore di colore del tono, che cambia il colore del tono base con il colore del tono dello speaker di riferimento.

Il framework OpenVoice offre molta flessibilità quando si tratta del modello di sintesi vocale testo base, poiché può impiegare il modello VITS con leggere modifiche che gli consentono di accettare incorporamenti di lingua e stile nel suo predittore di durata e codificatore di testo. Il framework può anche impiegare modelli come Microsoft (MSFT ) TTS che sono commercialmente economici o può impiegare modelli come InstructTTS che sono in grado di accettare prompt di stile. Al momento, il framework OpenVoice impiega il modello VITS, sebbene gli altri modelli siano anche una opzione fattibile.

Passando al secondo componente, il convertitore di colore del tono è un componente encoder-decoder che ospita un flusso di normalizzazione invertibile al centro. Il componente encoder nel convertitore di colore del tono è una CNN unidimensionale che accetta lo spettro trasformato di Fourier a tempo breve del modello di sintesi vocale testo base come input. L’encoder genera quindi mappe di caratteristiche come output. L’estraiatore di colore del tono è una CNN bidimensionale semplice che opera sul mel-spettrogramma della voce di input e genera un singolo vettore di caratteristiche come output che codifica le informazioni del colore del tono. Le layer di flusso di normalizzazione accettano le mappe di caratteristiche generate dall’encoder come input e generano una rappresentazione di caratteristiche che preserva tutte le proprietà di stile, ma elimina le informazioni del colore del tono. Il framework OpenVoice applica quindi le layer di flusso di normalizzazione nella direzione inversa e prende le rappresentazioni di caratteristiche come input e output le layer di flusso di normalizzazione. Il framework decodifica quindi le layer di flusso di normalizzazione in onde audio grezze utilizzando uno stack di convoluzioni unidimensionali trasposte.

L’intera architettura del framework OpenVoice è feed forward senza l’uso di alcun componente auto-regressivo. Il componente convertitore di colore del tono è simile alla conversione vocale a livello concettuale, ma differisce in termini di funzionalità, obiettivi di formazione e bias induttivo nella struttura del modello. Le layer di flusso di normalizzazione condividono la stessa struttura dei modelli di sintesi vocale testo basati su flusso, ma differiscono in termini di funzionalità e obiettivi di formazione.

Inoltre, esiste un approccio diverso per estrarre rappresentazioni di caratteristiche, il metodo implementato dal framework OpenVoice consegna una migliore qualità audio. È anche degno di nota che il framework OpenVoice non ha intenzione di inventare componenti nella struttura del modello, ma piuttosto entrambi i componenti principali, ovvero il convertitore di colore del tono e il modello di sintesi vocale testo base, sono entrambi tratti da lavori esistenti. L’obiettivo principale del framework OpenVoice è quello di formare un framework scisso che separi il controllo della lingua e dello stile vocale dal colore del tono. Sebbene l’approccio sia abbastanza semplice, è molto efficace, specialmente nei compiti che controllano gli stili e gli accenti, o nella generalizzazione di nuove lingue. Raggiungere lo stesso controllo utilizzando un framework accoppiato richiede una grande quantità di calcolo e dati e non si generalizza bene alle nuove lingue.

Al suo nucleo, la filosofia principale del framework OpenVoice è quella di scindere la generazione della lingua e degli stili vocali dalla generazione del colore del tono. Una delle principali forze del framework OpenVoice è che la voce clonata è fluente e di alta qualità, a condizione che il modello di sintesi vocale testo per singolo speaker parli in modo fluente.

OpenVoice: Esperimento e Risultati

Valutare i compiti di clonazione vocale è un obiettivo difficile a causa di numerosi motivi. Innanzitutto, i lavori esistenti spesso impiegano dati di formazione e di test diversi, il che rende la comparazione di questi lavori intrinsecamente ingiusta. Sebbene il crowdsourcing possa essere utilizzato per valutare metriche come il punteggio di opinione medio, la difficoltà e la diversità dei dati di test influenzeranno significativamente il risultato complessivo. In secondo luogo, i diversi metodi di clonazione vocale hanno dati di formazione diversi e la diversità e la scala di questi dati influenzeranno i risultati in modo significativo. Infine, l’obiettivo principale dei lavori esistenti spesso differisce l’uno dall’altro, quindi differiscono nella loro funzionalità.

A causa dei tre motivi menzionati sopra, è ingiusto confrontare i framework di clonazione vocale esistenti in modo numerico. Invece, ha più senso confrontare questi metodi in modo qualitativo.

Clonazione del Colore del Tono Accurata

Per analizzare le sue prestazioni, gli sviluppatori costruiscono un set di test con individui anonimi, personaggi di giochi e celebrità che formano la base degli speaker di riferimento e hanno una vasta distribuzione vocale, tra cui campioni neutri e voci espressive uniche. Il framework OpenVoice è in grado di clonare il colore del tono di riferimento e generare discorsi in più lingue e accenti per qualsiasi speaker di riferimento e i 4 speaker base.

Controllo Flessibile degli Stili Vocali

Uno degli obiettivi del framework OpenVoice è controllare gli stili vocali in modo flessibile utilizzando il convertitore di colore del tono che può modificare il colore del tono preservando tutte le altre caratteristiche e proprietà vocali.

Gli esperimenti indicano che il modello preserva gli stili vocali dopo la conversione al colore del tono di riferimento. In alcuni casi, tuttavia, il modello neutralizza leggermente le emozioni, un problema che può essere risolto passando meno informazioni alle layer di flusso in modo che non possano eliminare l’emozione. Il framework OpenVoice è in grado di preservare gli stili dalla voce base grazie all’uso di un convertitore di colore del tono. Ciò consente al framework OpenVoice di manipolare facilmente il modello di sintesi vocale testo base per controllare gli stili vocali.

Clonazione Vocale Cross-Linguistica

Il framework OpenVoice non include alcun dato di speaker massiccio per una lingua non vista, ma è comunque in grado di raggiungere una clonazione vocale cross-linguistica quasi zero-shot. Le capacità di clonazione vocale cross-linguistica del framework OpenVoice sono due:

1. Il modello è in grado di clonare il colore del tono dello speaker di riferimento in modo accurato quando la lingua dello speaker di riferimento non è presente nel dataset MSML.
2. Inoltre, nello stesso evento in cui la lingua dello speaker di riferimento non è presente, il framework OpenVoice è in grado di clonare la voce dello speaker di riferimento e parlare nella lingua a condizione che il modello di sintesi vocale testo base supporti la lingua.

Pensieri Finali

In questo articolo, abbiamo parlato di OpenVoice, un framework di clonazione vocale istantanea versatile che replica la voce di qualsiasi utente e genera discorsi in più lingue utilizzando un breve clip audio dallo speaker di riferimento. L’intuizione principale dietro OpenVoice è che, finché un modello non deve eseguire la clonazione del colore del tono dello speaker di riferimento, un framework può impiegare un modello di sintesi vocale testo base per controllare la lingua e gli stili vocali.

OpenVoice dimostra che i modelli di clonazione vocale istantanea possono replicare il colore del tono dello speaker di riferimento e raggiungere un controllo granulare sugli stili vocali, tra cui accento, ritmo, intonazione, pause e persino emozioni. OpenVoice riesce a fornire risultati di clonazione vocale istantanea superiori, essendo allo stesso tempo computazionalmente fattibile con costi operativi fino a 10 volte inferiori rispetto alle attuali API disponibili con prestazioni inferiori.