Fish Audio lancia Drama 3 per dirigere le voci generate dall’IA e modificare una sola parola

Una battuta può contenere tutte le parole giuste e risultare comunque recitata nel modo sbagliato. La pausa arriva troppo presto. Un personaggio sembra sicuro di sé quando la scena richiede esitazione. Una parola pronunciata male spezza una narrazione altrimenti convincente.

Fish Audio punta a risolvere questi problemi di produzione con Drama 3, il suo nuovo modello di sintesi vocale annunciato il 13 ottobre. L’azienda afferma che i creator possono dirigere la recitazione con istruzioni in linguaggio comune, generare scene con più interlocutori e correggere una porzione selezionata dell’audio sintetizzato senza rigenerare la parte circostante della performance.

La funzionalità più rilevante potrebbe consistere nella modifica più piccola: cambiare una sola parola preservando la voce, il tono e il ritmo delle parti che la precedono e la seguono. Per i team che realizzano audiolibri, contenuti doppiati, videogiochi o drammi audio, il valore di una voce sintetica dipende sempre più dalla facilità con cui la si può modificare.

Dare indicazioni sulla recitazione vocale

Drama 3 accetta descrizioni del tono, del ritmo e del carattere, comprese istruzioni che modificano la recitazione all’interno di una frase. Secondo l’annuncio, un passaggio può iniziare con calma e diventare concitato, senza dover generare nuovamente ogni sezione emotiva.

«L’IA vocale è diventata molto brava a generare parlato. Il passo successivo è dirigere una performance», ha dichiarato Rissa Cao, cofondatrice e CEO di Fish Audio, nell’annuncio del lancio.

La pagina pubblica di anteprima di Drama 3 dell’azienda offre un quadro più concreto dei controlli disponibili. Gli utenti possono inserire indicazioni, suoni e pause tra parentesi quadre oppure applicare tag in coppia alle parole selezionate. In questo modo, chi scrive può limitare un effetto, come un sussurro, un’enfasi o un ritmo più lento, a una frase specifica. La funzione Auto Tag può anche suggerire le prime indicazioni per un copione, che i creator possono poi modificare.

Le implicazioni per la creatività sono chiare: il copione diventa sia un dialogo sia un insieme di istruzioni per la recitazione. Gli autori possono lavorare su ciò che intende un personaggio, su dove inserire un respiro e su quale frase enfatizzare, tutto all’interno dello stesso testo modificabile.

Inpainting audio: correggere il passaggio che non funziona

Fish Audio descrive l’inpainting audio di Drama 3 come un modo per selezionare una parte di una performance esistente, aggiornare le istruzioni e rigenerare quel segmento mantenendo l’audio circostante. Il cofondatore e responsabile scientifico Shijia Liao afferma che il modello usa i suoni che precedono e seguono una parola modificata per far sì che la sostituzione si integri bene.

È un compito diverso dal generare una battuta sostitutiva isolata. Il nuovo audio deve raccordarsi a una performance già definita: tempi, intonazione e identità vocale devono rimanere credibili in corrispondenza dei punti di giunzione della modifica.

Immaginiamo la produzione di un audiolibro di fantasia in cui il narratore legge correttamente un paragrafo, ma pronuncia con un’enfasi innaturale un nome. Una correzione mirata potrebbe preservare la buona recitazione del resto del paragrafo. Lo stesso approccio potrebbe aiutare un team di sviluppo di videogiochi a rivedere una breve battuta dopo una modifica al copione.

Si tratta di potenziali vantaggi per il flusso di lavoro, non di incrementi di produttività misurati. L’annuncio non presenta una valutazione indipendente dell’affidabilità con cui le correzioni di singole parole preservano l’audio circostante tra voci, accenti o passaggi difficili.

Scene, personaggi e coerenza multilingue

Drama 3 consente anche di generare in un unico passaggio una scena completa con più interlocutori. Fish Audio afferma che ogni personaggio mantiene una voce distinta e risponde tenendo conto del dialogo precedente. L’annuncio pone l’accento sulla coerenza dei personaggi nei copioni lunghi, sui cambi di lingua all’interno di una scena e sul controllo della pronuncia a livello di fonema in lingue come inglese, cinese, giapponese e coreano.

Nei dialoghi, la continuità non consiste solo nel riconoscere chi sta parlando. Una risposta deve sembrare una prosecuzione della battuta precedente, non una registrazione scollegata inserita in una sequenza. Per la localizzazione, anche la pronuncia e la caratterizzazione devono conservarsi nel passaggio da una lingua all’altra.

Le affermazioni dell’azienda riguardano entrambi i problemi, ma la prova concreta sarà la scena finita: gli ascoltatori non dovrebbero percepire cambiamenti bruschi nell’identità o nella recitazione quando si alternano gli interlocutori, si modifica un passaggio o si cambia lingua nel copione.

Il ruolo di Drama 3 nella tecnologia di Fish Audio

L’approccio che mette al primo posto le indicazioni si basa su un percorso di ricerca già descritto da Fish Audio. La precedente pubblicazione di ricerca S2 supportava istruzioni in linguaggio naturale inserite in corrispondenza di specifiche parole o frasi. L’azienda aveva descritto un’architettura doppiamente autoregressiva che separa la previsione lungo la sequenza temporale dell’audio dalla generazione di dettagli acustici più fini, affiancata da un allineamento tramite apprendimento per rinforzo per migliorare l’intelligibilità, il rispetto delle istruzioni e la somiglianza della voce.

Quel lavoro precedente offre un contesto utile per comprendere l’attenzione di Fish Audio al parlato controllabile. Non dimostra quale sia l’architettura precisa di Drama 3: il nuovo annuncio fa riferimento a una modifica architetturale, ma non pubblica dettagli sufficienti per considerare equivalenti i due sistemi o attribuire a Drama 3 i risultati dei benchmark di S2.

Per gli sviluppatori, la documentazione dell’API di sintesi vocale elenca Drama 3 sotto l’identificativo del modello drama-3-preview. Le richieste con più interlocutori utilizzano un elenco di identificativi vocali e marcatori degli interlocutori nel testo. L’endpoint offre inoltre controlli per la velocità, il volume, il campionamento e i formati di output, tra cui WAV, PCM, MP3 e Opus.

La pagina pubblica del prodotto e la documentazione dell’API descrivono ancora Drama 3 come un’anteprima. Fish Audio avverte che i risultati variano da una generazione all’altra e che il modello continuerà a cambiare. I team di produzione dovrebbero quindi distinguere le funzionalità dichiarate al lancio dalla coerenza che riscontrano nei propri materiali.

Uno strumento di produzione si giudica dalle revisioni

Fish Audio afferma di servire ora più di 15 milioni di utenti e di aver raggiunto 21 milioni di dollari di ricavi ricorrenti annuali. Questi dati, comunicati dall’azienda, collocano Drama 3 all’interno di una piattaforma più ampia che comprende generazione vocale, trascrizione, clonazione vocale e strumenti creativi.

Per il lancio, l’azienda afferma che l’utilizzo dell’API sarà scontato dell’80% per i primi 30 giorni e che le imprese idonee che cambiano fornitore di servizi vocali potranno usufruire di tre mesi gratuiti. I lettori possono consultare la pagina dei prezzi di Fish Audio per conoscere i piani e i dettagli dell’offerta aggiornati.

La proposta di Drama 3 dà il meglio di sé quando la generazione si unisce alla revisione. Un primo risultato convincente è utile; poter conservare i momenti riusciti correggendo quelli meno efficaci è ciò che rende più facile integrare un modello vocale nel flusso di lavoro di produzione. Con questo lancio, Fish Audio pone tale capacità al centro della sua prossima fase.