Fish Audio lança Drama 3 para dirigir vozes de IA e editar uma única palavra

Uma fala pode conter todas as palavras certas e, ainda assim, transmitir a interpretação errada. A pausa vem cedo demais. Um personagem soa confiante quando a cena pede hesitação. Uma palavra pronunciada incorretamente compromete uma narração que, de resto, seria convincente.

Fish Audio quer resolver esses problemas de produção com Drama 3, seu novo modelo de conversão de texto em fala, anunciado em 13 de outubro. A empresa afirma que os criadores podem orientar a interpretação em linguagem comum, gerar cenas com vários interlocutores e corrigir um trecho selecionado de áudio sintetizado sem gerar novamente a interpretação ao redor.

O recurso mais significativo talvez seja a menor das edições: alterar uma única palavra e preservar a voz, o tom e o ritmo antes e depois dela. Para equipes que produzem audiolivros, conteúdo dublado, jogos ou dramas em áudio, o valor de uma voz sintética depende cada vez mais da facilidade com que ela pode ser revisada.

Orientando a interpretação vocal

Drama 3 aceita descrições de tom, ritmo e personagem, incluindo instruções que alteram a interpretação no meio de uma frase. Segundo o anúncio, um trecho pode começar com tranquilidade e se tornar desesperado, sem que seja necessário gerar novamente cada parte emocional.

“A IA de voz ficou muito boa em gerar fala. O próximo passo é dirigir uma interpretação”, disse Rissa Cao, cofundadora e CEO da Fish Audio, no anúncio de lançamento.

A página pública de demonstração do Drama 3 da empresa oferece uma visão mais concreta dos controles. Os usuários podem inserir instruções, sons e pausas entre colchetes ou aplicar etiquetas pareadas a palavras selecionadas. Assim, o roteirista pode limitar um efeito — como sussurrar, dar ênfase ou falar mais devagar — a uma frase específica. O recurso Auto Tag também pode sugerir instruções iniciais para um roteiro, que os criadores podem revisar em seguida.

A implicação criativa é simples: o roteiro passa a ser, ao mesmo tempo, diálogo e conjunto de instruções de interpretação. Os roteiristas podem trabalhar no que um personagem quer dizer, em onde deve entrar uma respiração e em qual frase merece ênfase, tudo no mesmo texto editável.

Recomposição de áudio: corrigindo o trecho que não funciona

A Fish Audio descreve a recomposição de áudio do Drama 3 como uma forma de selecionar um trecho de uma interpretação existente, atualizar as instruções e gerar novamente essa parte, preservando o áudio ao redor. O cofundador e cientista-chefe Shijia Liao afirma que o modelo usa o som antes e depois de uma palavra editada para fazer com que a substituição se encaixe.

Essa tarefa é diferente de gerar uma frase substituta isolada. O novo áudio precisa se conectar a uma interpretação já estabelecida: o ritmo, a entonação e a identidade vocal devem continuar convincentes nos limites da edição.

Imagine a produção de um audiolivro fictício em que o narrador lê um parágrafo corretamente, mas pronuncia o nome de uma forma pouco natural. Uma correção direcionada poderia preservar a interpretação bem-sucedida do restante do parágrafo. A mesma abordagem poderia ajudar uma equipe de jogos a revisar uma fala curta após uma alteração no roteiro.

Esses são benefícios potenciais para o fluxo de trabalho, não ganhos de produtividade mensurados. O lançamento não apresenta uma avaliação independente de quão confiavelmente as correções de palavras isoladas preservam o áudio ao redor em diferentes vozes, sotaques ou transições difíceis.

Cenas, personagens e consistência multilíngue

Drama 3 também permite gerar uma cena completa com vários interlocutores em uma única etapa. A Fish Audio afirma que cada personagem mantém uma voz distinta e responde levando em conta o diálogo anterior. O lançamento destaca a consistência dos personagens em roteiros longos, as mudanças de idioma dentro de uma cena e o controle da pronúncia no nível dos fonemas em idiomas como inglês, chinês, japonês e coreano.

Em um diálogo, a continuidade envolve mais do que identificar quem está falando. A resposta precisa soar como uma continuação da fala anterior, e não como uma gravação sem relação com as demais, inserida em uma sequência. Na localização, a pronúncia e a caracterização também precisam se manter na passagem entre idiomas.

As afirmações da empresa abordam os dois problemas, mas o teste prático será a cena final: os ouvintes não devem perceber mudanças abruptas de identidade ou interpretação quando os interlocutores se alternam, um trecho é editado ou o roteiro muda de idioma.

Como o Drama 3 se encaixa na tecnologia da Fish Audio

A abordagem que prioriza as instruções de interpretação dá continuidade a uma linha de pesquisa que a Fish Audio já havia descrito. Seu lançamento de pesquisa S2, anterior, permitia inserir instruções em linguagem natural em posições específicas de palavras ou frases. A empresa descreveu uma arquitetura autorregressiva dupla que separa a previsão ao longo da linha do tempo do áudio da geração de detalhes acústicos mais finos, além de um alinhamento por aprendizado por reforço para inteligibilidade, cumprimento de instruções e semelhança vocal.

Esse trabalho anterior oferece um contexto útil para entender o foco da Fish Audio em fala controlável. Ele não comprova a arquitetura exata do Drama 3: o novo anúncio menciona uma mudança arquitetônica, mas não publica detalhes suficientes para afirmar que os dois sistemas são equivalentes nem para atribuir ao Drama 3 os resultados de benchmarks do S2.

Para desenvolvedores, a documentação da API de conversão de texto em fala lista Drama 3 sob o identificador do modelo drama-3-preview. As solicitações com vários falantes usam uma lista de identificadores de voz e marcadores de falante no texto. O endpoint também oferece controles de velocidade, volume e amostragem, além de formatos de saída como WAV, PCM, MP3 e Opus.

A página pública do produto e a documentação da API ainda descrevem Drama 3 como uma prévia. A Fish Audio alerta que os resultados variam entre as tentativas e que o modelo continuará mudando. Por isso, as equipes de produção devem distinguir as funcionalidades anunciadas no lançamento da consistência que observam em seu próprio material.

Uma ferramenta de produção é avaliada pelas revisões que permite fazer

A Fish Audio afirma que agora atende a mais de 15 milhões de usuários e alcançou US$ 21 milhões em receita recorrente anual. Esses números, divulgados pela empresa, situam Drama 3 em uma plataforma mais ampla que abrange geração de fala, transcrição, clonagem de voz e ferramentas criativas.

Para o lançamento, a empresa afirma que o uso da API terá um desconto de 80% nos primeiros 30 dias, com três meses gratuitos para empresas qualificadas que trocarem de provedor de voz. Os leitores podem consultar a página de preços da Fish Audio para ver os planos atuais e os detalhes da oferta.

A proposta de Drama 3 se destaca especialmente no ponto em que a geração se encontra com a revisão. Uma primeira geração convincente é útil; preservar os momentos que funcionam e corrigir os que não funcionam é o que torna um modelo de voz mais fácil de integrar a um fluxo de trabalho de produção. O lançamento coloca essa capacidade no centro da próxima etapa da Fish Audio.