Fish Audio lance Drama 3 pour piloter les voix générées par l’IA et modifier un seul mot

Une réplique peut contenir tous les mots qu’il faut et pourtant être mal interprétée. La pause arrive trop tôt. Un personnage semble sûr de lui alors que la scène appelle l’hésitation. Un seul mot mal prononcé suffit à briser une narration par ailleurs convaincante.

Fish Audio s’attaque à ces problèmes de production avec Drama 3, son nouveau modèle de synthèse vocale annoncé le 13 octobre. Selon l’entreprise, les créateurs peuvent diriger l’interprétation en langage courant, générer des scènes avec plusieurs voix et corriger un segment choisi d’un audio synthétisé sans avoir à régénérer l’interprétation qui l’entoure.

La fonctionnalité la plus déterminante est peut-être la retouche la plus minime : modifier un seul mot tout en préservant la voix, l’ambiance et le rythme de part et d’autre. Pour les équipes qui produisent des livres audio, des contenus doublés, des jeux ou des fictions audio, la valeur d’une voix synthétique dépend de plus en plus de la facilité avec laquelle elle peut être retouchée.

Guider l’interprétation vocale

Drama 3 accepte des descriptions du ton, du rythme et du personnage, y compris des consignes qui modifient l’interprétation au fil d’une phrase. Selon l’annonce, un passage peut commencer calmement puis devenir paniqué, sans qu’il soit nécessaire de générer séparément chaque séquence émotionnelle.

« L’IA vocale est devenue très performante pour générer de la parole. L’étape suivante consiste à diriger une interprétation », a déclaré Rissa Cao, cofondatrice et PDG de Fish Audio, dans l’annonce du lancement.

La page publique de présentation de Drama 3 de l’entreprise donne un aperçu plus concret des commandes. Les utilisateurs peuvent insérer des consignes, des sons et des pauses entre crochets, ou appliquer des balises par paires aux mots sélectionnés. L’auteur peut ainsi limiter un effet, comme un chuchotement, une accentuation ou un débit plus lent, à une phrase précise. Une fonction Auto Tag peut également suggérer des consignes initiales pour un script, que les créateurs peuvent ensuite modifier.

L’implication créative est évidente : un script devient à la fois un dialogue et un ensemble de consignes d’interprétation. Les auteurs peuvent travailler dans le même texte modifiable sur ce que veut dire un personnage, l’endroit où placer une respiration et la phrase à mettre en relief.

Retouche audio : corriger le passage qui ne fonctionne pas

Fish Audio présente la fonction de retouche audio de Drama 3 comme un moyen de sélectionner une partie d’une interprétation existante, de modifier les consignes et de régénérer ce segment tout en conservant le son qui l’entoure. Shijia Liao, cofondateur et directeur scientifique, indique que le modèle s’appuie sur le son de part et d’autre du mot retouché pour que son remplacement s’intègre naturellement.

Il s’agit d’une tâche différente de la génération d’une réplique de remplacement isolée. Le nouvel audio doit s’insérer dans une interprétation déjà établie : le rythme, l’intonation et l’identité vocale doivent tous rester crédibles aux points de raccord de la retouche.

Imaginons la production d’un livre audio dans laquelle un narrateur lit correctement un paragraphe, mais prononce maladroitement un nom. Une correction ciblée pourrait préserver la lecture réussie du reste du paragraphe. La même approche pourrait aider une équipe de jeu à retoucher une brève réplique après une modification du script.

Il s’agit là de gains potentiels pour les flux de travail, et non de gains de productivité mesurés. La publication ne fournit aucune évaluation indépendante de la fiabilité avec laquelle les corrections d’un seul mot préservent l’audio environnant selon les voix, les accents ou les transitions difficiles.

Scènes, personnages et cohérence multilingue

Drama 3 permet également de générer en une seule passe une scène complète avec plusieurs voix. Selon Fish Audio, chaque personnage conserve une voix distincte et répond en tenant compte du dialogue qui précède. L’annonce met l’accent sur la cohérence des personnages dans les scripts longs, les changements de langue au sein d’une scène et le contrôle de la prononciation au niveau des phonèmes dans plusieurs langues, dont l’anglais, le chinois, le japonais et le coréen.

Dans un dialogue, la continuité ne consiste pas seulement à reconnaître qui parle. Une réponse doit sembler faire suite à la réplique précédente, et non être un enregistrement sans rapport ajouté à la séquence. Pour la localisation, la prononciation et la caractérisation doivent également rester cohérentes d’une langue à l’autre.

Les affirmations de l’entreprise portent sur ces deux problèmes, mais c’est la scène terminée qui constituera le véritable test : les auditeurs ne devraient pas percevoir de rupture soudaine dans l’identité ou l’interprétation lorsque les interlocuteurs changent, qu’un passage est retouché ou que le script passe dans une autre langue.

La place de Drama 3 dans les technologies de Fish Audio

Cette approche qui privilégie le guidage s’inscrit dans la continuité des travaux de recherche déjà présentés par Fish Audio. Sa précédente publication de recherche S2 permettait d’intégrer des consignes en langage naturel à des emplacements précis, au niveau d’un mot ou d’une phrase. L’entreprise avait décrit une architecture à double autorégression qui sépare la prédiction sur la chronologie audio de la génération de détails acoustiques plus fins, ainsi qu’un alignement par apprentissage par renforcement visant l’intelligibilité, le respect des consignes et la similarité vocale.

Ces travaux antérieurs éclairent utilement l’intérêt de Fish Audio pour la maîtrise de la parole. Ils ne permettent pas d’établir l’architecture exacte de Drama 3 : la nouvelle annonce évoque une modification de l’architecture, mais ne fournit pas suffisamment de détails pour assimiler les deux systèmes ni pour attribuer à Drama 3 les résultats de référence de S2.

Pour les développeurs, la documentation de l’API de synthèse vocale répertorie Drama 3 sous l’identifiant de modèle drama-3-preview. Les requêtes faisant intervenir plusieurs voix utilisent une liste d’identifiants vocaux et des marqueurs de locuteur dans le texte. Le point de terminaison propose également des réglages pour la vitesse, le volume, l’échantillonnage et les formats de sortie, notamment WAV, PCM, MP3 et Opus.

La page produit publique et la documentation de l’API présentent toujours Drama 3 comme une version préliminaire. Fish Audio indique que les résultats varient d’une prise à l’autre et que le modèle continuera d’évoluer. Les équipes de production doivent donc distinguer les fonctionnalités annoncées lors du lancement de la régularité qu’elles constatent avec leurs propres contenus.

Un outil de production se juge à ses possibilités de révision

Fish Audio affirme servir désormais plus de 15 millions d’utilisateurs et avoir atteint 21 millions de dollars de revenus récurrents annuels. Ces chiffres, communiqués par l’entreprise, situent Drama 3 au sein d’une plateforme plus vaste couvrant la génération de parole, la transcription, le clonage vocal et les outils créatifs.

Pour le lancement, l’entreprise indique que l’utilisation de l’API bénéficiera d’une réduction de 80 % pendant les 30 premiers jours, et que les entreprises admissibles qui changent de fournisseur de voix auront droit à trois mois gratuits. Les lecteurs peuvent consulter la page des tarifs de Fish Audio pour connaître les offres et les tarifs en vigueur.

La proposition de Drama 3 est particulièrement convaincante lorsque la génération rejoint la révision. Une première prise réussie est utile ; pouvoir en conserver les meilleurs moments tout en corrigeant les passages moins convaincants facilite l’intégration d’un modèle vocal dans un flux de production. Ce lancement place cette capacité au cœur de la prochaine étape du développement de Fish Audio.