Fish Audio lanza Drama 3 para dirigir voces de IA y editar una sola palabra

Una línea de diálogo puede contener todas las palabras adecuadas y, aun así, transmitir una interpretación equivocada. La pausa llega demasiado pronto. Un personaje suena seguro cuando la escena requiere vacilación. Una palabra mal pronunciada rompe una narración que, por lo demás, resulta convincente.

Fish Audio aborda estos problemas de producción con Drama 3, su nuevo modelo de texto a voz, anunciado el 13 de octubre. La empresa afirma que los creadores pueden dirigir la interpretación con lenguaje corriente, generar escenas con varios interlocutores y corregir un segmento seleccionado de audio sintetizado sin volver a generar el resto de la interpretación.

La función más trascendental quizá sea la edición más pequeña: cambiar una sola palabra y conservar la voz, el tono y el ritmo a ambos lados. Para los equipos que producen audiolibros, contenido doblado, videojuegos o dramas sonoros, el valor de una voz sintética depende cada vez más de la facilidad con que se puede revisar.

Cómo dirigir la interpretación de una voz

Drama 3 acepta descripciones del tono, el ritmo y el personaje, incluidas instrucciones que modifican la interpretación dentro de una oración. Según el anuncio, un pasaje puede empezar con calma y volverse frenético, sin necesidad de generar de nuevo cada sección emocional.

«La IA de voz ha mejorado mucho en la generación del habla. El siguiente paso es dirigir una interpretación», afirmó Rissa Cao, cofundadora y directora ejecutiva de Fish Audio, en el anuncio del lanzamiento.

La página pública de presentación de Drama 3 de la empresa ofrece una visión más concreta de los controles. Los usuarios pueden insertar indicaciones, sonidos y pausas entre corchetes, o aplicar etiquetas pareadas a palabras seleccionadas. Así, quien escribe puede limitar un efecto —como un susurro, un énfasis o una dicción más lenta— a una frase concreta. La función Auto Tag también puede sugerir indicaciones iniciales para un guion, que luego los creadores pueden revisar.

La implicación creativa es clara: el guion se convierte tanto en diálogo como en un conjunto de instrucciones de interpretación. Los escritores pueden trabajar en lo que quiere decir un personaje, dónde debe ir una respiración y qué frase merece énfasis, todo en el mismo texto editable.

Relleno de audio: corregir el momento que falla

Fish Audio describe el relleno de audio de Drama 3 como una forma de seleccionar una parte de una interpretación existente, actualizar las instrucciones y volver a generar ese segmento conservando el audio circundante. Shijia Liao, cofundador y director científico, afirma que el modelo utiliza el sonido a ambos lados de la palabra editada para que la sustitución encaje.

Se trata de una tarea distinta de generar una línea de reemplazo aislada. El nuevo audio debe enlazar con una interpretación ya establecida: el ritmo, la entonación y la identidad vocal deben seguir resultando creíbles en los límites de la edición.

Pensemos en la producción ficticia de un audiolibro en la que el narrador lee correctamente un párrafo, pero pronuncia con torpeza el énfasis de un nombre. Una corrección específica podría conservar la buena interpretación del resto del párrafo. El mismo enfoque podría ayudar a un equipo de videojuegos a revisar una breve línea de diálogo después de un cambio en el guion.

Son posibles ventajas para el flujo de trabajo, no mejoras de productividad medidas. El lanzamiento no ofrece una evaluación independiente de la fiabilidad con que las correcciones de una sola palabra conservan el audio circundante en distintas voces y acentos o ante transiciones difíciles.

Escenas, personajes y coherencia multilingüe

Drama 3 también permite generar de una sola vez una escena completa con varios interlocutores. Fish Audio afirma que cada personaje conserva una voz propia y responde teniendo en cuenta el diálogo anterior. El anuncio destaca la coherencia de los personajes en guiones largos, los cambios de idioma dentro de una escena y el control de la pronunciación a nivel de fonema en idiomas como el inglés, el chino, el japonés y el coreano.

En el diálogo, la continuidad va más allá de reconocer quién habla. La respuesta debe sonar como una continuación de la frase anterior, no como una grabación ajena insertada en una secuencia. En la localización, la pronunciación y la caracterización también deben mantenerse al pasar de un idioma a otro.

Las afirmaciones de la empresa abordan ambos problemas, pero la prueba práctica será la escena terminada: los oyentes no deberían percibir cambios bruscos de identidad o interpretación cuando se turnan los interlocutores, se edita un pasaje o cambia el idioma del guion.

El lugar de Drama 3 en la tecnología de Fish Audio

El enfoque que prioriza la dirección se basa en una línea de investigación que Fish Audio ya había descrito. Su anterior publicación de investigación S2 admitía instrucciones en lenguaje natural insertadas en posiciones concretas de palabras o frases. La empresa describió una arquitectura autorregresiva dual que separa la predicción a lo largo de la línea temporal del audio de la generación de detalles acústicos más precisos, junto con una alineación mediante aprendizaje por refuerzo para mejorar la inteligibilidad, el seguimiento de instrucciones y la similitud de voz.

Ese trabajo anterior aporta un contexto útil para entender el interés de Fish Audio por el habla controlable. Sin embargo, no permite establecer la arquitectura exacta de Drama 3: el nuevo anuncio alude a un cambio arquitectónico, pero no publica suficientes detalles para afirmar que ambos sistemas son equivalentes ni para atribuir a Drama 3 los resultados de referencia de S2.

Para los desarrolladores, la documentación de la API de conversión de texto a voz incluye Drama 3 con el identificador de modelo drama-3-preview. Las solicitudes con varios hablantes usan una lista de identificadores de voz y marcadores de hablante en el texto. El punto de conexión también ofrece controles de velocidad, volumen y muestreo, así como formatos de salida como WAV, PCM, MP3 y Opus.

La página pública del producto y la documentación de la API siguen describiendo Drama 3 como una versión preliminar. Fish Audio advierte que los resultados varían de una toma a otra y que el modelo seguirá cambiando. Por lo tanto, los equipos de producción deben distinguir entre las prestaciones anunciadas en el lanzamiento y la uniformidad que observan en su propio material.

Una herramienta de producción se juzga por sus revisiones

Fish Audio afirma que ahora presta servicio a más de 15 millones de usuarios y que ha alcanzado unos ingresos recurrentes anuales de 21 millones de dólares. Estas cifras, comunicadas por la empresa, sitúan Drama 3 dentro de una plataforma más amplia que abarca generación de voz, transcripción, clonación de voz y herramientas creativas.

Para el lanzamiento, la empresa afirma que el uso de la API tendrá un descuento del 80 % durante los primeros 30 días, y que las empresas que cumplan los requisitos y cambien de proveedor de voz recibirán tres meses gratis. Los lectores pueden consultar la página de precios de Fish Audio para conocer los planes vigentes y los detalles de la oferta.

La propuesta de Drama 3 resulta más sólida en el punto en que la generación se combina con la revisión. Una primera toma convincente es útil; conservar sus mejores momentos y corregir los más flojos es lo que facilita integrar un modelo de voz en un flujo de trabajo de producción. Con este lanzamiento, Fish Audio sitúa esa capacidad en el centro de su próxima etapa.