Fish Audio, AI 음성을 연출하고 단어 하나만 수정하는 Drama 3 출시

대사 한 줄에 필요한 단어가 모두 들어 있어도 연기는 기대에 미치지 못할 수 있다. 멈춤이 너무 일찍 찾아오거나, 망설여야 하는 장면에서 인물이 자신감 넘치는 목소리를 낼 수 있다. 발음이 잘못된 단어 하나가 그럴듯하던 나머지 내레이션까지 망칠 수도 있다.

Fish Audio는 10월 13일 발표한 새 텍스트 음성 변환 모델 Drama 3로 이러한 제작상의 문제를 해결하고자 한다. 회사에 따르면 창작자는 일상적인 언어로 음성 전달 방식을 지시하고, 여러 화자가 등장하는 장면을 생성하며, 주변 연기를 다시 생성하지 않고도 합성 음성의 선택한 구간을 수정할 수 있다.

가장 큰 차이를 만드는 기능은 어쩌면 가장 작은 수정일 수 있다. 앞뒤의 목소리와 분위기, 리듬은 그대로 유지하면서 단어 하나만 바꾸는 것이다. 오디오북, 더빙 콘텐츠, 게임, 오디오 드라마를 제작하는 팀에 합성 음성의 가치는 이를 얼마나 쉽게 수정할 수 있는지에 따라 점점 더 크게 좌우된다.

음성 연기에 방향을 제시하다

Drama 3는 어조와 속도, 인물에 대한 설명을 입력받으며, 한 문장 안에서 말하는 방식을 바꾸는 지시도 처리한다. 발표에 따르면 대목마다 새로 생성하지 않아도 한 구절을 차분하게 시작해 점차 당황한 말투로 바꿀 수 있다.

Fish Audio의 공동 창립자 겸 CEO인 Rissa Cao는 출시 발표에서 “음성 AI는 음성을 생성하는 데 매우 능숙해졌습니다. 다음 단계는 연기를 연출하는 것입니다”라고 말했다.

회사의 Drama 3 공개 미리보기 페이지에서는 제어 기능을 더 구체적으로 살펴볼 수 있다. 사용자는 대괄호 안에 지시, 효과음, 멈춤을 입력하거나, 선택한 단어에 짝을 이루는 태그를 적용할 수 있다. 이를 통해 작가는 특정 구절에 속삭임이나 강조, 느린 말하기 같은 효과를 지정할 수 있다. Auto Tag 기능은 대본에 넣을 초기 지시를 제안할 수도 있으며, 창작자는 이를 수정할 수 있다.

창작 측면에서 시사하는 바는 분명하다. 대본은 대사이자 연기 지시 모음이 된다. 작가는 인물이 무엇을 뜻하는지, 어디에서 숨을 쉬어야 하는지, 어떤 구절을 강조해야 하는지를 하나의 수정 가능한 텍스트에서 함께 다룰 수 있다.

오디오 인페인팅: 잘못된 순간 바로잡기

Fish Audio는 Drama 3의 오디오 인페인팅을 기존 연기에서 일부 구간을 선택하고 지시를 수정한 뒤, 주변 오디오는 유지하면서 해당 구간을 다시 생성하는 기능이라고 설명한다. 공동 창립자이자 수석 과학자인 Shijia Liao는 모델이 수정 대상 단어의 앞뒤 음성을 활용해 대체 음성이 자연스럽게 어울리도록 한다고 말했다.

이는 분리된 대체 대사 한 줄을 생성하는 것과는 다른 작업이다. 새 오디오는 이미 만들어진 연기에 자연스럽게 이어져야 한다. 수정 구간의 경계에서 타이밍과 억양, 목소리의 정체성이 모두 그럴듯하게 유지되어야 한다.

화자가 한 문단을 제대로 읽었지만 이름 하나를 어색하게 강조한 가상의 오디오북 제작 상황을 생각해 보자. 해당 부분만 수정하면 나머지 문단에서 잘 살린 연기는 그대로 유지할 수 있다. 대본을 바꾼 뒤 짧은 대사를 수정해야 하는 게임 개발팀에도 같은 방식이 도움이 될 수 있다.

이는 생산성 향상을 측정한 결과가 아니라 잠재적인 작업 흐름상의 이점이다. 이번 발표에는 단어 하나를 수정할 때 다양한 목소리와 억양, 까다로운 연결 구간 전반에서 주변 오디오가 얼마나 안정적으로 보존되는지에 대한 독립적인 평가가 포함되어 있지 않다.

장면과 인물, 다국어 일관성

Drama 3는 여러 화자가 등장하는 장면 전체를 한 번에 생성하는 기능도 지원한다. Fish Audio에 따르면 각 인물은 고유한 목소리를 유지하고 앞서 나온 대화의 맥락에 맞춰 응답한다. 이번 출시는 긴 대본에서도 인물의 일관성을 유지하고, 장면 안에서 언어가 바뀌는 상황을 처리하며, 영어·중국어·일본어·한국어를 포함한 언어에서 음소 단위의 발음을 제어하는 기능을 강조한다.

대화의 연속성은 누가 말하는지 알아차리는 것만으로 확보되지 않는다. 응답은 앞선 대사와 무관한 녹음 파일을 순서에 끼워 넣은 것처럼 들리는 대신, 이전 대사에 이어지는 말처럼 들려야 한다. 현지화 과정에서는 언어가 바뀌어도 발음과 인물의 특징이 유지되어야 한다.

회사는 두 문제를 모두 해결한다고 주장하지만, 실제 성능은 완성된 장면에서 검증해야 한다. 화자가 바뀌거나 대목을 수정하거나 대본의 언어를 바꿀 때 청취자가 목소리의 정체성이나 전달 방식이 갑자기 달라지는 것을 알아차리지 못해야 한다.

Fish Audio 기술에서 Drama 3의 위치

지시를 우선하는 접근 방식은 Fish Audio가 앞서 설명한 연구의 흐름을 잇는다. 이전에 공개한 S2 연구 결과는 특정 단어 또는 구절의 위치에 자연어 지시를 삽입하는 방식을 지원했다. 회사는 오디오 타임라인을 따라 예측하는 과정과 더 세밀한 음향 정보를 생성하는 과정을 분리하는 이중 자기회귀 아키텍처를 설명했으며, 명료성, 지시 이행, 음성 유사성을 높이기 위한 강화 학습 기반 정렬도 함께 소개했다.

앞선 연구는 Fish Audio가 제어 가능한 음성에 집중하는 이유를 이해하는 데 유용한 맥락을 제공한다. 하지만 그것만으로 Drama 3의 정확한 아키텍처가 입증되는 것은 아니다. 새로운 발표는 아키텍처 변경을 언급하지만, 두 시스템을 동일한 것으로 보거나 S2의 벤치마크 결과를 Drama 3에 적용할 만큼 충분한 세부 정보를 공개하지 않았다.

개발자를 위한 텍스트 음성 변환 API 문서에는 모델 식별자 아래에 Drama 3가 기재되어 있습니다 drama-3-preview. 다중 화자 요청에서는 텍스트 안에 음성 식별자 목록과 화자 표시를 사용합니다. 이 엔드포인트에서는 속도, 음량, 샘플링을 조절하고 WAV, PCM, MP3, Opus를 포함한 출력 형식을 선택할 수도 있습니다.

공개된 제품 페이지와 API 문서에서는 여전히 Drama 3를 프리뷰 버전으로 소개합니다. Fish Audio는 생성 결과가 실행할 때마다 달라질 수 있으며 모델도 계속 변경될 예정이라고 안내합니다. 따라서 제작팀은 출시 때 내세운 기능과 자체 자료에서 확인한 일관성을 구분해야 합니다.

제작 도구의 가치는 수정 과정에서 드러난다

Fish Audio에 따르면 현재 사용자 수는 1,500만 명을 넘었으며 연간 반복 매출은 2,100만 달러에 달합니다. 회사가 공개한 이 수치는 음성 생성, 전사, 음성 복제, 크리에이티브 도구를 아우르는 더 폭넓은 플랫폼 안에 Drama 3가 자리하고 있음을 보여줍니다.

이번 출시와 관련해 회사는 첫 30일 동안 API 사용료를 80% 할인하고, 음성 공급업체를 변경하는 적격 기업에는 무료 이용 기간 3개월을 제공한다고 밝혔습니다. 현재 요금제와 혜택 세부 사항은 Fish Audio의 요금 페이지에서 확인할 수 있습니다.

Drama 3의 강점은 생성과 수정이 맞닿는 지점에서 가장 잘 드러납니다. 처음 생성한 결과물이 만족스러운 것도 유용하지만, 잘된 부분은 살리고 부족한 부분은 고쳐 나갈 수 있어야 음성 모델을 제작 워크플로에 더 쉽게 활용할 수 있습니다. 이번 출시는 이러한 역량을 Fish Audio의 새로운 도약을 이끌 핵심에 두고 있습니다.