인터뷰

Dubformer의 Anton Dvorkovich, CEO 및 설립자 – 인터뷰 시리즈

Antoine Tardif
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트AI 더빙은 음성이 사람처럼 들리더라도 감정적으로 진정성 있는 연기에서는 여전히 실패한다.
더 보기
  • AI 더빙은 음성이 사람처럼 들리더라도 감정적으로 진정성 있는 연기에서는 여전히 실패한다.
  • VOX-DUB의 공개 벤치마크는 기업들이 더빙 품질 주장을 측정 가능한 증거로 입증하도록 강제한다.
  • AI 현지화는 한때 대형 스튜디오만의 영역이었던 글로벌 시청자층에 독립 창작자들이 다가갈 수 있게 해줄 것이다.

Anton Dvorkovich, Dubformer의 CEO 및 설립자로서, 그는 지난 10년 동안 AI, 언어, 음성 기술의 교차점을 형성해왔다. 2023년에 Dubformer를 설립하기 전에, 그는 Yandex에서 주요 머신 러닝 및 NLP 이니셔티브를领导하였으며, Yandex Translate, Yandex Keyboard, 및 음성 조수 Alice와 같은 제품을 감독하였다. 이러한 제품은 수백만 명의 사용자를 خدمت하였다. 또한, 그는 Nebius에서 AI 책임자로 재직하며, 지능형 시스템을 위한 대규모 인프라를 발전시켰다. 그의 경험은 100명 이상의 엔지니어, 개발자, 연구원으로 구성된 교차 기능 팀을 관리하는 데 도움이 되었으며, Dubformer의 비전을 구체화하는데 기여하였다. Dubformer의 비전은 언어의 장벽을 극복하고, 고급 AI 더빙 기술을 통해 세계적으로 콘텐츠를 접근할 수 있도록 하는 것이다.

Dubformer는 암스테르담에 본사를 둔 AI 기반 더빙 스타트업으로, 이미 100만 분 이상의 지역화된 비디오 콘텐츠를 처리하였다. 이 회사는 합성 음성을 사용하여 비디오를 번역 및 더빙하며, 감정의 тон, 타이밍, 및 스피커의 개별성을 유지하여 콘텐츠를 글로벌하게 접근할 수 있도록 도와준다. Dubformer의 플랫폼은 음성 인식, 음성 클로닝, 및 번역을 위한 딥 러닝 모델을 사용하여 자연스러운 결과를 제공한다.

Yandex 및 Nebius에서 NLP 및 음성 팀을领导한 후, 전용 AI 더빙 회사를 설립한 동기를 설명해주시고, 이러한 경험은 어떻게 Dubformer의 비전을 형성하였는지 설명해주세요.

Yandex에서 NLP 책임자로 재직하며, 기술을 통해 언어의 장벽을 극복하는 데 대한 열정을 키웠습니다. 제가 참여한 AI 혁명은 기계 번역에서 일어났으며, 아직 해결되지 않은 큰 간격은 미디어 번역입니다. 텍스트 번역이 거의 완벽해졌을 때, 사람들을 움직이는 이야기와 감정에 대한 번역은 어떻게 될까요? 우리는 AI 더빙 기술을 개발하고, 단순히 이해할 수 있는 수준을 넘어서, 즐길 수 있는 수준의 더빙을 제공하려고 합니다. 이것이 Dubformer를 설립한 이유입니다.

미디어 지역화에서 어떤 구체적인 간격을 식별하였으며, 신경망 기계 번역 및 음성 기술에 대한您的 배경은 어떻게 해결책에 영향을 미쳤는지 설명해주세요.

현재 미디어 지역화는 거의 전적으로 음성 배우를 사용하여 수행되며, 이는 여러 단점을 가지고 있습니다. 비용이 높고, 처리 시간이 느리며, 확장성이 낮습니다. 전통적인 더빙 기술은 놀라울 정도로 좋지만, 이러한 제한으로 인해 많은 프로젝트가 더빙되지 않습니다. 실제로 95%의 콘텐츠는 원래 언어로만 제공됩니다. 이것이 우리가 해결하고자 하는 간격입니다.

VOX-DUB 벤치마크는 더빙 품질을 평가하는 중요한 里程碑입니다. 참여를 통해 산업이 현재 어디에 있는지에 대한 어떤 통찰력을 얻었나요?

VOX-DUB 결과는 산업이 이미 인간과 같은 음성으로 콘텐츠를 생성하는 문제를 해결하였다는 것을 보여주었습니다. 그러나 감정이 중요하지 않은 콘텐츠에서 더빙은 여전히 해결되지 않은 도전입니다. 많은 시스템이 이해할 수 있는 음성을 생성할 수 있지만, 감정과 정서를 전달하는 실제적인 수행은 여전히 어려운 문제입니다. 우리는 텍스트를 읽는 것을 마스터하였지만, 실제적인 장면을 수행하는 것을 배우는 중입니다.

음성 충실도와 전체 음질 간의 트레이드오프에 대해 어떻게 접근하시나요?

실제로 트레이드오프는 음성 충실도와 품질 간의 것이 아니라, 감정의 전달과 결과의 안정성 간의 것입니다. 감정을 전달하려고 할수록, 잘못된 전달의 위험이 높아집니다. 특히 감정은 언어마다 다르게 표현되기 때문입니다. 우리는 감정의 정확성과 자연스러움 간의 균형을 찾으려고 노력하며, 결과가 표현적이면서도 듣기 편안하도록 합니다.

전통적인 텍스트-음성 변환과 비교하여 AI 더빙이 기술적으로 및 예술적으로 어떻게 다르나요?

전통적인 텍스트-음성 변환은 단순히 텍스트를 읽는 것에 초점을 둡니다. 반면에, AI 더빙은 미디어 산업에서 감정, 음调, 자연스러운 пауз 등이 중요한 역할을 하는 복잡한 과제입니다. 이는 실제적인 수행을 창조하는 것이며, 단순히 의미를 전달하는 것이 아닙니다. 예술적으로, AI 더빙은 읽기보다는 연기와 더ใกล습니다. 시스템은 줄을 수행해야 하며, 단순히 발음하는 것이 아닙니다.

VOX-DUB 평가 프레임워크에서 투명성과 책임성을 제공하는 가장 가치 있는 측면은 무엇이라고 생각하시나요?

VOX-DUB의 가장 가치 있는 측면은 모든 사람이 실제로 제공할 수 있는 것을誠實하게 말할 수 있도록 강요한다는 것입니다. 이 프레임워크 이전에는 회사들이 더빙 품질에 대한 주장을 증명할 방법이 없었습니다. VOX-DUB는 인간 기반 벤치마크를 통해 AI 더빙 오류의 첫 번째 체계적인 카탈로그를 도입하였습니다. 이 오픈소스 데이터셋은 품질에 대한 공유 언어를 생성하며, 원래 음성 조각, 번역, 생성된 오디오, 및 인간 주석을 포함합니다. 이제 우리는 더빙의 인간 평가를 위한 표준을 가지고 있으며, 명확한 지침과 예제가 있습니다. 결과는 누구나 볼 수 있으며, 실제 책임성을 제공합니다.

VOX-DUB와 같은 벤치마크는 다언어 콘텐츠 생성 및 배포의 속도를 어떻게影响할까요?

명확한 벤치마크는 모든 사람이 따라갈 수 있는 로드맵을 제공합니다. 팀들이 VOX-DUB 결과를 볼 때, 자신의 개발 일정을 가속화할 수 있습니다. 이제 품질이 무엇인지에 대한 구체적인 목표가 있습니다. 나는 회사가 자신의 로드맵을 압축하는 것을 보며, 다른 곳에서 무엇이 작동하는지에 대한 증거를 볼 수 있습니다. 이 공유된 이해는整个 분야가 함께 더 빠르게 이동하도록 도와주며, 더 다양한 콘텐츠가 글로벌 관객에게 더 빨리 도달할 수 있습니다.

당사의 플랫폼은 발음과 자연스러움에서 강한 결과를 달성했습니다. 이러한 성과에 기여한 가장 중요한 혁신이나 모델 선택은 무엇인가요?

이것은 더빙이 단순히 단어를 처리하는 것이 아니라, 전체적인 수행 생태계를 이해하는 데 있습니다. 두 가지 돌파구가 차이를 만들었습니다. 첫째, 우리는 발음을 순수히 기술적인 문제로 다루지 않고, 감정적인 문제로 다루기 시작했습니다. 사람들은 완벽하게 발음된 음절로 말하지 않습니다. 슬프면 단어를 섞고, 흥분하면 급하게 말합니다. 이러한 자연스러운 불완전성을 포착하는 것이 중요했습니다. 둘째, 우리는 전체 사운드 스케이프를 생각해야 했습니다. 장면에서 비가 오거나, 메아리가 있는 성당에서 누군가가 말할 때, 그들의 목소리는 자연스럽게 적응합니다. 우리의 시스템은 원래 음향 환경과 혼합하는 것을 배웠습니다. 이것들은 단순히 기술적인 개선이 아닙니다. 이것은 인간의 목소리가 어떻게 느껴지는지에 대한 이해입니다.

당사의 플랫폼은 전문가급 더빙을 대규모로 제공하기 위해 인간의 전문성과 자동화를 어떻게 결합하나요?

우리는 전통적인 더빙 스튜디오와 협력하여, 새로운 기술과 직업을 훈련하도록 도와줍니다. AI는 번역, 동기화, 및 음성 생성을 처리하며, 전문 리뷰어, 번역가, 및 사운드 엔지니어는 우리의 플랫폼을 통해 최종 품질 검사를 수행합니다. 이 접근 방식으로 우리는 스튜디오 수준의 품질을 유지하면서 처리 시간을 주간에서 시간으로 줄일 수 있습니다. 자동화는 확장성을 제공하며, 인간의 전문성은 예술적 표현을 보장합니다. 이것은 두 세계의 최선입니다. 기계의 효율성과 인간의 예술성.

AI 미디어 지역화 시장의 급속한 성장에 따라, AI는 글로벌 창의적 생산을 재창조하는 더广泛한 역할을 어떻게할 것이라고 생각하시나요?

AI 지역화는 더빙을 더 많은 창작자와 스토리텔러에게 접근할 수 있도록 할 것입니다. इसस테그들은 감정의 깊이나 문화적 진실성을 잃지 않고 글로벌 관객과 이야기를 나눌 수 있습니다. 시간이 지나면, 이것은 콘텐츠의 다양성이 크게 증가할 것입니다. 독립 영화 制作자, 다큐멘터리 制作자, 교육 콘텐츠 제작자 등이 이전에는 접근할 수なかった 글로벌 관객과 연결될 수 있습니다.

향후 개발 단계에서 가장 흥미로운 발전 또는 협력은 무엇이라고 생각하시나요?

가장 흥미로운 것은 감정 전달 능력을 계속 개선하는 것입니다. 우리는 좋은 진행을 이루었지만, 아직도 더 나아질 수 있는 많은 여지가 있습니다. 협력에 관해서, 우리는 전통적인 더빙 스튜디오와 더 깊은 파트너십을 구축하여, 두 세계의 최선을 결합한 하이브리드 워크플로우를 만들고 있습니다. 이러한 스튜디오는 수십 년의 전문성을 가지고 있으며, 우리는 기술을 제공하여 그들의 예술성을 확장할 수 있습니다. 가장 흥미로운 협력은 AI를 대체하는 것이 아니라, 팀을 보완하고 더 다양한 프로젝트를 처리할 수 있도록 하는 것입니다. 실제적인 돌파구는 우리가 일관되게 AI가 생성한 것으로 잊을 수 있는 수행을 제공할 때입니다. 그것이 우리의 목표입니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Dubformer를 방문하시기 바랍니다.

앙투안은 Unite.AI의 비전 있는 리더이자 창립 파트너로, AI와 로봇공학의 미래를 만들어 가고 발전시키는 데 변함없는 열정을 쏟고 있습니다. 여러 기업을 창업한 그는 AI가 전기만큼 사회를 크게 변화시킬 것이라고 믿으며, 혁신적인 기술과 범용 인공지능(AGI)의 잠재력에 관해 자주 열정적으로 이야기합니다.

미래학자로서 이러한 혁신이 세상을 어떻게 바꿀지 탐구하는 데 전념하고 있습니다. 또한 미래를 새롭게 정의하고 산업 전반을 변화시키는 첨단 기술에 대한 투자에 초점을 맞춘 플랫폼인 Securities.io의 설립자입니다.