Dubformer pozyskał 3,6 mln dolarów, aby rewolucjonizować dubbing AI za pomocą technologii Emotion Transfer

Startup Dubformer, specjalizujący się w dubbingu AI, zabezpieczył rundę finansowania w wysokości 3,6 mln dolarów, aby zdefiniować na nowo, jak głębia emocjonalna jest ujmowana w lokalizacji mediów. Inwestycja, prowadzona przez Almaz Capital z udziałem s16vc i FinSight, a także aniołów biznesu, w tym Arula Menezesa, założyciela Microsoft Translator, i Funy Maduki, byłego szefa Międzynarodowych Filmów Oryginalnych w Netflix , będzie napędzać misję spółki, aby uczynić treści dubbingowane bardziej immersyjnymi i angażującymi dla widzów na całym świecie.

Rozwiązywanie największego wyzwania dubbingu AI

Pomimo znaczących postępów w dubbingu AI, większość rozwiązań nadal ma trudności z przekazywaniem autentycznych emocji w nagraniach głosowych. Badania wykazują, że widzowie mogą łatwo odróżnić mowę generowaną przez człowieka i AI, głównie ze względu na brak wyrazistej tonacji w AI. To ograniczenie zmniejsza doświadczenie widza i wpływa na zaangażowanie w lokalizowanym treścią.

Przy rynku lokalizacji wideo wartej 7 miliardów dolarów i rosnącej o 16% w skali roku, firmy medialne są zainteresowane innowacyjnymi rozwiązaniami, które poprawiają jakość dubbingu bez wysokich kosztów związanych z tradycyjnym aktorstwem głosowym. Wkraczają Dubformer, firma, która zajmuje się tym wyzwaniem frontalnie.

Emotion Transfer: Następna ewolucja w dubbingu AI

W przeciwieństwie do konwencjonalnego dubbingu AI, który klonuje głosy, Dubformer opracował Emotion Transfer, technologię zaprojektowaną do replikowania nuansów emocjonalnych mowy. Zamiast po prostu tłumaczyć i syntetyzować słowa, ten przełomowy podejście przenosi intonację, tempo i głębię emocjonalną z oryginalnej prezentacji do wersji dubbingowanej.

„W Dubformer nie tylko odtwarzamy głosy – uchwycamy istotę wykonania”, powiedział Anton Dvorkovich, założyciel i dyrektor generalny. „Z Emotion Transfer zachowujemy również cechy akustyczne, takie jak echa i pogłosy, zapewniając, że dubbing bezproblemowo integruje się z każdą sceną”.

Uznany przemysłowo

Technologia dubbingu AI Dubformer zdobyła już uznanie w branży. Na WMT 2024, jednym z najbardziej prestiżowych konkursów w tłumaczeniu maszynowym, Dubformer zajął najwyższe miejsce w tłumaczeniu mowy i zajmuje pierwsze miejsce w wielu językach, wyprzedzając dużych graczy, takich jak Google Translate, DeepL i ChatGPT.

Szybki wzrost i rosnąca baza klientów

Założony we wrześniu 2023 roku przez Antona Dvorkovicha, eksperta ds. tłumaczenia maszynowego i byłego szefa NLP & Speech w Yandex, Dubformer doświadczył eksplozywnego wzrostu. W ciągu ostatnich sześciu miesięcy firma utrzymywała imponujący miesięczny wskaźnik wzrostu o 50%, co odzwierciedla rosnące zapotrzebowanie na rozwiązania dubbingu AI.

Obecnie Dubformer obsługuje ponad 200 klientów w Stanach Zjednoczonych i Europie, w tym duże nazwy, takie jak Paramount, Little Dot Studios i Mainstream Media. Firma współpracuje również z firmami międzynarodowymi, takimi jak Voxx (Los Angeles), Presto (Czechy) i Gobavo (Turcja), aby rozszerzyć swój zasięg globalny.

Dubbing AI dla każdej branży

Dubformer oferuje rozwiązania dubbingowe dla różnych branż, w tym telewizji, animacji i produkcji filmowej. Jego technologia jest dostępna za pośrednictwem otwartej platformy i API, co ułatwia twórcom treści, firmom lokalizacyjnym i nadawcom integrację dubbingu AI z ich workflow.

• Dla twórców treści i małych firm: Samoobsługowa platforma, która tłumaczy treści na ponad 130 języków z prostym trzystopniowym procesem dubbingu.
• Dla firm lokalizacyjnych: Profesjonalne narzędzia oferujące dubbing o jakości nadawczej z zaawansowanymi funkcjami aktorstwa głosowego i wsparciem zarządzania projektami.
• Dla nadawców i dystrybutorów treści: Pełny serwis dubbingu AI z kontrolą jakości przeprowadzaną przez ludzi, zapewniając bezproblemową lokalizację z precyzją studia.

Kształtowanie przyszłości dubbingu AI

Zespół kierowniczy Dubformer składa się z ekspertów AI, tłumaczenia maszynowego i branży medialnej, którzy są zaangażowani w transformację, w jaki sposób treści są lokalizowane. Z ich najnowszym finansowaniem, firma jest gotowa do skalowania swoich operacji i dalszego udoskonalania swoich możliwości AI, zapewniając, że medialne treści dubbingowane rezonują emocjonalnie z globalną publicznością.

„W szybko ewoluującym krajobrazie dubbingu AI, Dubformer jest zaangażowany w napędzanie branży do przodu, rozwiązując jej największe wyzwanie – autentyczność emocjonalną”, powiedział Dvorkovich. „Poprzez sprawienie, by dubbing AI czuł się bardziej naturalnie, upoważniamy firmy medialne do zwiększenia zasięgu publiczności, jednocześnie redukując koszty lokalizacji, bez kompromisowania doświadczenia widza”.

Z rewolucyjną technologią i ambitną wizją Dubformer jest na dobrej drodze do przekształcenia przyszłości lokalizacji medialnej.