Interviews
Anton Dvorkovich, CEO und Gründer von Dubformer – Interview-Serie

Wichtige PunkteKI-Synchronisation scheitert weiterhin an emotional authentischen Darbietungen, selbst…
Mehr anzeigen
- KI-Synchronisation scheitert weiterhin an emotional authentischen Darbietungen, selbst wenn die Sprache menschlich klingt.
- Der offene Benchmark von VOX-DUB zwingt Unternehmen, Behauptungen zur Synchronisationsqualität mit messbaren Belegen zu untermauern.
- KI-Lokalisierung wird es unabhängigen Kreativen ermöglichen, ein globales Publikum zu erreichen, das einst großen Studios vorbehalten war.
Anton Dvorkovich, CEO und Gründer von Dubformer, hat über ein Jahrzehnt damit verbracht, die Schnittstelle zwischen KI, Sprache und Sprachtechnologien zu gestalten. Bevor er Dubformer 2023 gründete, leitete er wichtige Maschinelles-Lernen- und NLP-Initiativen bei Yandex, bei denen er Produkte wie Yandex Translate, Yandex Keyboard und den Sprachassistenten Alice überwachte, die jeweils Millionen von Nutzern bedienten. Bei Nebius war er als Leiter der KI-Abteilung für die Entwicklung von groß angelegten Infrastrukturen für intelligente Systeme verantwortlich. Seine Erfahrung bei der Leitung von Teams mit über 100 Ingenieuren, Entwicklern und Forschern legte den Grundstein für Dubformers Vision – die Überbrückung von Sprachbarrieren durch fortschrittliche KI-Synchronisation.
Dubformer ist ein KI-gestütztes Synchronisations-Startup mit Sitz in Amsterdam, das bereits über eine Million Minuten lokalisierten Videoinhalts verarbeitet hat. Das Unternehmen spezialisiert sich auf die Übersetzung und Synchronisation von Videos mithilfe von synthetischen Stimmen, die den emotionalen Ton, die Timing und die individuelle Sprecherstimme erhalten, um es Kreativen, Studios und Unternehmen zu ermöglichen, ihren Inhalt global zugänglich zu machen. Seine Plattform nutzt Deep-Learning-Modelle für Spracherkennung, Stimmenklonung und Übersetzung, um natürliche Ergebnisse zu liefern, die traditionelle Synchronisationstools weit überbieten.
Nachdem Sie bei Yandex die NLP- und Sprachteams geleitet und als Leiter der KI-Abteilung bei Nebius gearbeitet haben, was hat Sie dazu bewogen, ein dediziertes KI-Synchronisationsunternehmen aufzubauen, und wie haben diese Erfahrungen Ihre Vision geprägt?
Als Leiter der NLP-Abteilung bei Yandex entwickelte ich eine Leidenschaft dafür, Sprachbarrieren mit Technologie zu überwinden. Ich durfte Zeuge (und Teil) der KI-Revolution werden, die in der maschinellen Übersetzung stattfand – und dann wurde mir klar, dass eine große Lücke, die noch weitgehend ungelöst ist, die Medienübersetzung (Audio- und Video-) ist. Wenn man sieht, dass die Textübersetzung fast perfekt wird, beginnt man, sich zu fragen: Was ist mit den Geschichten, die Menschen wirklich berühren? Was ist mit den Darbietungen, die einen zum Lachen oder Weinen bringen? Also beschlossen wir, die Herausforderung anzunehmen, KI-Synchronisationstechnologie zu entwickeln, und uns nicht nur auf eine Übersetzung zu konzentrieren, die verständlich ist, sondern auf eine, die auch genießbar ist. Deshalb haben wir Dubformer gegründet.
Welche spezifische Lücke in der Medienlokalisierung haben Sie identifiziert, und wie hat Ihre Erfahrung in der neuronalen maschinellen Übersetzung und der Sprachtechnologie Ihren Ansatz zur Lösung dieses Problems beeinflusst?
Die Medienlokalisierung wird heute fast ausschließlich mit Sprechern durchgeführt, was mehrere Nachteile hat: Es ist ziemlich teuer, die Bearbeitungszeiten sind lang, und die Skalierung ist sehr schwierig und führt zu enormen Personalkosten. Denken Sie daran: Die traditionelle Synchronisationskunst ist unglaublich, aber diese Einschränkungen bedeuten, dass viele Projekte überhaupt nicht synchronisiert werden. Tatsächlich ist 95 % des Inhalts nur in der Originalsprache verfügbar. Das ist die Lücke, die wir ansprechen.
Die VOX-DUB-Benchmark ist ein wichtiger Meilenstein für die Bewertung der Synchronisationsqualität. Welche Erkenntnisse hat die Teilnahme an dieser Benchmark Ihnen gebracht, und wo steht die Branche derzeit?
Die VOX-DUB-Ergebnisse zeigten, dass die Branche bereits das Problem gelöst hat, KI-Sprechstimmen so klingen zu lassen, als wären sie menschlich, für Inhalte, bei denen der emotionale Anteil nicht kritisch ist. Die Synchronisation von Inhalten, bei denen Emotionen wirklich wichtig sind, bleibt jedoch eine ungelöste Herausforderung, obwohl es den Anschein haben mag, dass bereits alles gelöst ist. Viele Systeme können verständliche Sprache produzieren, aber nur wenige können Darbietungen erstellen, die authentisch und emotional mit dem Original übereinstimmen. Wir haben gelernt, Text vorzulesen, aber wir lernen noch, Szenen wirklich zu spielen.
Sie haben von einem Kompromiss zwischen Stimmtreue und Gesamtsprachqualität gesprochen. Wie gehen Sie bei der Abwägung dieser Faktoren in Ihren Systemen vor?
In Wirklichkeit besteht der Kompromiss oft nicht zwischen Stimmtreue und Qualität, sondern zwischen der Tiefe der emotionalen, intonationalen und expressiven Übertragung und der Stabilität des Ergebnisses. Je mehr man zu übertragen versucht, desto höher ist das Risiko, etwas falsch zu übertragen, besonders da Emotionen in verschiedenen Sprachen unterschiedlich klingen und ausgedrückt werden. Was in einer Sprache leidenschaftlich klingt, kann in einer anderen unnatürlich oder sogar verstörend klingen. Wir streben danach, eine Balance zwischen emotionaler Genauigkeit und Natürlichkeit zu finden, um sicherzustellen, dass die Ausgabe ausdrucksstark bleibt, aber auch angenehm zu hören ist.
In Ihrer Meinung, was macht die KI-Synchronisation grundlegend anders als die traditionelle Text-to-Speech-Technologie – sowohl technisch als auch künstlerisch?
Die traditionelle TTS konzentriert sich darauf, einfach Text vorzulesen, meist in einem neutralen Ton. Die KI-Synchronisation, insbesondere in der Medienbranche, ist eine viel komplexere Aufgabe, bei der das Ziel nicht nur darin besteht, Bedeutung zu vermitteln, sondern auch eine Präsenz und eine echte Darbietung zu schaffen. Emotionen, Intonationen und natürliche Pausen spielen alle eine entscheidende Rolle, zusammen mit Herausforderungen wie Mischung, akustische Anpassung und Synchronisation mit Lippenbewegungen und Szenenrhythmus. Künstlerisch gesehen ist die KI-Synchronisation der Schauspielerei viel näher als dem bloßen Vorlesen; das System muss die Zeile aufführen, nicht nur aussprechen.
Welche Aspekte des VOX-DUB-Bewertungsrahmens finden Sie am wertvollsten, um Transparenz und Rechenschaftspflicht in der KI-Medienlokalisierung zu fördern?
Was den VOX-DUB-Bewertungsrahmen so wertvoll macht, ist, dass er jeden zwingt, ehrlich zu sein, was sie tatsächlich liefern können. Vor diesem Rahmen konnten Unternehmen Behauptungen über ihre Synchronisationsqualität aufstellen, ohne dass es eine Möglichkeit gab, sie zu überprüfen. Der entscheidende Durchbruch ist, dass VOX-DUB den ersten systematischen Katalog von KI-Synchronisationsfehlern durch seine umfassende menschliche Benchmark einführt. Diese offene Datenbank schafft eine gemeinsame Sprache für Qualität – Originalsprachfragmente mit Übersetzungen, generierte Audio von mehreren Systemen und menschliche Annotationen in fünf kritischen Aspekten: Aussprache, Natürlichkeit, Klangqualität, Emotionsähnlichkeit und Stimmsähnlichkeit. Zum ersten Mal haben wir einen Standard für die menschliche Bewertung von Synchronisationen mit klaren Richtlinien und Beispielen. Jetzt, wenn Teams über Qualität sprechen, sprechen sie tatsächlich über dasselbe. Veröffentlichte Ergebnisse, die jeder sehen kann, schaffen echte Rechenschaftspflicht. Teams müssen ihre Marketingbehauptungen mit Leistungsdaten über alle fünf Qualitätsdimensionen belegen. Diese Art von Offenheit verändert, wie die gesamte Branche operiert und Vertrauen bei Kreativen aufbaut, die zuverlässige, messbare Ergebnisse benötigen.
Wie sehen Sie den Einfluss von Benchmarks wie VOX-DUB auf den Fortschritt in der multilingualen Inhaltserschaffung und -verteilung?
Das Schöne an der Existenz von klaren Benchmarks ist, dass sie einen Fahrplan für jeden schaffen. Wenn Teams die Ergebnisse von VOX-DUB sehen, beschleunigt dies ihre eigene Entwicklungszeit. Anstatt zu raten, wie Qualität aussieht, haben sie konkrete Ziele, auf die sie abzielen können. Ich sehe, wie Unternehmen ihre Entwicklungspläne komprimieren, weil sie Beweise dafür sehen, was woanders funktioniert. Dieses gemeinsame Verständnis hilft dem gesamten Feld, schneller gemeinsam voranzukommen, was bedeutet, dass mehr vielfältige Inhalte globalen Publikum früher erreichen können.
Ihr Unternehmen hat starke Ergebnisse in Aussprache und Natürlichkeit erzielt. Welche zugrunde liegenden Innovationen oder Modellentscheidungen haben dazu am meisten beigetragen?
Es kommt darauf an, zu verstehen, dass Synchronisation nicht nur um einzelne Wörter geht, sondern um das gesamte Darbietungssystem. Zwei Durchbrüche machten den Unterschied. Erstens hörten wir auf, die Aussprache als rein technisch zu behandeln und begannen, sie als emotional zu behandeln. Menschen sprechen nicht in perfekt artikulierten Silben; sie verschleifen Wörter, wenn sie traurig sind, sie sprechen hastig, wenn sie aufgeregt sind. Das Erfassen dieser natürlichen Unvollkommenheit war entscheidend. Zweitens mussten wir über das gesamte Klangbild nachdenken. Wenn jemand in einer Szene mit Regen oder in einer halligen Kathedrale spricht, passt seine Stimme sich natürlich an. Unser System lernte, sich mit der ursprünglichen akustischen Umgebung zu verbinden. Diese waren nicht nur technische Verbesserungen, sondern gingen um das Verständnis, was Sprache menschlich macht.
Wie kombiniert Ihre Plattform menschliche Expertise mit Automatisierung, um professionelle Synchronisationen im großen Maßstab zu liefern?
Wir arbeiten eng mit traditionellen Synchronisationsstudios zusammen, um ihre Teams in neuen Fähigkeiten und aufkommenden Berufen zu schulen. KI übernimmt die Übersetzung, Synchronisation und StimmenGenerierung, während professionelle Rezensenten, Übersetzer und Tontechniker die endgültige Qualitätskontrolle über unsere Plattform durchführen. Dieser Ansatz ermöglicht es uns, die Qualität von Studios beizubehalten, während wir die Bearbeitungszeiten von Wochen auf Stunden reduzieren. Automatisierung bietet Skalierbarkeit, und menschliche Expertise gewährleistet künstlerischen Ausdruck. Es ist das Beste aus beiden Welten: Maschineneffizienz mit menschlicher Kunstfertigkeit.
Da der KI-Medienlokalisierungsmarkt rasch wächst, welche umfassendere Rolle sehen Sie für KI in der Neugestaltung der globalen kreativen Produktion?
Die KI-Lokalisierung wird es einer viel größeren Zahl von Kreativen und Erzählern ermöglichen, ihre Geschichten mit globalen Publikum zu teilen, ohne emotionale Tiefe oder kulturelle Authentizität zu verlieren. Im Laufe der Zeit wird dies zu einer viel größeren Vielfalt an Inhalten führen und die Tür für Nischenprojekte und spezialisierte Publikum öffnen, die bisher nicht in der Lage waren, professionelle Synchronisation zu bezahlen. Denken Sie an unabhängige Filmemacher, Dokumentarfilmer, Bildungsinhaltschaffende; sie können endlich globale Publikum erreichen, die bisher außer Reichweite lagen.
Welche bevorstehenden Fortschritte oder Zusammenarbeiten sind Sie am meisten aufgeregt, wenn Sie auf die nächste Entwicklungsstufe blicken?
Was mich am meisten begeistert, ist die weitere Verbesserung unserer emotionalen Transferfähigkeiten. Wir haben gute Fortschritte gemacht, aber es gibt noch so viel Raum, um besser zu werden, die subtilen Nuancen zu bewahren, die Darbietungen authentisch erscheinen lassen. Bei Zusammenarbeiten bauen wir tiefere Partnerschaften mit traditionellen Synchronisationsstudios auf, um hybride Workflows zu schaffen, die das Beste aus beiden Welten kombinieren. Diese Studios haben Jahrzehnte der Expertise, von denen wir lernen, während wir die Technologie liefern, um ihre Kunstfertigkeit zu skalieren. Die aufregendsten Zusammenarbeiten sind mit Studios, die KI nicht als Ersatz, sondern als Mittel sehen, um ihre Teams zu erweitern und vielfältigere Projekte zu übernehmen, die sie bisher nicht bewältigen konnten. Der eigentliche Durchbruch wird sein, wenn wir konsistent Darbietungen liefern können, die das Publikum vergessen lässt, dass sie von KI erstellt wurden. Dorthin gehen wir.
Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Dubformer besuchen.












