Συνεντεύξεις

Anton Dvorkovich, Διευθύνων Σύμβουλος και Ιδρυτής της Dubformer – Σειρά Συνεντεύξεων

Antoine Tardif
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο AI ντουμπλάρισμα εξακολουθεί να αποτυγχάνει σε συναισθηματικά αυθεντικές ερμηνείες…
Δείτε περισσότερα
  • Το AI ντουμπλάρισμα εξακολουθεί να αποτυγχάνει σε συναισθηματικά αυθεντικές ερμηνείες ακόμη και όταν η ομιλία ακούγεται ανθρώπινη.
  • Το ανοιχτό σημείο αναφοράς του VOX-DUB αναγκάζει τις εταιρείες να αποδεικνύουν τους ισχυρισμούς τους για την ποιότητα του ντουμπλαρίσματος με μετρήσιμα στοιχεία.
  • Η τοπική προσαρμογή με AI θα επιτρέψει σε ανεξάρτητους δημιουργούς να φτάσουν σε παγκόσμιο κοινό που κάποτε προοριζόταν για μεγάλα στούντιο.

Anton Dvorkovich, Διευθύνων Σύμβουλος και ιδρυτής της Dubformer, έχει περάσει πάνω από μια δεκαετία διαμορφώνοντας το σημείο τομής της τεχνητής νοημοσύνης, της γλώσσας και των τεχνολογιών ομιλίας. Πριν από την εκκίνηση της Dubformer το 2023, ηγήθηκε σημαντικών πρωτοβουλιών μηχανικής μάθησης και NLP στη Yandex, εποπτεύοντας προϊόντα όπως η Yandex Translate, η Yandex Keyboard και η φωνητική βοηθός Alice, τα οποία εξυπηρετούσαν εκατομμύρια χρηστών. Στη Nebius, υπηρέτησε ως Διευθυντής Τεχνητής Νοημοσύνης, προωθώντας μεγάλης κλίμακας υποδομή για έξυπνες συστήματα. Η εμπειρία του στη διαχείριση διαλειτουργικών ομάδων με πάνω από 100 μηχανικούς, προγραμματιστές και ερευνητές παρείχε τη βάση για την όραση της Dubformer — τη γέφυρωση των γλωσσικών διαφορών μέσω προηγμένης AI dubbing.

Dubformer είναι μια εταιρεία dubbing που βασίζεται στην τεχνητή νοημοσύνη, με έδρα το Άμστερνταμ, η οποία έχει ήδη επεξεργαστεί πάνω από ένα εκατομμύριο λεπτά τοπικοποιημένου βίντεο. Η εταιρεία ειδικεύεται στη μετάφραση και dubbing βίντεο χρησιμοποιώντας συνθετικές φωνές που διατηρούν τον συναισθηματικό τόνο, το χρόνο και την ατομικότητα του ομιλητή, βοηθώντας τους δημιουργούς, τα στούντιο και τις επιχειρήσεις να κάνουν το περιεχόμενό τους παγκοσμίως προσβάσιμο. Η πλατφόρμα της αξιοποιεί μοντέλα βαθιάς μάθησης για αναγνώριση ομιλίας, κλωνοποίηση φωνής και μετάφραση, προσφέροντας φυσικά αποτελέσματα που υπερβαίνουν τα παραδοσιακά εργαλεία dubbing.

Μετά τη διεύθυνση των ομάδων NLP και ομιλίας στη Yandex και την υπηρεσία ως Διευθυντής Τεχνητής Νοημοσύνης στη Nebius, τι σας мотίβισε ναสร้าง μια αφιερωμένη εταιρεία AI dubbing, και πώς οι εμπειρίες σας διαμόρφωσαν την όρασή σας;

Εργαζόμενος στη Yandex ως Διευθυντής NLP, ανέπτυξα μια страсть για τη διάλυση των γλωσσικών барьерών με την τεχνολογία. Είχα τη δυνατότητα να μαρτυρήσω (και να συμμετάσχω) στην επανάσταση της τεχνητής νοημοσύνης που συνέβη στη μηχανική μετάφραση – και τότε συνειδητοποίησα ότι ένα μεγάλο κενό που παραμένει σε μεγάλο βαθμό ανεπίλυτο είναι η μετάφραση των μέσων (ήχου και βίντεο). Όταν βλέπετε τη μετάφραση κειμένου να γίνεται σχεδόν τέλεια, αρχίζετε να ρωτάτε: τι γίνεται με τις ιστορίες που πραγματικά κάνουν τους ανθρώπους να κουνηθούν; Τι γίνεται με τις ερμηνείες που σας κάνουν να γελάσετε ή να κλαίσετε; Έτσι, αποφασίσαμε να αναλάβουμε την πρόκληση της κατασκευής τεχνολογίας AI dubbing, και να πάνε πέρα από τη μετάφραση μέσων που είναι απλά κατανοητή, σε αυτή που είναι πραγματικά απολαυστική. Αυτός είναι ο λόγος που εκκινήσαμε τη Dubformer.

Ποιο συγκεκριμένο κενό στη τοπικοποίηση μέσων εντόπισατε, και πώς η εμπειρία σας στη νευρωνική μηχανική μετάφραση και τις τεχνολογίες φωνής επηρέασε την προσέγγισή σας για την επίλυση του;

Η τοπικοποίηση μέσων σήμερα γίνεται σχεδόν εξ ολοκλήρου με ηθοποιούς φωνής, και αυτό έχει πολλά μειονεκτήματα: είναι khá ακριβό, οι χρόνοι παράδοσης είναι αργοί, και η κλιμάκωση είναι πολύ δύσκολη και οδηγεί σε τεράστια έξοδα στη διαχείριση ανθρώπων. Σκεφτείτε το: η παραδοσιακή τεχνική dubbing είναι απίστευτη, αλλά αυτά τα μειονεκτήματα σημαίνουν ότι πολλά έργα δεν dubbing καθόλου. Στην πραγματικότητα, το 95% του περιεχομένου είναι διαθέσιμο μόνο στην αρχική γλώσσα. Αυτό είναι το κενό που αντιμετωπίζουμε.

Το VOX-DUB benchmark είναι ένα σημαντικό ορόσημο για την αξιολόγηση της ποιότητας dubbing. Ποια ευρήματα παρείχε η συμμετοχή σας σχετικά με το πού βρίσκεται η βιομηχανία αυτή τη στιγμή;

Τα αποτελέσματα του VOX-DUB αποκάλυψαν κάτι σημαντικό: η βιομηχανία έχει ήδη λύσει το πρόβλημα της κάνωντας τις φωνητικές AI να ακούγονται ‘ανθρώπινες’ για περιεχόμενο όπου το συναισθηματικό στοιχείο δεν είναι κρίσιμο. Ωστόσο, το dubbing περιεχομένου όπου τα συναισθήματα πραγματικά μετράνε παραμένει μια ανεπίλυτη πρόκληση, ακόμη και αν μπορεί να φαίνεται ότι όλα έχουν ήδη λυθεί. Πολλά συστήματα μπορούν να παράγουν κατανοητή ομιλία, αλλά πολύ λίγα μπορούν να δημιουργήσουν ερμηνείες που cảmθούν αυθεντικές και συναισθηματικά ευθυγραμμισμένες με το αρχικό. Έχουμε εξασκηθεί στο να διαβάζουμε κείμενο δυνατά, αλλά ακόμη μαθαίνουμε πώς να εκτελέσουμε σκηνές.

Έχετε μιλήσει για μια ανταλλαγή μεταξύ της πιστότητας φωνής και της γενικής ποιότητας ομιλίας. Πώς αντιμετωπίζετε την ισορροπία μεταξύ αυτών των παραγόντων στα συστήματά σας;

Στην πραγματικότητα, η ανταλλαγή συχνά δεν είναι μεταξύ της πιστότητας φωνής και της ποιότητας, αλλά μεταξύ του βάθους της συναισθηματικής, της προσωδίας και της εκφραστικής μεταφοράς και της σταθερότητας του αποτελέσματος. Όσο περισσότερο προσπαθείτε να μεταφέρετε, τόσο υψηλότερος είναι ο κίνδυνος να μεταφέρετε κάτι λανθασμένα, ιδιαίτερα既然 τα συναισθήματα ακούγονται και εκφράζονται διαφορετικά σε διαφορετικές γλώσσες. Αυτό που ακούγεται παθιασμένο σε μια γλώσσα μπορεί να ακούγεται ανόμοιο ή ακόμη και ενοχλητικό σε μια άλλη. Στόχος μας είναι να βρούμε μια ισορροπία μεταξύ της συναισθηματικής ακρίβειας και της φυσικότητας, διασφαλίζοντας ότι η έξοδος παραμένει εκφραστική αλλά άνετη για να ακουστεί.

Σύμφωνα με την άποψή σας, τι κάνει το AI dubbing ουσιαστικά διαφορετικό από την παραδοσιακή text-to-speech — και τεχνικά και καλλιτεχνικά;

Η παραδοσιακή TTS εστιάζει στο να διαβάζει απλά κείμενο, συνήθως σε ουδέτερη τονική. Το AI dubbing, ιδιαίτερα στη βιομηχανία των μέσων, είναι μια πολύ πιο σύνθετη εργασία, όπου ο στόχος δεν είναι μόνο να μεταφέρει την έννοια αλλά να δημιουργήσει μια αίσθηση παρουσίας και αυθεντικής ερμηνείας. Τα συναισθήματα, οι προσωδίες και οι φυσικές παύσεις παίζουν 모두 einen κρίσιμο ρόλο, μαζί με προκλήσεις όπως η ανάμιξη, η ακουστική προσαρμογή και η συγχρονισμός με κινήσεις χειλιών και ρυθμό σκηνής. Καλλιτεχνικά, το AI dubbing είναι πολύ πιο κοντά στο acting παρά στο να διαβάζει — το σύστημα πρέπει να εκτελέσει τη γραμμή, όχι απλά να την προφέρει.

Ποια аспекти του πλαισίου αξιολόγησης VOX-DUB βρίσκω πιο πολύτιμα για την προώθηση της διαφάνειας και της ευθύνης στην τοπικοποίηση μέσων AI;

Αυτό που κάνει το VOX-DUB τόσο πολύτιμο για τη διαφάνεια είναι ότι αναγκάζει όλους να είναι ειλικρινείς σχετικά με αυτό που μπορούν πραγματικά να παραδώσουν. Πριν από αυτό το πλαίσιο, οι εταιρείες θα μπορούσαν να κάνουν αξιώματα σχετικά με την ποιότητα dubbing τους χωρίς κανέναν τρόπο να τα επιβεβαιώσουν. Η κρίσιμη đột phá είναι ότι το VOX-DUB εισάγει τον πρώτο συστηματικό κατάλογο σφαλμάτων AI dubbing μέσω του綜合 human-based benchmark. Αυτό ανοιχτό dataset δημιουργεί μια κοινή γλώσσα για την ποιότητα – αρχικά αποσπάσματα ομιλίας με μεταφράσεις, γεννημένα ήχοι από πολλαπλά συστήματα και ανθρώπινες σημειώσεις σε πέντε κρίσιμους τομείς: προφορά, φυσικότητα, ποιότητα ήχου, ομοιότητα συναισθήματος και ομοιότητα φωνής. Για πρώτη φορά, έχουμε ένα πρότυπο για ανθρώπινη αξιολόγηση dubbing με σαφείς οδηγίες και παραδείγματα. Τώρα, όταν οι ομάδες μιλάνε για ποιότητα, όλοι μιλάνε πραγματικά για το ίδιο πράγμα. Δημοσιευμένα αποτελέσματα που όλοι μπορούν να δουν δημιουργούν πραγματική ευθύνη. Οι ομάδες πρέπει να υποστηρίξουν τις αξιώματές τους με δεδομένα απόδοσης σε όλες τις πέντε διαστάσεις ποιότητας. Αυτό το είδος ανοικτότητας αλλάζει τον τρόπο με τον οποίο λειτουργεί η 整η βιομηχανία και χτίζει εμπιστοσύνη με τους δημιουργούς που χρειάζονται αξιόπιστα, μετρήσιμα αποτελέσματα.

Πώς βλέπετε τα benchmarks όπως το VOX-DUB να επηρεάζουν το ρυθμό της πρόοδου στη δημιουργία και διανομή περιεχομένου πολλαπλών γλωσσών;

Το όμορφο πράγμα με το να έχεις σαφείς benchamrks είναι ότι δημιουργεί ένα δρόμο για όλους να ακολουθήσουν. Όταν οι ομάδες βλέπουν τι είναι επιτεύξιμο μέσω των αποτελεσμάτων του VOX-DUB, αυτό επιταχύνει τις δικές τους χρονοδιαγράμματα ανάπτυξης. Αντί να μαντεύουν τι σημαίνει ποιότητα, έχουν συγκεκριμένα στόχους προς τα οποία να στοχεύουν. Παρακολουθώ εταιρείες να συμπιέζουν τα δρόμοι τους επειδή μπορούν να δουν αποδείξεις για αυτό που λειτουργεί αλλού. Αυτή η κοινή κατανόηση βοηθά όλο το πεδίο να κινηθεί γρηγορότερα μαζί, το οποίο σημαίνει ότι περισσότερο διαφορετικό περιεχόμενο μπορεί να φτάσει σε παγκόσμιους κοινούς συντομότερα.

Η πλατφόρμα σας πέτυχε ισχυρά αποτελέσματα σε προφορά και φυσικότητα. Ποια καινοτομίες ή επιλογές μοντέλου συνεισέφεραν περισσότερο σε αυτό;

Πρόκειται για την κατανόηση ότι το dubbing δεν είναι μόνο για μεμονωμένες λέξεις; είναι για όλο το οικοσύστημα της ερμηνείας. Δύο đột pháσεις έκαναν τη διαφορά. Πρώτον, σταμάτησα να αντιμετωπίζω την προφορά ως καθαρά τεχνική και άρχισα να την αντιμετωπίζω ως συναισθηματική. Οι άνθρωποι δεν μιλάνε σε τέλειες προφορές; γλιστράνε λέξεις όταν είναι λυπημένοι, βιάζονται όταν είναι ενθουσιασμένοι. Η συλλαμβάνοντας αυτή τη φυσική ατέλεια ήταν κρίσιμη. Δεύτερον, έπρεπε να σκεφτώ για όλο το ηχητικό τοπίο. Όταν κάποιος μιλάει σε μια σκηνή με βροχή ή σε ένα ηχείο καθολικό, η φωνή του προσαρμόζεται φυσικά. Το σύστημά μας έμαθε να αναμιχθεί με το αρχικό ακουστικό περιβάλλον. Αυτά δεν ήταν απλά τεχνικές βελτιώσεις. Ήταν για την κατανόηση του τι κάνει την ομιλία να ακούγεται ανθρώπινη.

Πώς η πλατφόρμα σας συνδυάζει την ανθρώπινη εμπειρία με την αυτοματοποίηση για να παραδώσει επαγγελματική dubbing σε κλίμακα;

Συνεργαζόμαστε στενά με παραδοσιακά στούντιο dubbing, βοηθώντας τις ομάδες τους να εκπαιδευτούν σε νέες δεξιότητες και αναδυόμενες επαγγέλματα. Η AI χειρίζεται τη μετάφραση, τη συγχρονισμό και τη γεννήτρια φωνής, ενώ επαγγελματίες κριτές, μεταφραστές και μηχανικοί ήχου, εκτελούν τον τελικό έλεγχο ποιότητας μέσω της πλατφόρμας μας. Αυτή η προσέγγιση μας επιτρέπει να διατηρούμε την ποιότητα στούντιο ενώ μειώνουμε τους χρόνους παράδοσης από εβδομάδες σε ώρες. Η αυτοματοποίηση παρέχει κλιμάκωση, και η ανθρώπινη εμπειρία διασφαλίζει καλλιτεχνική εκφραστικότητα. Είναι το καλύτερο των δύο κόσμων: μηχανική αποτελεσματικότητα με ανθρώπινη τέχνη.

Με την αγορά AI media localization να αναπτύσσεται γρήγορα, ποιο ευρύτερο ρόλο βλέπετε την τεχνητή νοημοσύνη να παίζει στη διαμόρφωση της παγκόσμιας δημιουργικής παραγωγής;

Η τοπικοποίηση AI θα κάνει το dubbing προσιτό σε ένα πολύ ευρύτερο φάσμα δημιουργών και ιστοριών. Θα τους επιτρέψει να μοιράζονται τις ιστορίες τους με παγκόσμιους κοινούς χωρίς να χάνουν συναισθηματικό βάθος ή文化 αυθεντικότητα. Με τον καιρό, αυτό θα οδηγήσει σε πολύ μεγαλύτερη ποικιλία περιεχομένου, ανοίγοντας την πόρτα για έργα νίκελ και εξειδικευμένα κοινά που προηγουμένως δεν μπορούσαν να αντέξουν το επαγγελματικό dubbing. Σκεφτείτε ανεξάρτητους κινηματογραφιστές, δημιουργούς ντοκιμαντέρ, δημιουργούς εκπαιδευτικού περιεχομένου; μπορούν τελικά να φτάσουν σε παγκόσμιους κοινούς που προηγουμένως ήταν εκτός φάσματος.

Τι επικείμενες προόδους ή συνεργασίες είστε πιο ενθουσιασμένοι καθώς κοιτάζετε προς την επόμενη φάση της ανάπτυξης;

Τι με ενθουσιάζει περισσότερο είναι η συνέχιση της βελτίωσης των ικανοτήτων μας για τη μεταφορά συναισθήματος. Έχουμε κάνει καλό πρόοδο, αλλά υπάρχει ακόμη τόσο πολύ χώρος να γίνει καλύτεροι στο να διατηρούμε τις λεπτές νuanσεις που κάνουν τις ερμηνείες να cảmθούν αυθεντικές. Σε συνεργασίες, χτίζουμε βαθύτερες συνεργασίες με παραδοσιακά στούντιο dubbing για να δημιουργήσουμε υβριδικές ροές εργασίας που συνδυάζουν το καλύτερο και των δύο κόσμων. Αυτά τα στούντιο έχουν δεκαετίες εμπειρίας από τις οποίες μαθαίνουμε, ενώ παρέχουμε την τεχνολογία για να κλιμακώσουμε την τέχνη τους. Οι πιο ενθουσιαστικές συνεργασίες είναι με στούντιο που βλέπουν την AI όχι ως αντικατάσταση, αλλά ως τρόπο να ενισχύσουν τις ομάδες τους και να αναλάβουν πιο διαφορετικά έργα που δεν μπορούσαν να χειριστούν πριν. Η πραγματική đột phá θα είναι όταν θα μπορούμε να παραδώσουμε συνεχώς ερμηνείες που οι κοινοί θα λησμονήσουν ότι δημιουργήθηκαν από AI. Εκεί είναι που πηγαίνουμε.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Dubformer.

Ο Antoine είναι ένας οραματιστής ηγέτης και ιδρυτικός εταίρος της Unite.AI, με αμείωτο πάθος για τη διαμόρφωση και την προώθηση του μέλλοντος της τεχνητής νοημοσύνης και της ρομποτικής. Έχοντας ιδρύσει πολλές επιχειρήσεις, πιστεύει ότι η τεχνητή νοημοσύνη θα μεταμορφώσει την κοινωνία όσο και ο ηλεκτρισμός και συχνά μιλά με ενθουσιασμό για τις δυνατότητες των ανατρεπτικών τεχνολογιών και της τεχνητής γενικής νοημοσύνης (AGI).

Ως μελλοντολόγος, είναι αφοσιωμένος στη διερεύνηση του τρόπου με τον οποίο αυτές οι καινοτομίες θα διαμορφώσουν τον κόσμο μας. Επιπλέον, είναι ιδρυτής του Securities.io, μιας πλατφόρμας που εστιάζει στις επενδύσεις σε τεχνολογίες αιχμής οι οποίες επαναπροσδιορίζουν το μέλλον και μεταμορφώνουν ολόκληρους κλάδους.