สัมภาษณ์
อันโตน ดวอร์โควิช, ซีอีโอและผู้ก่อตั้ง Dubformer – ซีรีส์สัมภาษณ์

ประเด็นสำคัญการพากย์เสียงด้วย AI ยังคงล้มเหลวในการสร้างการแสดงที่สมจริงทางอารมณ์…
ดูเพิ่มเติม
- การพากย์เสียงด้วย AI ยังคงล้มเหลวในการสร้างการแสดงที่สมจริงทางอารมณ์ แม้เสียงพูดจะฟังดูเหมือนมนุษย์ก็ตาม
- เกณฑ์มาตรฐานแบบเปิดของ VOX-DUB บังคับให้บริษัทต่างๆ ต้องพิสูจน์ข้ออ้างเรื่องคุณภาพการพากย์ด้วยหลักฐานที่วัดได้
- การแปลภาษาและปรับให้เข้ากับท้องถิ่นด้วย AI จะช่วยให้ครีเอเตอร์อิสระเข้าถึงผู้ชมทั่วโลก ซึ่งเคยเป็นสิ่งที่สงวนไว้สำหรับสตูดิโอขนาดใหญ่เท่านั้น
อันโตน ดวอร์โควิช, ซีอีโอและผู้ก่อตั้ง Dubformer มีประสบการณ์มากกว่า 10 ปีในการพัฒนาเทคโนโลยี AI, ภาษา และสื่อสาร ด้วยการเป็นผู้นำโครงการ Machine Learning และ NLP ที่ Yandex และการเป็นหัวหน้า AI ที่ Nebius ก่อนที่จะก่อตั้ง Dubformer ในปี 2023 เขาได้พัฒนาผลิตภัณฑ์หลายอย่าง เช่น Yandex Translate, Yandex Keyboard และผู้ช่วยเสียง Alice ซึ่งให้บริการผู้ใช้หลายล้านคน
Dubformer เป็นบริษัทสตาร์ทอัพด้าน AI ที่มีสำนักงานใหญ่อยู่ที่อัมสเตอร์ดัม และได้ประมวลผลวิดีโอLocalized มากกว่า 1 ล้านนาที บริษัทนี้เชี่ยวชาญในการแปลและดับวิดีโอโดยใช้เสียงสังเคราะห์ที่รักษาโทนเสียง อารมณ์ และลักษณะเฉพาะของเสียงผู้พูด ช่วยให้ครีเอเตอร์ สตูดิโอ และองค์กรสามารถเผยแพร่เนื้อหาของตนให้กับผู้ชมทั่วโลกได้
หลังจากทำงานที่ Yandex และ Nebius คุณได้ตัดสินใจก่อตั้ง Dubformer เพื่อทำอะไร และประสบการณ์เหล่านั้นช่วย塑造วิสัยทัศน์ของคุณอย่างไร?
เมื่อทำงานที่ Yandex ในตำแหน่ง Head of NLP ฉันพัฒนาความหลงใหลในการใช้เทคโนโลยีเพื่อทำลายกำแพงภาษา ฉันได้เห็นและเข้าร่วมในการปฏิวัติ AI ที่เกิดขึ้นในด้าน Machine Translation และฉันก็รู้สึกว่ามีช่องว่างที่ยังไม่ได้รับการแก้ไขในด้านการแปลสื่อ (เสียงและวิดีโอ) เมื่อคุณเห็นว่าการแปลข้อความเป็นไปได้ด้วยความแม่นยำสูง คุณจะเริ่มถามว่าเกี่ยวกับเรื่องราวที่ทำให้ผู้คนเคลื่อนไหวใจหรือไม่? เกี่ยวกับการแสดงออกที่ทำให้คุณหัวเราะหรือร้องไห้หรือไม่? ดังนั้นเราจึงตัดสินใจที่จะรับมือกับความท้าทายในการสร้างเทคโนโลยีการดับเสียง AI และไปไกลกว่าการแปลสื่อที่เพียงแค่เข้าใจได้ แต่ไปสู่การแปลที่น่าสนใจ
คุณระบุช่องว่างเฉพาะในด้านการแปลสื่ออย่างไร และประสบการณ์ของคุณในด้านการแปลภาษาและเทคโนโลยีเสียงมีอิทธิพลต่อแนวทางของคุณในการแก้ไขปัญหาเหล่านั้นอย่างไร?
การแปลสื่อในปัจจุบันทำเกือบทั้งหมดด้วยนักพากย์เสียง และมีข้อเสียหลายประการ เช่น มีค่าใช้จ่ายสูง, มีเวลาในการผลิตที่ช้า, และการขยายขนาดที่ยากและต้องมีการจัดการคนมาก เมื่อคิดถึงมัน การดับเสียงแบบดั้งเดิมเป็นงานฝีมือที่น่าเหลือเชื่อ แต่ข้อเสียเหล่านั้นหมายความว่าหลายโครงการไม่ได้รับการดับเสียงเลย ในความเป็นจริง 95% ของเนื้อหานั้นสามารถเข้าถึงได้เฉพาะในภาษาดั้งเดิมเท่านั้น นั่นคือช่องว่างที่เรากำลังแก้ไข
การเข้าร่วมการประเมิน VOX-DUB เป็น 里程碑ที่สำคัญในการประเมินคุณภาพการดับเสียง คุณได้รับข้อมูลเชิงลึกอะไรจากการที่เข้าร่วมการประเมินนี้ และมันบอกเราถึงสถานะปัจจุบันของอุตสาหกรรมอย่างไร?
ผลลัพธ์ของ VOX-DUB เปิดเผยสิ่งสำคัญว่า อุตสาหกรรมได้แก้ไขปัญหาในการทำให้เสียงพากย์ AI มีลักษณะเหมือนมนุษย์สำหรับเนื้อหาที่ส่วนประกอบอารมณ์ไม่สำคัญแล้ว แต่การดับเสียงเนื้อหาที่อารมณ์แท้จริงมีความสำคัญยังคงเป็นความท้าทายที่ยังไม่ได้รับการแก้ไข แม้ว่ามันอาจดูเหมือนว่าทุกอย่างได้รับการแก้ไขแล้ว ระบบหลายระบบสามารถผลิตเสียงที่เข้าใจได้ แต่น้อยมากที่สามารถสร้างการแสดงออกที่รู้สึกแท้จริงและตรงกับอารมณ์ของต้นฉบับ เราได้เรียนรู้ที่จะอ่านข้อความออกเสียง แต่ยังเรียนรู้ที่จะแสดงฉากจริงๆ
คุณพูดถึงการแลกเปลี่ยนระหว่างคุณภาพเสียงและคุณภาพการพูด คุณเข้าใกล้การสร้างสมดุลระหว่างปัจจัยเหล่านี้ในระบบของคุณอย่างไร?
ในความเป็นจริง การแลกเปลี่ยนมักไม่ได้อยู่ระหว่างคุณภาพเสียงและคุณภาพการพูด แต่อยู่ระหว่างการถ่ายโอนอารมณ์, การเปล่งเสียง และการแสดงออก และความเสถียรของผลลัพธ์ เมื่อคุณพยายามถ่ายโอนมากขึ้น ความเสี่ยงในการถ่ายโอนบางสิ่งไม่ถูกต้องจะสูงขึ้น โดยเฉพาะอย่างยิ่งเมื่ออารมณ์ไม่เหมือนกันในภาษาต่างๆ สิ่งที่ดูเหมือนจะหลงใหลในภาษาหนึ่งอาจดูไม่ธรรมดาหรือกระทั่งทำให้ไม่สบายใจในอีกภาษาหนึ่ง เรามุ่งหวังที่จะหาสมดุลระหว่างความถูกต้องของอารมณ์และความเป็นธรรมชาติ เพื่อให้ผลลัพธ์ยังคงมีการแสดงออกแต่ยังคงรู้สึกสบายใจในการฟัง
คุณมองเห็น AI การดับเสียงแตกต่างจาก Text-to-Speech แบบดั้งเดิมอย่างไร ทั้งในด้านเทคนิคและศิลปะ?
Text-to-Speech แบบดั้งเดิมมุ่งเน้นไปที่การอ่านข้อความเท่านั้น โดยทั่วไปในโทนกลาง การดับเสียง AI โดยเฉพาะในอุตสาหกรรมสื่อเป็นงานที่ซับซ้อนกว่า โดยมีเป้าหมายไม่เพียงแค่สื่อสารความหมาย แต่ยังสร้างความรู้สึกถึงความมีอยู่และความเป็นจริงของการแสดงออก อารมณ์, การเปล่งเสียง และการหยุดพักตามธรรมชาติ ล้วนเป็นส่วนสำคัญพร้อมกับความท้าทาย เช่น การผสมเสียง, การปรับเสียง และการซิงค์เสียงกับการเคลื่อนไหวของ губและจังหวะฉาก ศิลปะการดับเสียง AI มีความใกล้เคียงกับการแสดงมากกว่าการอ่าน; ระบบต้องแสดงออกไม่ใช่แค่อ่านออกเสียง
คุณเห็นคุณค่าของการประเมิน VOX-DUB อย่างไรในการขับเคลื่อนความโปร่งใสและความรับผิดชอบในด้านการแปลสื่อ AI?
สิ่งที่ทำให้ VOX-DUB มีคุณค่าสำหรับความโปร่งใสคือการบังคับให้ทุกคนต้องซื่อสัตย์เกี่ยวกับสิ่งที่พวกเขาสามารถส่งมอบได้จริงๆ ก่อนหน้านี้ บริษัทต่างๆ สามารถอ้างว่ามีคุณภาพการดับเสียงที่ดีโดยไม่มีทางยืนยันได้ การพัฒนาครั้งสำคัญคือ VOX-DUB นำเสนอกลุ่มผู้บันทึกข้อผิดพลาดการดับเสียง AI ที่ครอบคลุมเป็นครั้งแรกผ่านการประเมินของมนุษย์ นี่คือ ชุดข้อมูลที่เปิดกว้าง ซึ่งสร้างภาษาร่วมกันสำหรับคุณภาพ – ส่วนข้อความต้นฉบับพร้อมการแปล, เสียงที่สร้างขึ้นจากหลายระบบ และการบันทึกของมนุษย์ข้าม 5 ด้านที่สำคัญ: การออกเสียง, ความเป็นธรรมชาติ, คุณภาพเสียง, ความคล้ายคลึงกันของอารมณ์ และความคล้ายคลึงกันของเสียง สำหรับครั้งแรก เรามีมาตรฐานสำหรับการประเมินของมนุษย์ในการดับเสียงพร้อมกับแนวทางและตัวอย่างที่ชัดเจน เมื่อทีมพูดถึงคุณภาพ ทุกคนพูดถึงสิ่งเดียวกัน ผลลัพธ์ที่เผยแพร่ซึ่งใครๆ ก็สามารถดูได้สร้างความรับผิดชอบที่แท้จริง ทีมต่างๆ ต้องสนับสนุนคำกล่าวโฆษณาด้วยข้อมูลการแสดงผลข้ามทุกมิติคุณภาพ นี่คือความโปร่งใสที่เปลี่ยนแปลงวิธีการทำงานของอุตสาหกรรมทั้งหมดและสร้างความไว้วางใจกับครีเอเตอร์ที่ต้องการผลลัพธ์ที่น่าเชื่อถือและวัดผลได้
คุณมองเห็นการประเมินเช่น VOX-DUB มีอิทธิพลต่อความเร็วของความก้าวหน้าในการสร้างและเผยแพร่เนื้อหามากหลายภาษาอย่างไร?
สิ่งที่ดีเกี่ยวกับการมีมาตรฐานที่ชัดเจนคือมันสร้างเส้นทางสำหรับทุกคนในการติดตาม เมื่อทีมเห็นผลลัพธ์ที่VOX-DUB สามารถทำได้ มันเร่งการวางแผนพัฒนาของพวกเขา แทนที่จะเดาเกี่ยวกับคุณภาพที่ดูเหมือนจะเกิดขึ้น พวกเขามีเป้าหมายที่ชัดเจนที่จะเล็งไปที่ นี่คือสิ่งที่ฉันเห็นบริษัทต่างๆ ย่อแผนการของพวกเขาเพราะพวกเขาเห็นหลักฐานของสิ่งที่ได้ผลที่อื่น ความเข้าใจร่วมกันนี้ช่วยให้สนามทั้งหมดเคลื่อนไปด้วยกันเร็วขึ้น ซึ่งหมายความว่าเนื้อหาที่หลากหลายสามารถเข้าถึงผู้ชมทั่วโลกได้เร็วขึ้น
คุณบรรลุผลลัพธ์ที่แข็งแกร่งในด้านการออกเสียงและความเป็นธรรมชาติ สิ่งประดิษฐ์หรือการเลือกแบบจำลองใดที่มีส่วนช่วยให้ได้ผลลัพธ์นี้?
สิ่งนี้ต้องย้อนกลับไปที่ความเข้าใจว่าการดับเสียงไม่ใช่แค่เรื่องของคำเดียว แต่เป็นระบบการแสดงออกทั้งหมด สองสิ่งที่ทำให้ผลลัพธ์แตกต่าง คือ เราได้หยุดพิจารณาการออกเสียงเป็นเพียงเทคนิคและเริ่มพิจารณาเป็นเรื่องของอารมณ์ คนไม่พูดด้วยการออกเสียงที่สมบูรณ์แบบ; พวกเขาออกเสียงไม่ชัดเมื่อเสียใจ พวกเขาออกเสียงเร็วเมื่อกระตือรือร้น การจับอารมณ์ที่ไม่สมบูรณ์แบบนี้เป็นสิ่งสำคัญ ที่สอง เราต้องคิดถึงทัศนียภาพเสียงทั้งหมด เมื่อบุคคลพูดในฉากที่มีฝนหรือในมหาวิหารที่มีเสียงสะท้อน เสียงของพวกเขาจะปรับตามสภาพแวดล้อมตามธรรมชาติ ระบบของเรียนรู้ที่จะผสมผสานกับสภาพแวดล้อมดั้งเดิม ไม่ใช่แค่การปรับปรุงทางเทคนิค แต่เป็นการเข้าใจสิ่งที่ทำให้เสียงรู้สึกเหมือนมนุษย์
คุณรวมทักษะของมนุษย์กับการทำงานอัตโนมัติเพื่อสร้างการดับเสียงระดับมืออาชีพที่มีประสิทธิภาพได้อย่างไร?
เราทำงานอย่างใกล้ชิดกับสตูดิโอการดับเสียงแบบดั้งเดิม ช่วยให้พวกเขาอบรมทีมในทักษะใหม่ๆ และอาชีพที่เกิดขึ้นใหม่ AI จัดการการแปล, การซิงค์ และการสร้างเสียง ในขณะที่ผู้ตรวจสอบมืออาชีพ, ผู้แปล และวิศวกรเสียง ตรวจสอบคุณภาพสุดท้ายผ่านแพลตฟอร์มของเรา วิธีนี้ช่วยให้เราสามารถรักษาคุณภาพระดับสตูดิโอในขณะเดียวกันก็ลดเวลาในการผลิตจากสัปดาห์เป็นชั่วโมง การทำงานอัตโนมัติให้ความสามารถในการปรับขนาด และทักษะของมนุษย์ให้ความสามารถในการแสดงออกทางศิลปะ นี่คือสิ่งที่ดีที่สุดของทั้งสองโลก: ประสิทธิภาพของเครื่องจักรพร้อมกับศิลปะของมนุษย์
เมื่อตลาดการแปลสื่อ AI เติบโตอย่างรวดเร็ว คุณเห็น AI มีบทบาทกว้างขึ้นในการเปลี่ยนแปลงการผลิตสื่อระดับโลกอย่างไร?
การแปลสื่อ AI จะทำให้การดับเสียงสามารถเข้าถึงได้สำหรับครีเอเตอร์และนักเล่าเรื่องรุ่นใหม่ๆ มากขึ้น ทำให้พวกเขาแบ่งปันเรื่องราวของตนให้กับผู้ชมทั่วโลกโดยไม่สูญเสียความลึกทางอารมณ์หรือความแท้จริงทางวัฒนธรรม เมื่อเวลาผ่านไป สิ่งนี้จะนำไปสู่ความหลากหลายที่มากขึ้นในเนื้อหา โดยเปิดโอกาสให้โครงการเฉพาะทางและกลุ่มผู้ชมเฉพาะที่ไม่สามารถจ่ายค่าดับเสียงมืออาชีพได้ก่อนหน้านี้ คิดถึงผู้สร้างภาพยนตร์อิสระ ผู้สร้างสารคดี ผู้สร้างเนื้อหาสำหรับการศึกษา; พวกเขาสามารถเข้าถึงผู้ชมทั่วโลกที่ไม่สามารถเข้าถึงได้ก่อนหน้านี้
คุณตื่นเต้นกับการพัฒนาที่กำลังจะเกิดขึ้นหรือการร่วมมือใดบ้างเมื่อมองไปสู่ขั้นตอนต่อไปของการพัฒนา?
สิ่งที่ฉันตื่นเต้นมากที่สุดคือการปรับปรุงความสามารถในการถ่ายโอนอารมณ์ของเรา เราได้ทำความก้าวหน้าที่ดี แต่ยังมีหลายสิ่งที่ต้องปรับปรุงเพื่อรักษานюานซ์ที่ทำให้การแสดงออกรู้สึกแท้จริง ในด้านการร่วมมือ เรากำลังสร้างความร่วมมือที่ลึกซึ้งยิ่งขึ้นกับสตูดิโอการดับเสียงแบบดั้งเดิมเพื่อสร้างกระบวนการทำงานแบบไฮบริดที่รวมทั้งสองโลกเข้าด้วยกัน สตูดิโอเหล่านี้มีประสบการณ์หลายทศวรรษที่เรากำลังเรียนรู้จาก ในขณะที่เรามอบเทคโนโลยีเพื่อขยายศิลปะของพวกเขา การร่วมมือที่น่าตื่นเต้นที่สุดคือการร่วมมือกับสตูดิโอที่มอง AI ไม่เพียงแต่เป็นตัวแทน แต่เป็นวิธีการเพิ่มทีมและรับมือกับโครงการที่หลากหลายซึ่งพวกเขาไม่สามารถจัดการได้ก่อนหน้านี้ การพ突破ที่แท้จริงจะเกิดขึ้นเมื่อเราสามารถส่งมอบการแสดงออกที่ผู้ชมลืมเลยว่าถูกสร้างขึ้นโดย AI นั่นคือทิศทางที่เรากำลังจะไป
ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม Dubformer เพื่อเรียนรู้เพิ่มเติม












