Fish Audio เปิดตัว Drama 3 เพื่อกำกับการแสดงของเสียง AI และแก้ไขได้ทีละคำ

บทสนทนาอาจใช้คำได้ถูกต้องทุกคำ แต่ถ่ายทอดออกมาไม่ตรงกับที่ต้องการ จังหวะหยุดอาจมาเร็วเกินไป ตัวละครอาจฟังดูมั่นใจ ทั้งที่ฉากนั้นควรแสดงความลังเล หรือการออกเสียงคำหนึ่งผิดอาจทำลายการบรรยายที่น่าเชื่อถือมาตลอด

Fish Audio มุ่งแก้ปัญหาในการผลิตเหล่านี้ด้วย Drama 3 ซึ่งเป็นโมเดลแปลงข้อความเป็นเสียงพูดรุ่นใหม่ที่ประกาศเปิดตัวเมื่อวันที่ 13 ตุลาคม บริษัทระบุว่าผู้สร้างสามารถกำกับวิธีถ่ายทอดด้วยภาษาทั่วไป สร้างฉากที่มีผู้พูดหลายคน และซ่อมแซมช่วงเสียงสังเคราะห์ที่เลือกไว้ได้โดยไม่ต้องสร้างการแสดงในส่วนรอบข้างใหม่

ฟีเจอร์ที่อาจส่งผลมากที่สุดอาจเป็นการแก้ไขเพียงเล็กน้อย นั่นคือการเปลี่ยนคำเดียวโดยยังคงเสียง อารมณ์ และจังหวะของช่วงก่อนหน้าและถัดไปไว้ สำหรับทีมที่ผลิตหนังสือเสียง เนื้อหาพากย์ เกม หรือละครเสียง คุณค่าของเสียงสังเคราะห์ขึ้นอยู่กับความสะดวกในการแก้ไขมากขึ้นเรื่อย ๆ

กำหนดทิศทางการแสดงของเสียง

Drama 3 รับคำบรรยายเกี่ยวกับน้ำเสียง จังหวะการพูด และบุคลิกตัวละคร รวมถึงคำสั่งที่เปลี่ยนวิธีถ่ายทอดระหว่างประโยคได้ ตามประกาศ ฉากหนึ่งอาจเริ่มต้นอย่างสงบแล้วค่อย ๆ เปลี่ยนเป็นตื่นตระหนก โดยไม่ต้องสร้างเสียงใหม่สำหรับแต่ละช่วงอารมณ์

Rissa Cao ผู้ร่วมก่อตั้งและซีอีโอของ Fish Audio กล่าวในประกาศเปิดตัวว่า “เทคโนโลยี AI ด้านเสียงพัฒนาจนสร้างเสียงพูดได้ดีมากแล้ว ขั้นต่อไปคือการกำกับการแสดง”

หน้าแสดงตัวอย่าง Drama 3 ที่เปิดให้สาธารณชนเข้าชมของบริษัทช่วยให้เห็นการควบคุมต่าง ๆ ได้ชัดเจนยิ่งขึ้น ผู้ใช้ใส่คำกำกับ เสียง และจังหวะหยุดไว้ในวงเล็บเหลี่ยม หรือใส่แท็กคู่คร่อมคำที่เลือกได้ วิธีนี้ช่วยให้ผู้เขียนกำหนดผลลัพธ์ เช่น การกระซิบ การเน้นเสียง หรือการพูดให้ช้าลง เฉพาะกับวลีที่ต้องการได้ นอกจากนี้ ฟีเจอร์ Auto Tag ยังช่วยเสนอคำกำกับเบื้องต้นสำหรับบท ซึ่งผู้สร้างสามารถนำไปปรับแก้ได้

ผลที่มีต่อการสร้างสรรค์นั้นตรงไปตรงมา กล่าวคือ บทจะเป็นทั้งบทสนทนาและชุดคำสั่งสำหรับการแสดงไปพร้อมกัน ผู้เขียนสามารถใช้ข้อความเดียวที่แก้ไขได้เพื่อปรับสิ่งที่ตัวละครต้องการสื่อ ตำแหน่งที่ควรเว้นลมหายใจ และวลีที่ควรเน้น

การซ่อมแซมเสียงเฉพาะส่วน: แก้ไขช่วงที่ผิดพลาด

Fish Audio อธิบายว่าการซ่อมแซมเสียงเฉพาะส่วนของ Drama 3 ช่วยให้เลือกช่วงหนึ่งจากการแสดงที่มีอยู่ ปรับคำสั่ง แล้วสร้างเสียงช่วงนั้นใหม่โดยยังคงเสียงรอบข้างไว้ Shijia Liao ผู้ร่วมก่อตั้งและหัวหน้านักวิทยาศาสตร์กล่าวว่า โมเดลใช้เสียงทั้งสองด้านของคำที่แก้ไขเพื่อทำให้คำที่นำมาแทนเข้ากันได้อย่างกลมกลืน

งานนี้แตกต่างจากการสร้างประโยคทดแทนที่แยกออกมาต่างหาก เสียงใหม่ต้องเชื่อมต่อกับการแสดงที่มีอยู่แล้ว โดยจังหวะเวลา ท่วงทำนองเสียง และเอกลักษณ์ของเสียงพูดล้วนต้องฟังดูน่าเชื่อถือ ณ รอยต่อของส่วนที่แก้ไข

ลองนึกถึงการผลิตหนังสือเสียงสมมติเรื่องหนึ่ง ซึ่งผู้บรรยายอ่านย่อหน้าได้ถูกต้อง แต่เน้นชื่อคนหนึ่งได้ไม่เป็นธรรมชาติ การซ่อมแซมเฉพาะจุดอาจช่วยคงการอ่านส่วนที่เหลือของย่อหน้าซึ่งทำได้ดีไว้ได้ แนวทางเดียวกันนี้อาจช่วยทีมพัฒนาเกมแก้บทสนทนาสั้น ๆ หลังมีการเปลี่ยนบท

ประโยชน์เหล่านี้เป็นผลดีที่อาจเกิดขึ้นกับขั้นตอนการทำงาน ไม่ใช่การเพิ่มผลิตภาพที่วัดผลแล้ว รายละเอียดการเปิดตัวไม่ได้แสดงผลประเมินจากหน่วยงานอิสระว่า การซ่อมแซมคำเดียวสามารถรักษาเสียงรอบข้างไว้ได้อย่างสม่ำเสมอเพียงใด เมื่อใช้กับเสียงพูด สำเนียง หรือรอยต่อที่ซับซ้อนแบบต่าง ๆ

ฉาก ตัวละคร และความสม่ำเสมอหลายภาษา

Drama 3 ยังรองรับการสร้างฉากที่มีผู้พูดหลายคนครบทั้งฉากในครั้งเดียว Fish Audio ระบุว่าตัวละครแต่ละตัวจะยังคงมีเสียงที่แตกต่างกัน และตอบสนองโดยอิงจากบทสนทนาก่อนหน้า การเปิดตัวเน้นย้ำถึงความสม่ำเสมอของตัวละครตลอดบทที่ยาว การเปลี่ยนภาษาภายในฉาก และการควบคุมการออกเสียงในระดับหน่วยเสียงสำหรับภาษาต่าง ๆ ซึ่งรวมถึงภาษาอังกฤษ ภาษาจีน ภาษาญี่ปุ่น และภาษาเกาหลี

สำหรับบทสนทนา ความต่อเนื่องไม่ได้หมายถึงแค่การแยกให้ออกว่าใครเป็นผู้พูด คำตอบต้องฟังดูเหมือนต่อเนื่องจากประโยคก่อนหน้า ไม่ใช่เหมือนนำเสียงบันทึกที่ไม่เกี่ยวข้องกันมาต่อกันเป็นชุด ส่วนการปรับเนื้อหาให้เข้ากับแต่ละภาษา การออกเสียงและการถ่ายทอดบุคลิกตัวละครก็ต้องยังคงอยู่เมื่อเปลี่ยนภาษา

คำกล่าวอ้างของบริษัทครอบคลุมปัญหาทั้งสองด้าน แต่การทดสอบในทางปฏิบัติคือฉากที่เสร็จสมบูรณ์แล้ว ผู้ฟังไม่ควรได้ยินการเปลี่ยนแปลงของเอกลักษณ์เสียงหรือวิธีถ่ายทอดอย่างฉับพลันเมื่อผู้พูดสลับกัน มีการแก้ไขฉาก หรือเปลี่ยนภาษาของบท

ตำแหน่งของ Drama 3 ในเทคโนโลยีของ Fish Audio

แนวทางที่ให้ความสำคัญกับการกำกับเป็นอันดับแรกต่อยอดจากแนวทางการวิจัยที่ Fish Audio เคยอธิบายไว้ก่อนหน้านี้ ผลงานวิจัย S2 ที่เผยแพร่ก่อนหน้านี้รองรับคำสั่งภาษาธรรมชาติที่แทรกไว้ ณ ตำแหน่งคำหรือวลีที่กำหนด บริษัทอธิบายสถาปัตยกรรมแบบออโตรีเกรสซีฟคู่ที่แยกการคาดการณ์ตามลำดับเวลาของเสียงออกจากการสร้างรายละเอียดทางเสียงที่ละเอียดขึ้น พร้อมกับการปรับให้สอดคล้องด้วยการเรียนรู้แบบเสริมกำลัง เพื่อให้เสียงพูดเข้าใจง่าย ทำตามคำสั่ง และมีความคล้ายคลึงกับเสียงต้นแบบ

งานก่อนหน้านี้ช่วยให้เข้าใจบริบทที่ Fish Audio ให้ความสำคัญกับการควบคุมเสียงพูด แต่ไม่ได้ยืนยันสถาปัตยกรรมที่แน่ชัดของ Drama 3 ประกาศใหม่กล่าวถึงการเปลี่ยนแปลงด้านสถาปัตยกรรม แต่ไม่ได้เผยแพร่รายละเอียดมากพอที่จะสรุปได้ว่าทั้งสองระบบเหมือนกัน หรือจะนำผลการทดสอบมาตรฐานของ S2 มาใช้กับ Drama 3 ได้

สำหรับนักพัฒนา เอกสารประกอบ API แปลงข้อความเป็นเสียงระบุ Drama 3 ไว้ภายใต้ตัวระบุโมเดล drama-3-preview. คำขอที่มีผู้พูดหลายคนจะใช้รายการตัวระบุเสียงและเครื่องหมายระบุผู้พูดภายในข้อความ นอกจากนี้ เอ็นด์พอยต์ยังมีตัวควบคุมความเร็ว ระดับเสียง การสุ่มตัวอย่าง และรูปแบบไฟล์เอาต์พุต ซึ่งรวมถึง WAV, PCM, MP3 และ Opus

หน้าแนะนำผลิตภัณฑ์และเอกสารประกอบ API ที่เผยแพร่ต่อสาธารณะยังคงระบุว่า Drama 3 เป็นเวอร์ชันพรีวิว Fish Audio แจ้งว่าผลลัพธ์อาจแตกต่างกันในแต่ละครั้งที่สร้าง และโมเดลจะยังคงมีการเปลี่ยนแปลงต่อไป ดังนั้น ทีมผลิตจึงควรแยกคำกล่าวอ้างเกี่ยวกับฟีเจอร์ในช่วงเปิดตัวออกจากความสม่ำเสมอของผลลัพธ์ที่พบเมื่อใช้งานกับเนื้อหาของตนเอง

เครื่องมือสำหรับงานผลิตต้องวัดกันที่การแก้ไข

Fish Audio ระบุว่าขณะนี้มีผู้ใช้มากกว่า 15 ล้านคน และมีรายได้ประจำต่อปีแตะ 21 ล้านดอลลาร์ ตัวเลขที่บริษัทเป็นผู้รายงานนี้สะท้อนให้เห็นว่า Drama 3 เป็นส่วนหนึ่งของแพลตฟอร์มที่ครอบคลุมทั้งการสร้างเสียงพูด การถอดเสียง การโคลนเสียง และเครื่องมือสร้างสรรค์

บริษัทระบุว่าในช่วงเปิดตัว การใช้งาน API จะได้รับส่วนลด 80% ในช่วง 30 วันแรก และองค์กรที่มีคุณสมบัติตามเกณฑ์และเปลี่ยนผู้ให้บริการเสียงจะได้รับบริการฟรีสามเดือน ผู้อ่านตรวจสอบแพ็กเกจปัจจุบันและรายละเอียดข้อเสนอได้ที่ หน้าราคาของ Fish Audio

จุดเด่นของ Drama 3 อยู่ที่การเชื่อมการสร้างเสียงเข้ากับการแก้ไขอย่างชัดเจน การสร้างเสียงครั้งแรกที่น่าประทับใจย่อมมีประโยชน์ แต่การเก็บช่วงที่ทำได้ดีไว้พร้อมแก้ไขส่วนที่ยังไม่ดีต่างหากที่ทำให้โมเดลเสียงนำไปปรับใช้ในขั้นตอนการผลิตได้ง่ายขึ้น การเปิดตัวครั้งนี้วางความสามารถดังกล่าวไว้เป็นหัวใจสำคัญของก้าวต่อไปของ Fish Audio