การเปลี่ยนแปลงอารมณ์ในวิดีโอคลิปด้วย AI

นักวิจัยจากกรีซและสหราชอาณาจักรได้พัฒนาแนวทางใหม่ในการเปลี่ยนแปลงน้ำเสียงและอารมณ์ของบุคคลในวิดีโอคลิป โดยการรักษาความถูกต้องของการเคลื่อนไหวของ губที่สอดคล้องกับเสียงดั้งเดิม ซึ่งเป็นสิ่งที่ความพยายามก่อนหน้านี้ไม่สามารถทำได้

จากวิดีโอที่แนบมากับบทความนี้ (แสดงอยู่ที่ส่วนล่างของบทความนี้) คลิปสั้นของอัล ปาซิโน ที่มีน้ำเสียงถูกเปลี่ยนแปลงอย่างอ่อนๆ ด้วย NED ตามแนวคิดเชิงนามธรรมที่เกี่ยวข้องกับน้ำเสียงและอารมณ์ Source: https://www.youtube.com/watch?v=Li6W8pRDMJQ

สิ่งนี้อยู่ในหมวดที่กำลังเติบโตของ อารมณ์ที่ถูกปลอม โดยที่อัตลักษณ์ของผู้พูดดั้งเดิมจะถูกเก็บไว้ แต่น้ำเสียงและอารมณ์จะถูกเปลี่ยนแปลง เมื่อเทคโนโลยีนี้เติบโตขึ้น มันจะทำให้การผลิตภาพยนตร์และโทรทัศน์สามารถเปลี่ยนแปลงน้ำเสียงของนักแสดงได้อย่างอ่อนๆ และเปิดโอกาสให้เกิดวิดีโอคลิปที่มีอารมณ์ถูกเปลี่ยนแปลงได้

การเปลี่ยนแปลงน้ำเสียง

น้ำเสียงของบุคคลสาธารณะ เช่น นักการเมือง จะถูกดูแลอย่างเข้มงวด ในปี 2016 น้ำเสียงของฮิลลารี คลินตัน ถูก วิพากษ์วิจารณ์อย่างหนัก สำหรับผลกระทบเชิงลบต่อโอกาสในการเลือกตั้งของเธอ น้ำเสียงยังเป็น เรื่องที่น่าสนใจ สำหรับ FBI และเป็น สัญญาณที่สำคัญ ในการสัมภาษณ์งาน ทำให้การมีเครื่องมือที่สามารถควบคุมน้ำเสียงได้ในชีวิตจริงเป็นสิ่งที่น่าพึงพอใจสำหรับผู้ที่ต้องการผ่านการคัดเลือกใน Zoom

การศึกษาในปี 2005 จากสหราชอาณาจักรระบุว่า น้ำเสียงส่งผลต่อการตัดสินใจเลือกตั้ง ในขณะที่บทความในปี 2019 ของ Washington Post ตรวจสอบ การใช้วิดีโอคลิปที่ถูกตัดต่อ ซึ่งเป็นสิ่งที่ใกล้เคียงที่สุดกับการเปลี่ยนแปลงน้ำเสียงของบุคคลสาธารณะ

การเปลี่ยนแปลงน้ำเสียงด้วยระบบประสาท

ปัจจุบัน เทคโนโลยีการเปลี่ยนแปลงน้ำเสียงยังอยู่ในระดับที่เริ่มแรก เนื่องจากต้อง แยกแยะ ระหว่างแนวคิดเชิงนามธรรม (เช่น เศร้า, โกรธ, ดีใจ, ยิ้ม) และเนื้อหาวิดีโอจริงๆ แม้ว่าโครงสร้างแบบดั้งเดิมจะสามารถแยกแยะได้ดี แต่การสะท้อนอารมณ์ข้ามอัตลักษณ์ที่แตกต่างกัน vẫnต้องการให้เซตข้อมูลใบหน้าสองชุดมีน้ำเสียงที่ตรงกัน

ตัวอย่างภาพใบหน้าในเซตข้อมูลที่ใช้ในการฝึก deepfake ปัจจุบัน คุณสามารถเปลี่ยนแปลงน้ำเสียงของบุคคลได้โดยการสร้างเส้นทางน้ำเสียง-น้ำเสียงเฉพาะสำหรับโมเดล deepfake แต่ไม่มีความเข้าใจเชิงนามธรรมเกี่ยวกับ ‘ยิ้ม’ – มันแค่ทำการแมปและจับคู่การเปลี่ยนแปลงทางเรขาคณิตของใบหน้าระหว่างสองวัตถุ

สิ่งที่ต้องการคือการรู้ว่าบุคคล B (เช่น) ยิ้มอย่างไร และเพียงแค่สร้าง ‘สวิตช์ยิ้ม’ ในโครงสร้างโดยไม่ต้องจับคู่กับภาพของบุคคล A ที่ยิ้ม

บทความใหม่ ใหม่ มีชื่อเรื่องว่า ผู้กำกับน้ำเสียงด้วยระบบประสาท: การควบคุมน้ำเสียงด้วยวิธีเชิงนามธรรมใน “วิดีโอที่อยู่ในธรรมชาติ” และมาจากนักวิจัยที่ School of Electrical & Computer Engineering ที่ National Technical University of Athens, Institute of Computer Science ที่ Foundation for Research and Technology Hellas (FORTH), และ College of Engineering, Mathematics and Physical Sciences ที่ University of Exeter ในสหราชอาณาจักร

ทีมงานได้พัฒนาโครงสร้างที่เรียกว่า ผู้กำกับน้ำเสียงด้วยระบบประสาท (NED) ซึ่งรวมถึงเครือข่ายการแปลน้ำเสียงแบบ 3 มิติ ผู้จัดการน้ำเสียง 3 มิติ

NED รับลำดับน้ำเสียงและแปลเป็นโดเมินเป้าหมาย โดยไม่ต้องฝึกบนข้อมูลที่จับคู่กัน ซึ่งหมายความว่าไม่จำเป็นต้องฝึกบนเซตข้อมูลที่มีน้ำเสียงที่ตรงกันสำหรับทุกอัตลักษณ์

วิดีโอที่แสดงอยู่ที่ส่วนล่างของบทความนี้ วิ่งผ่านชุดการทดสอบที่ NED กำหนดสถานะทางอารมณ์ที่เห็นได้บนคลิปจาก YouTube

ผู้เขียนอ้างว่า NED เป็นวิธีการแรกที่สามารถ ‘กำกับ’ นักแสดงในสถานการณ์ที่ไม่คาดคิด และได้เผยแพร่โค้ดบน หน้าโครงการ NED

วิธีการและโครงสร้าง

ระบบนี้ถูกฝึกบนเซตข้อมูลวิดีโอที่มีฉลาก “อารมณ์”

ผลลัพธ์จะได้รับจากเครื่องเรนเดอร์ใบหน้าที่สร้างน้ำเสียงที่ต้องการโดยใช้เทคนิคสังเคราะห์ใบหน้าแบบดั้งเดิม รวมถึงการแบ่งส่วนใบหน้า การจัดตำแหน่งด้านหน้า และการผสมผสาน โดยที่เพียงพื้นที่ใบหน้าเท่านั้นที่ถูกสังเคราะห์ rồiถูกวางบนคลิปดั้งเดิม

โครงสร้างของ NED Source: https://arxiv.org/pdf/2112.00585.pdf

ในตอนแรก ระบบจะทำการกู้คืนใบหน้า 3 มิติและกำหนดตำแหน่งด้านหน้าบนเฟรมอินพุตเพื่อระบุน้ำเสียง จากนั้นพารามิเตอร์น้ำเสียงที่กู้คืนมาจะถูกส่งไปยัง ผู้จัดการน้ำเสียง 3 มิติ และเวกเตอร์สไตล์ที่คำนวณโดยใช้ฉลากเชิงนามธรรม (เช่น ‘ดีใจ’) หรือไฟล์อ้างอิง

ไฟล์อ้างอิงคือวิดีโอที่แสดงน้ำเสียง/อารมณ์ที่เฉพาะเจาะจง ซึ่งจะถูกวางบนคลิปเป้าหมายทั้งหมด โดยเปลี่ยนน้ำเสียงดั้งเดิม

ขั้นตอนในการถ่ายโอนอารมณ์ โดยมีนักแสดงตัวอย่างจากวิดีโอ YouTube

รูปใบหน้า 3 มิติสุดท้ายที่สร้างขึ้นจะถูกผสมกับพิกัดใบหน้าเฉลี่ย (NMFC) และภาพดวงตา (จุดแดงในภาพด้านบน) และส่งไปยังเครื่องเรนเดอร์ระบบประสาท ซึ่งทำการเปลี่ยนแปลงสุดท้าย

ผลลัพธ์

นักวิจัยได้ทำการศึกษาอย่างกว้างขวาง รวมถึงการศึกษาด้านผู้ใช้และความเสียหาย เพื่อประเมินประสิทธิภาพของวิธีนี้เมื่อเทียบกับงานก่อนหน้า และพบว่าในหลายๆ หมวด NED มีประสิทธิภาพเหนือกว่าสภาพปัจจุบันของเทคโนโลยีนี้

ผู้เขียนบทความมองเห็นว่าในอนาคต การนำงานนี้ไปใช้และเครื่องมือที่คล้ายกันจะถูกใช้ประโยชน์หลักในอุตสาหกรรมโทรทัศน์และภาพยนตร์ โดยระบุว่า:

‘วิธีการของเรนทำให้เกิดโอกาสใหม่ๆ สำหรับการใช้เทคโนโลยีการเรนเดอร์ระบบประสาทที่มีประโยชน์ ตั้งแต่การผลิตภาพยนตร์และวิดีโอเกมไปจนถึงการสร้างอวตารที่มีอารมณ์เหมือนจริง’

นี่เป็นงานแรกในด้านนี้ แต่เป็นหนึ่งในงานแรกที่พยายามทำการเปลี่ยนแปลงน้ำเสียงด้วยวิดีโอแทนที่จะใช้ภาพนิ่ง แม้ว่าวิดีโอจะประกอบด้วยภาพนิ่งที่เล่นเร็วๆ ก็ตาม แต่ก็มีการพิจารณาเรื่องเวลา ทำให้การประยุกต์ใช้ก่อนหน้านี้มีประสิทธิภาพน้อยกว่า ในวิดีโอที่แนบมากับบทความและตัวอย่างในบทความ ผู้เขียนได้แสดงการเปรียบเทียบภาพผลลัพธ์ของ NED กับวิธีการที่ใกล้เคียงที่สุด

การเปรียบเทียบที่มีรายละเอียดมากขึ้นและตัวอย่างอื่นๆ ของ NED สามารถพบได้ในวิดีโอที่แสดงด้านล่าง:

3rd ธันวาคม 2021, 18:30 GMT+2  – ตามคำขอของหนึ่งในผู้เขียนบทความ มีการแก้ไขเกี่ยวกับ ‘ไฟล์อ้างอิง’ ซึ่งฉันระบุผิดว่าเป็นภาพนิ่ง (แทนที่จะเป็นวิดีโอคลิป) นอกจากนี้ยังมีการแก้ไขชื่อของสถาบันคอมพิวเตอร์วิทยาศาสตร์ที่ Foundation for Research and Technology.
3rd ธันวาคม 2021, 20:50 GMT+2  – มีการขอแก้ไขเพิ่มเติมจากผู้เขียนบทความเกี่ยวกับชื่อสถาบันที่กล่าวถึงข้างต้น