ทำไม Deepfakes ไม่สามารถถ่ายทอดความละเอียดของอารมณ์ได้ในขณะนี้

การเปิดตัวตอนแรกของตอน 6 ของซีรีส์ Star Wars spin-off The Book of Boba Fett เมื่อวานนี้ดูเหมือนจะแบ่งความคิดเห็นของแฟน ๆ ออกเป็นสองฝ่าย มีการยอมรับอย่างกว้างขวางว่าการสร้างภาพ Mark Hamill ที่อายุน้อยกว่า (เมื่อเทียบกับการปรากฏตัวก่อนหน้านี้ในตอนจบของซีซั่น 2 ของ The Mandalorian ในปี 2020) เป็นผลมาจากการ雇用 Shamook นักปฏิบัติงาน deepfakes มือสมัครเล่นโดย Industrial Light and Magic และว่าการสร้างภาพตัวละครนั้นจะต้องเป็นการผสมผสานระหว่างเทคโนโลยี deepfakes และ CGI

ปัจจุบันยังไม่มีการยืนยันอย่างเป็นทางการ แต่ Shamook ได้พูดคุยน้อยมากต่อสาธารณะนับตั้งแต่การเซ็นสัญญากับ ILM การทำงานนี้เป็นการปรับปรุงที่น่าประทับใจเมื่อเทียบกับ CGI ในปี 2020 และแสดงให้เห็นถึงคุณภาพที่ดีที่สุดในปัจจุบันสำหรับ deepfakes

มีเสียงวิจารณ์อีกเสียงหนึ่งที่ว่าการสร้างภาพ “Young Luke” ใหม่มีข้อบกพร่องที่แตกต่างจากครั้งก่อน อาจจะบอกได้ว่าความไม่มีการแสดงออกและอารมณ์ที่ละเอียดอ่อนในฉากที่มีการสร้างภาพ Skywalker ใหม่นั้นเป็นลักษณะที่พบได้บ่อยใน deepfakes มากกว่า CGI The Verge ได้อธิบายการจำลองของ Boba Fett ในฐานะ “หน้าไม่แสดงอารมณ์เหมือน Mark Hamill ในปี 1983”

ไม่ว่าเทคโนโลยีเบื้องหลังการสร้างภาพใหม่ของ ILM จะเป็นอย่างไร deepfakes มีปัญหาหลักในการถ่ายทอดความละเอียดของอารมณ์ ซึ่งเป็นปัญหาที่ยากจะแก้ไขได้ด้วยการเปลี่ยนแปลงโครงสร้างหรือการปรับปรุงข้อมูลการฝึกอบรม และมักจะถูกละเลยโดยการคัดเลือกอย่างรอบคอบที่ผู้สร้าง deepfakes มือสมัครเล่นทำเมื่อเลือกวิดีโอละ

ข้อจำกัดของการวางแนวหน้า

ที่เก็บ FOSS ของ deepfakes ที่ใช้บ่อยที่สุดคือ DeepFaceLab (DFL) และ FaceSwap ทั้งสองตัวนี้มาจากโค้ดต้นฉบับในปี 2017 ที่ไม่ทราบตัวตนและเป็นที่ถกเถียงกัน โดย DFL มีจุดนำในอุตสาหกรรม VFX แม้ว่าจะมีการใช้งานที่จำกัด

แพ็คเกจเหล่านี้มีหน้าที่หลักในการถอดรอยบนตัวอักษรจากใบหน้าที่สามารถระบุได้จากวัสดุแหล่งที่มา (เช่น เฟรมของวิดีโอและ/หรือภาพนิ่ง)

Facial Alignment Network (FAN) ในการทำงาน จากที่เก็บอย่างเป็นทางการ Source: https://github.com/1adrianb/face-alignment

ทั้ง DFL และ FaceSwap ใช้ไลบรารี Facial Alignment Network (FAN) FAN สามารถสร้างรอยบนตัวอักษร 2D และ 3D (ดูภาพด้านบน) สำหรับใบหน้าที่ถูกถอดรอย

อย่างไรก็ตาม มันเห็นได้ชัดว่านี่เป็นเพียงแนวทางเบื้องต้นในการควบคุมและประเมินพิกเซล:

จากฟอรัม FaceSwap ตัวบ่งชี้ที่ไม่สมบูรณ์ของรอยบนตัวอักษรของใบหน้า Source: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

รอยบนตัวอักษรพื้นฐานที่สุดของใบหน้าถูกตั้งค่าให้: ดวงตาสามารถกว้างและปิดได้ เช่นเดียวกับขากรรไกร ในขณะที่การกำหนดค่าพื้นฐานของปาก (เช่น ยิ้ม หยุดยิ้ม ฯลฯ) สามารถถูกติดตามและปรับให้เหมาะสมได้ ใบหน้าสามารถหมุนได้ในทิศทางใดก็ได้ถึง 200 องศาจากมุมมองของกล้อง

นอกเหนือจากนั้น สิ่งเหล่านี้เป็นเพียงรั้วที่หยาบคายสำหรับวิธีการที่พิกเซลจะพฤติกรรมภายในขอบเขตเหล่านี้ และเป็นตัวแทนของแนวทางที่แม่นยำและแม่นยำทางคณิตศาสตร์เดียวในกระบวนการ deepfakes ทั้งหมด กระบวนการฝึกอบรมนั้นเปรียบเทียบวิธีการที่พิกเซลถูกจัดเรียงภายในหรือใกล้กับขอบเขตเหล่านี้

การฝึกอบรมใน DeepFaceLab Source: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

เนื่องจากไม่มีการเตรียมการสำหรับทอพอโลยีของส่วนย่อยของใบหน้า (ความเว้าและความ凸ของแก้ม รายละเอียดการ老化 รอยยิ้ม ฯลฯ) จึงไม่สามารถพยายาม จับคู่ คุณลักษณะย่อยๆ เหล่านี้ระหว่างตัวตนที่เป็นแหล่ง (ใบหน้าที่คุณต้องการเขียนทับ) และตัวตนที่เป็นเป้าหมาย (ใบหน้าที่คุณต้องการวางทับ) ได้

การทำด้วยข้อมูลที่จำกัด

การได้รับข้อมูลที่ตรงกันระหว่างตัวตนทั้งสองเพื่อการฝึกอบรม deepfakes ไม่ใช่เรื่องง่าย ยิ่งไปกว่านั้น หากคุณต้องการจับคู่มุมที่ไม่ธรรมดา คุณอาจต้องประนีประนอมกับว่ามุมจับคู่นั้น (ที่หายาก) จริงๆ แล้วมีการแสดงออกที่เหมือนกันหรือไม่

ใกล้แต่ไม่เหมือนกัน

ในตัวอย่างด้านบน ตัวตนทั้งสองมีลักษณะที่คล้ายคลึงกัน แต่นี่คือจุดที่ใกล้เคียงที่สุดเท่าที่ชุดข้อมูลนี้จะเข้าใกล้การตรงกัน

ยังคงมีความแตกต่างที่ชัดเจน: มุมและเลนส์ไม่ตรงกัน และการ освещ也不่เหมือนกัน; ตัว A ไม่ได้ปิดตา ในขณะที่ตัว B ปิดตา; คุณภาพและความกดดันของภาพนั้นเลวในตัว A; และดูเหมือนว่าตัว B ดู มีความสุข มากกว่าตัว A

แต่คุณรู้ไหมว่ามันเป็นทั้งหมดที่เรามี ดังนั้นเราจะต้องฝึกอบรมมันอย่างไรก็ตาม

เนื่องจากการจับคู่ A <> B นี้มีองค์ประกอบที่ไม่ธรรมดาหลายอย่าง คุณสามารถแน่ใจได้ว่ามีการจับคู่ที่คล้ายกันไม่มากในเซต ดังนั้นการฝึกอบรมจะ underfit หรือ overfit มัน

Underfit: หากการจับคู่นี้เป็นชนิดที่หายาก (เช่น ชุดข้อมูลพ่อแม่นั้นใหญ่มาก และไม่มีลักษณะของภาพสองภาพนี้บ่อยนัก) มันจะไม่ได้รับการฝึกอบรมมากเมื่อเทียบกับการจับคู่ที่ “ง่าย” (เช่น ตัวอักษรที่เป็นกลาง) มากกว่า ดังนั้น มุม/การแสดงออกนี้จะไม่ได้รับการแสดงออกอย่างดีใน deepfakes ที่สร้างด้วยโมเดลที่ฝึกอบรมแล้ว

Overfit: ในความกลัวที่จะขาดข้อมูลการจับคู่สำหรับการจับคู่ A <> B ที่หายาก deepfakers อาจ ทำซ้ำการจับคู่หลายครั้ง ในชุดข้อมูล เพื่อให้ได้โอกาสที่ดีกว่าในการกลายเป็นคุณลักษณะในโมเดลสุดท้าย ซึ่งจะนำไปสู่การ overfitting โดยที่วิดีโอ deepfakes ที่สร้างด้วยโมเดลนั้นมีแนวโน้มที่จะ ซ้ำซ้อนความไม่ตรงกัน ที่เห็นได้ชัดเจนระหว่างสองภาพ เช่น ระดับที่ต่างกันในการปิดตา

ในภาพด้านล่าง เราจะเห็น Vladimir Putin ที่กำลังฝึกอบรมใน DeepFaceLab เพื่อทำการสลับเป็น Kevin Spacey ที่นี่ การฝึกอบรมอยู่ในระดับที่ค่อนข้างขั้นสูงแล้วที่ 160,000 รอบการวนซ้ำ

ที่มา: https://i.imgur.com/OdXHLhU.jpg

ผู้สังเกตการณ์โดยทั่วไปอาจโต้แย้งว่า Putin ดู ดูเหมือน Spacey ในการสลับเหล่านี้ มาทำความเข้าใจกันว่าโปรแกรมการรับรู้อารมณ์ออนไลน์จะวิเคราะห์ความไม่ตรงกันของการแสดงออกเหล่านี้อย่างไร:

ที่มา: https://www.noldus.com/facereader/measure-your-emotions

ตามตัวพยากรณ์นี้ ซึ่งวิเคราะห์ทอพอโลยีของใบหน้าที่ละเอียดกว่า DFL และ Faceswap Spacey มีความ โกรธ น้อยกว่า ไม่พอใจ และ เหยียดหยาม น้อยกว่า deepfake ของ Putin ในการจับคู่นี้

ความไม่เท่าเทียมกันของการแสดงออกมาเป็นส่วนหนึ่งของแพ็คเกจที่เกี่ยวข้องกัน เนื่องจากแอปพลิเคชัน deepfakes ที่เป็นที่นิยมไม่มีความสามารถในการจดจำหรือจับคู่การแสดงออกหรืออารมณ์ ยกเว้นในทางอ้อม ในฐานะการแมปพิกเซลต่อพิกเซล

สำหรับเรา ความแตกต่างนั้นใหญ่มาก เราเรียนรู้ที่จะ อ่านการแสดงออกบนใบหน้า เป็นเทคนิคการอยู่รอดพื้นฐานตั้งแต่ช่วงแรกของชีวิต และยังคงพึ่งพาทักษะนี้ในความเป็นหนึ่งเดียวทางสังคมและการก้าวหน้า การสร้างความสัมพันธ์ และการประเมินภัยคุกคามอย่างต่อเนื่อง เนื่องจากเรารู้สึกไวต่อการแสดงออกบนใบหน้า deepfakes จะต้องคำนึงถึงสิ่งนี้ในอนาคต

ไปในทิศทางตรงกันข้าม

แม้ว่าปฏิวัติ deepfakes จะนำมาซึ่งความหวังในการใส่ตัวละครภาพยนตร์ “คลาสสิก” ลงในภาพยนตร์และโทรทัศน์สมัยใหม่ AI ไม่สามารถย้อนกลับไปในอดีตและถ่ายทำผลงานคลาสสิกของพวกเขาในคุณภาพและความละเอียดที่เข้ากันได้ ซึ่งเป็นสิ่งสำคัญสำหรับการใช้งานนี้

โดยสมมติว่าการสร้างภาพ Hamill ใหม่ใน Boba Fett เป็นผลงานของโมเดล deepfakes ที่ฝึกอบรมแล้ว ชุดข้อมูลสำหรับโมเดลนั้นจะต้องใช้ประโยชน์จากฟุตเทจในช่วงใกล้กับเส้นเวลาของซีรีส์ (เช่น Hamill ในฐานะชายวัยสามสิบต้นในช่วงการผลิต Return of the Jedi ในปี 1981-83)

ภาพยนตร์เรื่องนี้ถูก ถ่าย ด้วยฟิล์ม Eastman Color Negative 250T 5293/7293 ซึ่งเป็นฟิล์มที่มีความไวแสงที่ 250ASA และถือว่ามีความละเอียดปานกลางถึงละเอียดในยุคนั้น แต่ถูกทดแทนด้วยความชัดเจน สี และความเที่ยงตรงที่ดีกว่าแม้กระทั่งในช่วงปลายทศวรรษ 1980 ฟิล์มนี้เป็นฟิล์มของยุคนั้น และการถ่ายทำ Jedi ในรูปแบบอุปรากรทำให้การถ่ายภาพใกล้ของนักแสดงนำน้อย ซึ่งทำให้ปัญหาเรื่องเม็ดฟิล์มมีความสำคัญมากขึ้น เนื่องจากใบหน้าของตัวละครหลักครอบคลุมเพียงส่วนหนึ่งของเฟรม

ชุดภาพของ Hamill ใน Return of the Jedi (1983)

นอกจากนี้ ฟุตเทจ VFX ที่มี Hamill จะถูกส่งผ่านเครื่องพิมพ์แบบออปติคัล ซึ่งเพิ่มเม็ดฟิล์มอีกด้วย การเข้าถึงอาร์ไคลฟ์ของ Lucasfilm ซึ่งดูแลฟิล์มมาสเตอร์เชิงลบและอาจให้เวลาหลายชั่วโมงในการถ่ายภาพที่ไม่ได้ใช้เพื่อแก้ไขปัญหานี้ได้

บางครั้งอาจเป็นไปได้ที่จะครอบคลุมช่วงหลายปีของผลงานของนักแสดงเพื่อเพิ่มและกระจายชุดข้อมูล deepfakes ในกรณีของ Hamill นักสร้าง deepfakes ต้องเผชิญกับการเปลี่ยนแปลงรูปลักษณ์ของเขาหลังจากอุบัติเหตุทางรถยนต์ในปี 1977 และข้อเท็จจริงที่ว่าเขาเริ่มอาชีพที่สองในฐานะนักพากย์เสียงที่ได้รับการยกย่องหลัง Jedi ทำให้วัสดุแหล่งที่มาไม่มากนัก

ช่วงอารมณ์ที่จำกัด?

หากคุณต้องการให้นักแสดง deepfaked ของคุณแสดงออกอย่างเต็มที่ คุณจะต้องมีวัสดุแหล่งที่มาที่มีการแสดงออกบนใบหน้าหลากหลาย อาจเป็นไปได้ว่าวัสดุแหล่งที่มาในยุคที่เหมาะสมไม่มีการแสดงออกเหล่านั้นมากนัก

ตัวอย่างเช่น เมื่อถึงช่วงเรื่องราวของ Return of the Jedi ตัวละครของ Hamill ได้ควบคุมอารมณ์ของเขาแล้ว ซึ่งเป็นการพัฒนาที่สำคัญของมิธโลจีของแฟรนไชส์ดั้งเดิม ดังนั้น หากคุณสร้างโมเดล deepfakes ของ Hamill จากข้อมูล Jedi คุณจะต้องทำงานกับช่วงอารมณ์ที่จำกัดและท่าทางที่ไม่ธรรมดาที่ตัวละครของ Hamill ต้องเผชิญในขณะนั้น เมื่อเทียบกับการเขียนของเขาในตอนแรกของแฟรนไชส์

แม้ว่าจะพิจารณาว่ามีเวลาที่ตัวละคร Skywalker อยู่ภายใต้ความเครียด และสามารถให้วัสดุสำหรับการแสดงออกที่หลากหลายได้ วัสดุใบหน้าในฉากเหล่านั้นก็ยังคงรวดเร็วและอยู่ภายใต้การเบลอร์และการแก้ไขที่รวดเร็วที่พบในฉากการกระทำ ดังนั้นข้อมูลจึงไม่สมดุล

การทำให้กลมกลืน: การผสมผสานอารมณ์

หากการสร้างภาพ Skywalker ใน Boba Fett เป็น deepfakes การขาดช่วงการแสดงออกที่ถูกกล่าวหาว่าเป็นของมันจะไม่ได้มาจากวัสดุแหล่งที่มาเท่านั้น กระบวนการฝึกอบรมแบบ encoder-decoder ของ deepfakes มุ่งหาโมเดล ทั่วไป ที่สามารถดึงคุณลักษณะหลักออกจากภาพหลายพันภาพ และสามารถ พยายาม สร้าง deepfakes มุมที่หายากหรือไม่มีในเซตข้อมูล

หากไม่มีความยืดหยุ่นนี้ สถาปัตยกรรม deepfakes จะเป็นการคัดลอกและวางโมร์ฟแบบพื้นฐานในแต่ละเฟรม โดยไม่พิจารณาการปรับตัวหรือบริบท

อย่างไรก็ตาม การแลกเปลี่ยนที่เจ็บปวดสำหรับความยืดหยุ่นนี้คือความซื่อสัตย์ของการแสดงออกมีแนวโน้มที่จะเป็นเหยื่อของกระบวนการ และการแสดงออกที่ “ละเอียด” อาจไม่ใช่สิ่งที่ถูกต้อง เราทุกคนเล่นใบหน้าเหมือนวงออร์เคสตร้า 100 ชิ้น และมีความสามารถในการทำเช่นนั้น ในขณะที่ซอฟต์แวร์ deepfakes อาจขาดอย่างน้อยส่วนของสตริง

ความไม่เท่าเทียมกันของผลกระทบในอารมณ์

การเคลื่อนไหวของใบหน้าและผลกระทบต่อเราไม่ใช่ภาษาที่เป็นเอกภาพทั่วทุกใบหน้า การยิ้มที่ดูเหมือนไม่แยแสบน Roger Moore อาจดูไม่ซับซ้อนบน Seth Rogan ในขณะที่เสน่ห์ของ Marilyn Monroe อาจแปลเป็นอารมณ์เชิงลบหากถูก deepfakes บนบุคคลที่มีบทบาทที่มีให้เห็นมากที่สุดคือ ‘โกรธ’ หรือ ‘ไม่พอใจ’ (เช่น ตัวละครของ Aubrey Plaza ตลอดเจ็ดซีซั่นของ Parks and Recreation)

ดังนั้น ความเท่าเทียมกันพิกเซลต่อพิกเซลระหว่างชุดใบหน้า A/B จึงไม่ใช่ประโยชน์ในด้านนี้ แต่นี่คือทั้งหมดที่ซอฟต์แวร์ deepfakes FOSS ที่มีคุณภาพสูงสุดมีให้

สิ่งที่ต้องการคือเฟรมเวิร์ก deepfakes ที่ไม่เพียงแต่สามารถรับรู้การแสดงออกและอนุมานอารมณ์เท่านั้น แต่ยังมีความสามารถในการแสดงแนวคิดระดับสูง เช่น โกรธ, เย้ายวนใจ, เบื่อ, เหนื่อย และอื่นๆ และจัดประเภทอารมณ์และการแสดงออกที่เกี่ยวข้องในแต่ละชุดใบหน้า ไม่ใช่การตรวจสอบและจำลองการวางตัวของปากหรือดวงตา

เผยแพร่ครั้งแรกเมื่อวันที่ 3 กุมภาพันธ์ 2022 ปรับปรุงเวลา 19:47 น. ตามเวลา EET การอ้างอิงชื่อที่ไม่ถูกต้อง