ทำไมการผสมผสานแนวคิดจึงหมายความว่าคุณไม่สามารถมี AI วิดีโอ ‘ตามที่คุณต้องการ’

เครื่องมือวิดีโอ AI สัญญาว่าจะให้การควบคุมทั้งหมด แต่การผสมผสานแนวคิดที่ซ่อนอยู่ ‘ติด’ อัตลักษณ์ น้ำเสียง และพฤติกรรมเข้าด้วยกัน ทำให้ต้องใช้การแก้ไขและเคล็ดลับแบบเทมเพลตที่ทำลายความเชื่อมั่นในเวทมนตร์ GenAI ที่ไม่ต้องพยายาม

ความคิดเห็น ตั้งแต่ฉันเข้าเรื่องนี้อย่างละเอียด ห้าปีที่แล้ว ปัญหาเรื่อง การผสมผสานแนวคิด ในระบบ AI ที่ได้รับการฝึกฝนได้ขยายออกไปสู่ผู้ใช้จำนวนมากขึ้น โดยไม่ได้รับการทำความเข้าใจในลักษณะของมันเอง

ในสมัยนั้น ระบบอัตลักษณ์ (เช่น DeepFaceLab และ FaceSwap ที่ได้รับการพัฒนาจาก การปล่อยโค้ด Reddit ในปี 2017) เป็นเพียงเกมเดียวในเมืองสำหรับการสร้างวิดีโอที่เหมือนจริงของคน

ระบบเหล่านี้พึ่งพาเซตข้อมูลการฝึกอบรมใบหน้าที่กว้างขวางซึ่งได้รับการออกแบบมาเพื่อให้โมเดล AI มีข้อมูลเกี่ยวกับ A) ว่าบุคคลนั้นดูเหมือนอย่างไรในขณะที่พักผ่อน (การฝังตัวอ้างอิง แบบคลาสสิก) และ B) ว่าบุคคลนั้นดูเหมือนอย่างไรในสถานการณ์ที่หลากหลายที่ใบหน้าสามารถสะท้อนได้ ตั้งแต่ การนอนหลับ ไปจนถึง การหัวเราะ ความกลัว ความเบื่อหน่าย ความเหยียดหยาม ความเศร้าโศก และอื่นๆ

อัตลักษณ์มาไม่เพียงอย่างเดียว แต่มากับน้ำเสียงใบหน้าด้วย นอกจากนี้ อารมณ์บางอย่างอาจมีเฉพาะข้อมูลใบหน้าจากมุมที่รุนแรงเท่านั้น ซึ่งจะทำให้มุมนั้นมีความสัมพันธ์กับอารมณ์และในทางกลับกัน

ปัญหาก็คืออัตลักษณ์แบบคลาสสิกมักจะต้องถูกอนุมานจากภาพถ่ายใบหน้าที่ไม่ใช่ ‘เป็นกลาง’ ดังนั้นการกระจายตัวของการถ่ายภาพส่วนใหญ่จะเลื่อนไปสู่ ‘รอยยิ้มเป็นค่าเริ่มต้น’ เนื่องจากปริมาณการถ่ายภาพบนพรมแดงในข้อมูลการฝึกอบรมที่เก็บจากเว็บซึ่งบอกเป็นนัยถึงโมเดลเหล่านี้ เช่นเดียวกับเหตุผลอื่นๆ ที่ชัดเจนในการที่เซตข้อมูลอาจมีอคติไปในทางภาพหนึ่ง

ในอีกคำหนึ่ง ระบบอัตลักษณ์จะต้องพยายามแยกอัตลักษณ์ ‘เป็นกลาง’ ออกจากภาพถ่ายหลายพันภาพที่มีลักษณะใบหน้าที่บิดเบี้ยวด้วย น้ำเสียงใบหน้าปกติ

การเผชิญหน้า

เมื่อแนวทาง แบบกระจาย เข้ามาแทนที่ระบบ Gen AI รูปภาพ (และวิดีโอ) ตั้งแต่ปี 2022 เป็นต้นมา ระบบสร้างภาพที่มีการกระจายตัวได้ดีขึ้นอย่างมากในการสร้างน้ำเสียงใบหน้าที่แม่นยำเมื่อได้รับข้อมูลใบหน้าที่จำกัด

แม้แต่ ความท้าทาย ที่ยากมากในการสร้างมุมโปรไฟล์ที่น่าเชื่อถือได้ถูก克服ไปแล้ว ณ จุดปัจจุบัน ในขณะที่ข้อมูลน้ำเสียงได้ถูกแยกออกจากอัตลักษณ์ไปมากแล้ว จนถึงระดับที่ระบบ DeepFaceLive ที่เป็นต้นแบบในการสร้างตัวการแสดงภาพลวงตาที่มีการควบคุมแบบเรียลไทม์ มีการใช้งานออฟไลน์ที่มีประสิทธิภาพจริง และการแสดงผลแบบเรียลไทม์อาจเป็นผลลัพธ์ในอนาคต:

คลิกเพื่อเล่น. จากโครงการ ‘FlashPortrait’ ตัวอย่างที่หลากหลายของการขับเคลื่อนอวตารผ่านวิดีโอที่ให้มา ในกรณีนี้ ไม่สำคัญว่า ‘โดเมนจริง’ จะอยู่ทางด้านไหน ถ้ามี แหล่งที่มา 

อย่างไรก็ตาม เมื่อแคนวาสของ GenAI ขยายออกไปและผลลัพธ์กลายเป็นซับซ้อนมากขึ้น ปัญหาเรื่องการผสมผสานแนวคิดก็เพียงแค่กระจายออกไปสู่พื้นที่อื่นๆ และปัจจุบันกำลังถูก ‘แก้ไข’ โดยใช้เคล็ดลับเก่าและถูกๆ หากคุณไม่รู้ว่าเคล็ดลับเหล่านั้นคืออะไร คุณอาจมีมุมมองที่ดีกว่าเกี่ยวกับว่าวิดีโอและรูปภาพ AI กำลังพัฒนาและเอาชนะข้อบกพร่องเก่าๆ ได้อย่างรวดเร็ว

แมวคุย

หวังว่าตอนนี้คุณจะเข้าใจแล้วว่าทำไมอัตลักษณ์และอารมณ์จึงยากที่จะแยกออกจากกันสำหรับระบบอัตลักษณ์เก่าในปี 2017 มันเป็นเพราะว่า A) มีข้อมูลหนึ่งประเภทมากเกินไป หรือ B) โมเดลไม่เหมาะสมกับการแยกคุณสมบัติเหล่านี้ และมักจะ ‘ติด’ มันเข้าด้วยกันในเวลาที่อนุมาน เว้นแต่ผู้ใช้จะดูแลให้สมดุลในเซตข้อมูลของตน

ในทำนองเดียวกัน ปัญหาเดียวกันเกิดขึ้นในหลายๆ โมเดลวิดีโอแบบเปิดและแบบเอกสิทธิ์เฉพาะบุคคลในช่วงไม่กี่ปีที่ผ่านมา แม้ว่าจะถูกบดบังด้วยการวิพากษ์วิจารณ์ระดับที่สูงกว่าเกี่ยวกับ การเห็นภาพหลอกลวง การขาดการเซ็นเซอร์ และหัวข้ออื่นๆ

ตัวอย่างเช่น ในระบบ Wan2.+ ผู้ใช้หลายคนพบว่ามันยากที่จะหยุดตัวละครที่สร้างขึ้นจากการพูด ไม่หยุด และมักจะยากที่จะหยุดพวกมัน มองไปที่กล้อง

ปัญหาเรื่องการ ‘มองไปที่กล้อง’ หรือการ ‘ทำลายกำแพง’ นั้นเกิดขึ้นก่อนการมาถึงของระบบสังเคราะห์วิดีโอ เนื่องจากมันเกิดขึ้นในระบบการกระจายตัวแบบภาพเท่านั้น เนื่องจากความนิยมของ ‘การถ่ายภาพมองไปที่กล้อง’ ในเซตข้อมูลที่เก็บจากเว็บ เช่น LAION

ปัญหาเรื่องตัวละคร ‘พูดมาก’ นั้นมาจากความ 풍豊ของวิดีโอ ‘อินฟลูเอ็นเซอร์’ บน YouTube ซึ่งมอบชั่วโมงพูดตรงไปที่กล้องหลายพันชั่วโมง ซึ่งมักจะ จัดทำเป็นเซตข้อมูล ที่นักวิจัยสามารถ ล้างข้อมูล โดยการให้ข้อความเชิงวิชาการ

แต่ถ้าผู้สร้างหรือผู้ดูแลข้อมูลต่อมาไม่ดูแลให้จำกัดจำนวนของวิดีโอนี้ และสมดุลมันกับประเภทอื่นๆ ของคลิปวิดีโอ ปัญหาเรื่องอคติจะเกิดขึ้นในโมเดลวิดีโอ ซึ่งจะต้องแก้ไขด้วยวิธีการสั่งงานและระบบเสริมอื่นๆ

เมื่อเผชิญกับปัญหา ‘การพูดมาก’ ของ Wan ผู้ใช้ Reddit u/Several-Estimate-681 พบวิธีแก้ปัญหาโดยใช้การตั้งค่าในระบบ Infinite Talk V2V ของ Wan 2.1 – โครงสร้างที่ออกแบบมาเพื่อ ส่งเสริม การพูดแบบอินฟลูเอ็นเซอร์ – ที่ทำให้ผู้ใช้สามารถปิดเสียงตัวละครที่แสดง:

คลิกเพื่อเล่น: วิธีแก้ปัญหาเพื่อให้ตัวละครตื่นตัวใน Wan2.+ แหล่งที่มา 

เห็นได้ชัดว่าทางลัดเหล่านี้ไม่ได้แสดงถึงวิธีแก้ปัญหาเชิงโครงสร้างระดับต่ำ และในความไม่มีทางแก้ปัญหาเชิงโครงสร้างที่แท้จริงที่จะถูกนำมาใช้โดยผู้สร้างโมเดลหลัก (เนื่องจากผู้ทดลองทั่วไปไม่มีเงินหลายล้านเพื่อสร้างหรือ ปรับแต่ง งานนี้) สิ่งนี้หมายความว่าเกม ‘การผสมผสานแนวคิด’ จะถูก เริ่มต้นใหม่ที่รุ่นถัดไป

ถูกและเปราะบาง

ไม่มีอะไรในโครงสร้างกระจายตัวที่ทำให้ปัญหาเหล่านี้เป็นไปไม่ได้; แท้จริงแล้ว หากมีวิธีการใช้การดูแล การคัดเลือก และการเขียนคำบรรยายคุณภาพสูงสำหรับเซตข้อมูลขนาดใหญ่มากๆ ที่มีจุดข้อมูลหลายล้านจุด ปัญหาเหล่านี้ส่วนใหญ่น่าจะหายไป

อย่างไรก็ตาม การมุ่งเน้นไปที่รายละเอียดในระดับนี้จะเทียบเท่ากับ โครงการแมนฮัตตัน ในด้านลอจิสติกส์ ขอบเขต ทรัพยากรที่ต้องการ และความพยายามในระยะยาว

ดังนั้น ในสภาพแวดล้อมที่การออกแบบใหม่หรือแม้แต่การออกแบบใหม่ รุ่น อาจยกเลิกความพยายามในระดับนี้ไปได้ ไม่มีความตั้งใจที่จะทำความพยายามในระดับนี้

ดังนั้น วิธีการที่ถูกที่สุดจึงยังคงเป็นที่นิยม ตัวอย่างเช่น การเพิ่มข้อมูล ซึ่งเมื่อใช้กับเซตข้อมูลวิดีโอที่ไม่เหมาะสม อาจให้ผลลัพธ์ที่ น่าหัวเราะ:

เนื่องจากการเพิ่มข้อมูลมักจะกลับด้านของวิดีโอแหล่งที่มาในเซตข้อมูล การเรียนรู้ของโมเดล AI จึงอาจเรียนรู้การเคลื่อนไหวที่ ‘เป็นไปไม่ได้’ บ้าง – แหล่งที่มา

อย่างไรก็ตาม เมื่อรวมกันแล้ว การกลิ้งหินขึ้นเนินและคนหันไปมอง ‘โหมดอินฟลูเอ็นเซอร์’ มักถือเป็นความเสียหายรองจากผลลัพธ์ที่น่าประทับใจและหัวข้อที่น่าประทับใจที่สามารถบังคับให้ระบบสร้างภาพที่มีการกระจายตัวได้ผลลัพธ์ที่น่าประทับใจได้ แม้จะมีข้อบกพร่องและจุดอ่อนที่ยังคงอยู่

วิธีแก้ปัญหาแบบโบイเลอร์เพลท

ในระยะปัจจุบัน มีหลายร้อยโดเมน GenAI ที่กำลังเพลิดเพลินกับช่วงเวลาที่ดีในการสร้างรายได้ก่อนที่กฎหมายหรือการแบนจะเข้ามาขัดขวางบริการเหล่านี้

เว็บไซต์ขนาดใหญ่และเป็นที่รู้จัก เช่น Kling และ Grok มักจะยอมรับในการเซ็นเซอร์ตนเอง (ในที่สุด) หรือตอบสนองต่อคำวิพากษ์วิจารณ์โดยการเปลี่ยนแปลงประเภทของเนื้อหาที่พวกเขาสนับสนุนให้ผู้ใช้

แต่เบื้องหลังชื่อใหญ่ๆ เหล่านี้มีบริการที่ไม่ถูกต้องตามกฎหมายหลายร้อยแห่งที่ให้บริการเนื้อหาที่มีความต้องการใหม่ๆ และรุนแรงขึ้นเรื่อยๆ

การให้บริการเหล่านี้ไม่จำเป็นต้องมีการฝึกอบรมโมเดลหลักจากศูนย์ ซึ่งมีค่าใช้จ่ายสูงมาก และแม้แต่การปรับแต่ง ซึ่งมีค่าใช้จ่ายน้อยกว่าก็ไม่จำเป็นต้องทำ

ดังนั้น พวกเขาจึงให้บริการ ‘เทมเพลต’ ซึ่งทำงานเหมือนกับ LoRAs ที่ฝึกอบรมเอง ซึ่งผู้ทดลอง AI ใช้มาแล้วกว่าสี่ปีในการฝึกอบรมอัตลักษณ์ สไตล์ วัตถุ และ (ในกรณีวิดีโอ LoRAs) การเคลื่อนไหวหรือการกระทำที่ต้องการเข้ากับ LoRA ที่เชื่อมต่อ

เมื่อ LoRA ถูกวางระหว่างผู้ใช้และโมเดลหลัก ผลลัพธ์ที่ได้จะเฉพาะเจาะจงกับสิ่งที่ LoRA ถูกฝึกอบรม และโดยทั่วไปแล้ว การทำงานโดยรวมของโมเดลจะถูกบั่นทอนโดยอิทธิพลของ LoRA ซึ่งจะทำซ้ำวัตถุของมันได้ดี แต่ก็จะแทรกสอดวัสดุเหล่านั้นเข้าไปในคำขอใดๆ ก็ตาม (ถ้าเว็บไซต์ GenAI ที่ไม่ถูกต้องตามกฎหมายเหล่านี้อนุญาตให้ควบคุมในระดับนี้ – พวกเขาไม่ทำ พวกเขาจัดให้เทมเพลต การกระทำ [เลือก] และตีความข้อความหรือวิดีโอที่ให้มาในลักษณะที่น่าจะนำไปสู่การนำเทมเพลตไปใช้ได้สำเร็จ)

สำหรับเหตุผลที่ชัดเจน ฉันไม่สามารถฝังตัวอย่างเว็บไซต์ลงในบทความนี้ได้ แต่เอกสารวิจัยได้ให้ตัวอย่างที่คล้ายกัน เช่น โครงการ EffectMaker ซึ่งแสดงหลักการในการใช้งาน โดยที่การกระทำเฉพาะจะถูกนำไปใช้กับภาพที่ผู้ใช้ให้มา:

คลิกเพื่อเล่น. ใน EffectMaker ผลกระทบที่ถูกปรับแต่งสามารถนำไปใช้กับข้อมูลนำเข้าแบบกำหนดเอง แหล่งที่มา 

แม้ในสภาพแวดล้อมที่มีการดูแลและกำหนดเป้าหมายอย่างเข้มงวด ผู้ใช้ก็ยังพบว่าต้องพยายามหลายครั้งเพื่อให้ได้ผลลัพธ์ที่ดี และเราควรไม่ให้ความเห็นแก่ผู้ให้บริการที่มีเจตนาไม่ดีหรือการดำเนินธุรกิจที่ไม่ซื่อสัตย์ แต่ให้โทษความผิดพลาดของโครงสร้าง GenAI ที่ ‘พลาดเป้า’ ซึ่งอาจทำให้เกิดผลลัพธ์ที่น่าประทับใจได้

สรุป

เอกสารวิจัยยังคงตรวจสอบปัญหาเรื่องการผสมผสานแนวคิด ซึ่งปรากฏอย่างจริงจังในปี 2020 ในการทำงานร่วมกันระหว่าง Max Planck และ Google เรื่อง มองโลกในแง่ดีเกี่ยวกับการเรียนรู้แบบไม่มีผู้สอนของการแสดงออกที่แยกจากกันและการประเมิน

นอกจากนี้ยังมีการตีพิมพ์ผลงานต่อเนื่องของ การแยกออกจากกันผ่านการเปรียบเทียบ (DisCo) อย่างต่อเนื่อง และสภาพแวดล้อมยังคงมีชีวิตชีวาโดยมีความตระหนักถึงปัญหาที่เกินความเข้าใจของสาธารณชนเกี่ยวกับสิ่งที่ AI ไม่สามารถ ทำได้

การศึกษาของ จีนในปี 2024 แสดงให้เห็นว่าการแก้ปัญหาเรื่องการผสมผสานแนวคิดอาจไม่จำเป็นต้องแก้ปัญหาเหล่านั้น โดย历史แล้ว สิ่งนี้เป็นเรื่องจริง เนื่องจากปัญหาที่ยากจะแก้ได้ในด้านการมองเห็นคอมพิวเตอร์ถูกเอาชนะไม่ใช่โดยการแก้ปัญหา แต่โดยการหาวิธีใหม่ๆ และแนวทางใหม่ๆ

จนกว่าผู้ท้าชิงที่แตกต่างจะปรากฏขึ้น ดูเหมือนว่าเราจะต้องยังคงใช้การแก้ไขแบบ ‘ติดปะ’ และยาพยุงให้กับข้อบกพร่องและข้อจำกัดของ GenAI และทนต่อการประเมินความยืดหยุ่นและความยืดหยุ่นของโมเดลหลักโดยสาธารณชนอย่างมาก

เผยแพร่ครั้งแรกวันจันทร์ 23 มีนาคม 2026