ตัวเข้ารหัสและถอดรหัสวิดีโอสำหรับภาพเคลื่อนไหวที่สร้างด้วย AI

เมื่อยุคของการใช้ AI ได้อย่างไม่จำกัดกำลังสิ้นสุดลง แนวทางใหม่ที่ประหยัดกว่าในการสร้างวิดีโอด้วย AI ก็สัญญาว่าจะช่วยประหยัดโทเค็นและเวลาได้อย่างชัดเจน

ต้นทุนจริงของการอนุมาน AI ทำให้เกิดมุมมองที่อยู่กับความเป็นจริงมากขึ้นท่ามกลางความรวดเร็วของการปฏิวัติ AI ในปัจจุบัน พร้อมกับความสนใจที่เพิ่มขึ้นในการจัดการต้นทุนของแมชชีนเลิร์นนิง ให้สมเหตุสมผล นอกจากโอกาสในการนำ AI มาทำงานภายในองค์กร และการเติบโตโดยทั่วไปของ AI ส่วนตัว แล้ว กระบวนการแมชชีนเลิร์นนิงที่ใช้ VRAM และทรัพยากรอื่นจำนวนมากก็ย่อมต้องได้รับการปรับให้มีประสิทธิภาพเช่นกัน

การสร้างวิดีโออาจเป็นส่วนที่ใช้ทรัพยากรมากที่สุดในด้านนี้ หากคุณเคยบีบอัดภาพยนตร์ซ้ำหรือส่งออกจากซอฟต์แวร์ตัดต่อวิดีโอ ก็จะทราบว่างานนี้สร้างภาระต่อฮาร์ดแวร์มากเพียงใด งานที่ไม่เกี่ยวกับ AI นี้ใช้ทั้ง RAM และรอบการประมวลผลของ CPU และมักทำให้ใช้คอมพิวเตอร์ทำงานอื่นไม่ได้ เว้นแต่จะจำกัดผลกระทบของอัลกอริทึมการบีบอัดที่มีต่อเครื่อง

ลองนึกถึงขนาดที่การเติบโตของวิดีโอ AI ทำให้กระบวนการที่ใช้พลังประมวลผลสูงเช่นนี้เกิดซ้ำในศูนย์ข้อมูลทั่วโลก เมื่อทำงานในระดับนั้น แม้การปรับปรุงเพียงเล็กน้อยก็มีความสำคัญทันทีเมื่อรวมผลทั้งหมดเข้าด้วยกัน

เจาะจงที่เฟรม

ด้วยเหตุนี้ งานวิจัยใหม่จากเซี่ยงไฮ้ที่ร่วมมือกับ JD.com (JD ) จึงเสนอตัวเข้ารหัสและถอดรหัสวิดีโอที่มุ่งไปยังขั้นตอนสร้างวิดีโอด้วย AI เอง ไม่ใช่การเรนเดอร์ขั้นสุดท้ายซึ่งบีบอัดเฟรมดิบขนาดใหญ่ให้เป็นไฟล์วิดีโอที่เล็กลง

ตัวเข้ารหัสและถอดรหัสวิดีโอทั่วไปไม่ได้เก็บทุกเฟรมเป็นภาพเต็ม แต่สร้างภาพสมบูรณ์จำนวนน้อยกว่า เรียกว่า เฟรม I แล้วบันทึก การเปลี่ยนแปลงระหว่างเฟรม

เช่น เมื่อคนในวิดีโอขยับเล็กน้อย ตัวเข้ารหัสจะบันทึกเฉพาะส่วนที่เปลี่ยนไป ไม่ต้องเก็บฉากทั้งหมดใหม่ โดยมี เฟรม P ซึ่งอาศัยข้อมูลจากเฟรมก่อนหน้า และ เฟรม B ซึ่งใช้ข้อมูลจากเฟรมถัดไปได้ด้วย:

โครงสร้างตัวเข้ารหัสและถอดรหัสวิดีโอ: แถวบนแสดงเฟรมตามเวลาโดยติดป้าย I, P และ B เฟรม I เก็บภาพสีเต็ม ส่วนเฟรม P และ B แสดงสีจางเพื่อสื่อถึงการสร้างภาพกลับขึ้นมา ลูกศรบอกว่าใช้เฟรมก่อนหน้า เฟรมถัดไป หรือทั้งสองอย่าง แผงล่างแสดงเฟรมที่เก็บครบ (I ทางซ้าย) เฟรมที่สร้างจากเฟรมก่อนหน้า (P ช่องที่สองจากซ้าย) และเฟรมที่สร้างจากทั้งก่อนหน้าและถัดไป (B ทางขวา)

การใช้ข้อมูลข้างเคียงซ้ำช่วยให้ไฟล์วิดีโอมีขนาดเล็ก เฟรมส่วนใหญ่ไม่ได้เป็นภาพใหม่ แต่เป็นคำสั่งบอกว่าเฟรมก่อนหน้าเปลี่ยนไปอย่างไร ดังนั้น เฟรม I จึงเป็นภาพเต็มที่ไม่บีบอัดหรือบีบอัดเพียงเล็กน้อยและกินพื้นที่มาก ส่วนเฟรมระหว่างกลางเก็บเพียงความแตกต่างจากเฟรม I และจากกันและกัน

เมื่อ ทุกเฟรม เป็นภาพเต็มที่ไม่บีบอัด วิดีโอก็แทบไม่มีการบีบอัดเลย ภาพยนตร์สองชั่วโมงที่เก็บด้วยวิธีนี้ต้องใช้พื้นที่ดิสก์เกือบหนึ่งเทราไบต์หรือมากกว่า แต่ AI ก็สร้างภาพยนตร์ในลักษณะนี้^† โดยจัดสรรทรัพยากรและโทเค็นเท่ากันให้ทุกเฟรมขณะคำนวณว่าจะประกอบวิดีโออย่างไร

การประหยัดในระดับใหญ่

งานวิจัยใหม่ นี้ มีชื่อว่า AdaCodec: A Predictive Visual Code for Video MLLMs กลับใช้โทเค็นภาพเต็ม เฉพาะกับเฟรมอ้างอิง (เฟรม I) ส่วนเฟรมระหว่างกลางทั้งหมดใช้ P-token แบบกะทัดรัด เป็นแนวคิดที่ยืมมาจากการบีบอัดแบบดั้งเดิมของตัวเข้ารหัสและถอดรหัสวิดีโอทั่วไปอย่างชัดเจน

หลังจากบีบอัดภายในแล้ว วิดีโอที่ AI สร้างยังคงบีบอัดด้วยวิธีปกติได้ ตามทฤษฎี การประหยัดทั้งหมดเกิดขึ้นที่ฝั่งเซิร์ฟเวอร์:

ภาพรวมของ AdaCodec ด้านซ้าย: วิดีโอแบ่งเป็นกลุ่มภาพแบบปรับตัว โดยสงวนเฟรม I เต็มไว้สำหรับช่วงที่ทำนายได้ยาก และแทนเฟรม P ระหว่างกลางด้วยข้อมูลการเคลื่อนไหวและส่วนเหลือที่กะทัดรัด ด้านขวา: ระบบทำได้เทียบเท่าหรือดีกว่า Qwen3-VL-8B ในเกณฑ์ทดสอบสิบเอ็ดชุด รักษาความแม่นยำในการเข้าใจวิดีโอยาวที่สูงกว่าภายใต้งบโทเค็นต่างๆ และลดเวลาตอบสนองขณะประมวลผลโทเค็นวิดีโอน้อยลงมาก ที่มา

ผลการทดสอบ AdaCodec ที่รายงานชี้ว่าการประหยัดนี้คุ้มค่าแก่การพยายาม งานวิจัยระบุว่าระบบทำได้ดีกว่าโมเดล Qwen3-VL-8B ที่ไม่ปรับเปลี่ยน ในเกณฑ์ทดสอบหลักทั้งหมดด้วยปริมาณการคำนวณเท่ากัน แม้ลดโทเค็นวิดีโอลงประมาณ 86% ก็ยังทำได้เทียบเท่าหรือดีกว่าโมเดลดังกล่าว

ผู้เขียนระบุว่า*:

“เราได้แรงบันดาลใจจากการเข้ารหัสแบบคาดการณ์ ซึ่งส่งความคลาดเคลื่อนจากการทำนายแทนสัญญาณดิบ หลักการนี้มีพื้นฐานทางชีววิทยา กล่าวคือเชื่อกันว่าระบบการมองเห็นเข้ารหัสความคลาดเคลื่อนระหว่างข้อมูลที่คาดไว้กับข้อมูลที่สังเกตได้ไม่ใช่ข้อมูลขาเข้าเอง”

“ตัวเข้ารหัสและถอดรหัสวิดีโอสมัยใหม่ใช้แนวคิดการเข้ารหัสส่วนเหลือเดียวกันในงานวิศวกรรม เฟรมอ้างอิงส่งเนื้อหาครบถ้วน ขณะที่เฟรมคาดการณ์ส่งสัญญาณการเคลื่อนไหวและส่วนเหลือเมื่อเทียบกับเฟรมอ้างอิง”

“ระบบเหล่านี้มีเป้าหมายต่างกัน แต่มีโครงสร้างแบบมีเงื่อนไขร่วมกัน เมื่อข้อมูลตัวอย่างที่อยู่ใกล้กันมีความซ้ำซ้อน ช่องทางควรส่งสิ่งที่การทำนายอธิบายไม่ได้”

“อย่างไรก็ตาม ตัวเข้ารหัสและถอดรหัสมาตรฐานปรับให้เหมาะกับบิตสตรีมและการสร้างภาพกลับมาให้มนุษย์ดู ไม่ใช่โทเค็นภาพที่ LLM ใช้ เราจึงออกแบบกลไกนี้ใหม่ให้เป็นอินเทอร์เฟซ MLLM สำหรับทำความเข้าใจวิดีโอ”

นักวิจัย 11 คนจาก Shanghai Jiao Tong University, Shanghai Innovation Institute และ JD.com เป็นผู้เขียนงานนี้ โดยมี หน้าโครงการ ประกอบ และสัญญาว่าจะเผยแพร่ซอร์สโค้ด

วิธีการ

ดังที่อธิบายไว้ ระบบไม่ได้มองทุกเฟรมว่าเป็นภาพใหม่ทั้งหมด แต่ค้นหาการเปลี่ยนแปลงระหว่างเฟรมต่อเนื่องกัน ด้านซ้ายของภาพด้านล่าง บริเวณเล็ก ๆ ในเฟรมปัจจุบันถูกจับคู่กับ บริเวณที่คล้ายที่สุดในเฟรมก่อนหน้า:

แผนผัง AdaCodec

ระยะห่างระหว่างทั้งสองตำแหน่งกลายเป็น เวกเตอร์การเคลื่อนไหว ส่วนความแตกต่างทางภาพที่เหลือกลายเป็น สัญญาณส่วนเหลือ คำอธิบายกะทัดรัดเหล่านี้ใช้แทนการเก็บภาพเต็ม

ด้านขวา ข้อมูลที่ได้ถูกป้อนเข้าโมเดล AI เฟรมอ้างอิงสำคัญยังประมวลผลเป็นภาพเต็ม แต่เฟรมระหว่างกลางใช้โทเค็น การเคลื่อนไหวและส่วนเหลือ ที่เล็กกว่ามาก ดูเหมือนว่าวิธีนี้ช่วยให้โมเดลเก็บข้อมูลพอสำหรับตีความวิดีโอ ขณะประมวลผลข้อมูลภาพน้อยลงอย่างมาก

โจทย์ที่น่าสนใจคือการเลือกว่าจะเก็บเฟรมใดให้ครบ ตัวเข้ารหัสวิดีโอแบบดั้งเดิมมักวางเฟรมอ้างอิงเป็นช่วงสม่ำเสมอไม่ว่าจะจำเป็นหรือไม่ ส่วน AdaCodec พยายามระบุช่วงเวลาที่สำคัญที่สุด

ลองนึกถึงฉากคนสองคนแทบไม่เคลื่อนไหวขณะคุยกันในอพาร์ตเมนต์ แล้วจู่ ๆ ทีม SWAT ก็พุ่งเข้ามาทางหน้าต่าง จำนวนมุมกล้องและจังหวะตัดต่อเพิ่มขึ้นทันที ต้องใช้ข้อมูลมากกว่าที่ช่วงห่างของเฟรมอ้างอิงแบบคงที่จะรองรับได้:

นี่คือหลักการของวิธีบีบอัดแบบแปรผัน เช่น อัตราบิตแปรผัน ซึ่งวิเคราะห์วิดีโอต้นฉบับเพื่อหาช่วงที่มีการเปลี่ยนแปลงมาก แล้วจัดสรรข้อมูลเพิ่มในจุดที่จำเป็น โดยมีต้นทุนด้านเวลาและทรัพยากรไม่น้อย

หาก AdaCodec ทำนายเฟรมจากเฟรมข้างเคียงได้อย่างแม่นยำ ระบบก็ยังใช้โทเค็น การเคลื่อนไหวและส่วนเหลือ แบบกะทัดรัดต่อไป แต่เมื่อฉากเปลี่ยนไปมาก เช่น ตัวอย่างทีม SWAT หรือเหตุการณ์ที่ไม่รุนแรงเท่า ระบบจะแทรกเฟรมอ้างอิงเต็ม ทำให้ทุ่มงบการคำนวณที่มีอยู่ไปยังข้อมูลภาพสำคัญได้มากขึ้น แทนการกระจายเท่า ๆ กันตลอดทั้งวิดีโอ

ข้อมูลและการทดสอบ

นักวิจัยใช้ Qwen3-VL-8B ที่กล่าวถึงเป็นโมเดลฐาน แล้วประเมิน AdaCodec ในเกณฑ์ทดสอบสิบเอ็ดชุดที่ครอบคลุมสามด้านของความเข้าใจวิดีโอ: ประสิทธิภาพของวิดีโอยาว ใช้ MLVU, LongVideoBench และ LVBench; ความเข้าใจเชิงเวลา ใช้ TempCompass, MotionBench และ TOMATO; ความเข้าใจวิดีโอทั่วไป ใช้ Video-MME, MVBench, NExT-QA, PerceptionTest และ EgoSchema

โมเดลโอเพนซอร์สที่ทดสอบ ได้แก่ InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B และ Molmo2-O-7B

GPT-5, Gemini และ Claude รุ่นต่าง ๆ อยู่ในตารางด้านล่างเพื่อเป็นฐานเปรียบเทียบเท่านั้น CoPE-VideoLM-7B และ ReMoRa-7B เป็นโมเดลภาษาวิดีโอก่อนหน้านี้ที่ลดโทเค็นภาพด้วยการบีบอัดซึ่งได้แนวคิดจากตัวเข้ารหัสและถอดรหัส จึงเป็นคู่แข่งโดยตรงที่ใกล้เคียงที่สุดของ AdaCodec:

ผลลัพธ์หลักจากสิบเอ็ดเกณฑ์ทดสอบด้านการเข้าใจวิดีโอยาว การให้เหตุผลเชิงเวลา และการเข้าใจวิดีโอทั่วไป คะแนนสูงกว่าหมายถึงผลดีกว่า LVB = LongVideoBench; V-MME = Video-MME ตัวหนาและขีดเส้นใต้แสดงคะแนนสูงสุดและอันดับสองในกลุ่มโมเดลโอเพนซอร์สตามลำดับ คะแนนโมเดลปิดนำจากรายงานทางการเมื่อมี ส่วนผลที่ขาดหายมาจาก Molmo2 หรือการประเมินโดยผู้เขียน

เพื่อเปรียบเทียบอย่างยุติธรรม AdaCodec และระบบ Qwen3-VL-8B มาตรฐานได้รับโทเค็นภาพจำนวนเท่ากัน ผลจึงสะท้อนประสิทธิผลของวิธีบีบอัด ไม่ใช่ความต่างของทรัพยากรคำนวณ

เมื่อตั้งค่าการบีบอัดสูงสุด AdaCodec ลดการใช้โทเค็นภาพลงประมาณ 86% ขณะยังทำได้เทียบเท่าหรือดีกว่าระบบฐานเล็กน้อยในงานวิดีโอยาว ความเข้าใจเชิงเวลา และความเข้าใจวิดีโอทั่วไป

เมื่อนำโทเค็นที่ประหยัดได้ไปประมวลผลเฟรมเพิ่ม ประสิทธิภาพดีขึ้นในเกณฑ์ทดสอบวิดีโอยาวทุกชุดและเกณฑ์ทดสอบเชิงเวลาทุกชุด โดย LongVideoBench เพิ่มขึ้น +5.4 คะแนน และ TOMATO เพิ่มขึ้น +4.3 คะแนน เป็นผลลัพธ์ของโมเดลโอเพนซอร์สที่ดีที่สุดบางส่วนในการศึกษานี้

สรุป

แม้โครงการลักษณะนี้มักมุ่งไปที่ผู้ให้บริการระดับไฮเปอร์สเกล งานวิจัยเช่นนี้ก็จะดึงดูดผู้ใช้ที่ทำเป็นงานอดิเรกและธุรกิจขนาดเล็กและกลางด้วย โดยอาจเป็นส่วนหนึ่งของกระแสความประหยัดแบบเปิดเผยใหม่ในการนำ AI มาใช้ภายในเครื่องอย่างสมเหตุสมผลขึ้น

ในชุมชนอย่าง r/stablediffusion นี่เป็นแนวปฏิบัติที่รู้จักกันมานาน โมเดลโอเพนซอร์สสำคัญทุกรุ่นที่ออกมามักถูกปรับแต่งอย่างหนักให้เป็นรุ่นที่มีประสิทธิภาพสูงมาก เช่น GGUF และน้ำหนักโมเดลที่ผ่านการควอนไทซ์ และอื่น ๆ ซึ่งทำงานบนการ์ดกราฟิกระดับล่างกว่าได้หากยอมอดทนรอสักหน่อย

หากช่วงอวดศักยภาพของกระแส AI ครั้งที่สาม นี้ สิ้นสุดลงแล้วจริง ๆ และสมมติว่าบริษัทต่าง ๆ จะถอยหนีเพราะ ต้นทุนจริงของการอนุมาน แนวทางอย่าง AdaCodec ก็อาจเป็นส่วนหนึ่งของ “การปรับประสิทธิภาพครั้งใหญ่” ที่กำลังมา

^† นี่ไม่ใช่การส่งออกวิดีโอขั้นสุดท้ายเป็นรูปแบบและขนาดไฟล์ที่ใช้งานสะดวก แต่เป็นการสร้างและรวบรวมเฟรมภายในโมเดล AI ระหว่างการอนุมาน

* ผู้เขียนบทความได้แปลงการอ้างอิงในเนื้อหาของผู้วิจัยเป็นไฮเปอร์ลิงก์ในขอบเขตที่สมเหตุสมผล

เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 4 มิถุนายน 2026