ค้นหาอาร์ไอที่สามารถติดตามภาพยนตร์เรื่องหนึ่งได้ทั้งหมด

แบบจำลอง AI ยังคงสูญเสียการติดตามใครเป็นใครและสิ่งที่เกิดขึ้นในภาพยนตร์ ระบบใหม่จัดทำการรับรู้ใบหน้าและสรุปการแสดงออกที่จัดทำขึ้น ทำให้ตัวละครตรงตามความต้องการและเรื่องราวสอดคล้องกันตลอดภาพยนตร์เรื่องยาว

การทำให้ปัญญาประดิษฐ์สามารถดูและเข้าใจภาพยนตร์แบบฮอลลีวูดอาจดูเหมือนเป็นความพยายามที่ไม่สำคัญหรือไม่เกี่ยวข้อง แต่ระบบที่สามารถดูภาพยนตร์เรื่องยาวตั้งแต่ต้นจนจบ ติดตามความก้าวหน้าของตัวละครทั้งหมด และยังคงตามเรื่องราวได้ ไม่เพียงแต่ทำให้สามารถใช้งานได้จริง แต่ยังช่วยให้สามารถแก้ไขปัญหาได้หลายด้าน

ผลลัพธ์ที่ดีที่สุดสำหรับแบบจำลอง AI ที่ดูภาพยนตร์คือระบบแนะนำในแพลตฟอร์มสตรีมมิ่ง เช่น Netflix, Amazon Prime และ HBO Max การเข้าใจเรื่องราวและความเคลื่อนไหวของตัวละครอย่างละเอียดช่วยให้สามารถจับคู่กับความชอบและความสนใจของผู้ชมได้ดีขึ้น

นอกจากนี้ การเข้าใจภาพยนตร์อย่างลึกซึ้งยังช่วยให้สามารถสร้างคำสำคัญและจัดหมวดหมู่ได้อย่างแม่นยำ ไม่ใช่แค่คัดลอกคำอธิบายภาพยนตร์ที่อาจเขียนขึ้นเมื่อหลายสิบปีที่แล้ว ข้อมูลเช่นนี้ยังสามารถช่วยให้ทราบถึงการมีอยู่ของ ‘หัวข้อสำหรับผู้ใหญ่’ ในภาพยนตร์ที่อาจไม่เห็นได้ชัดเจนจากบทสนทนาหรือภาพ

นอกจากนี้ ยังมีภาพยนตร์เก่าในแค็ตตาล็อกที่อาจมีเรตติ้งและคำอธิบายที่ล้าสมัย ตัวอย่างเช่น ภาษาและสำนวนที่ใช้ในภาพยนตร์ปี 1950 อาจต้องได้รับการพิจารณาใหม่ในปัจจุบัน แต่หากไม่มีการเข้าใจบริบทที่แท้จริงจากการดูเรื่องราวที่ยาวนาน การเน้นหรือไม่เน้นเรื่องราวอาจไม่ถูกต้อง

โดยทั่วไป การวิเคราะห์ภาพยนตร์ที่ดีขึ้นสามารถช่วยแก้ปัญหาในการรับรู้เหตุการณ์ได้ ซึ่งเป็นสิ่งจำเป็นสำหรับการพัฒนาการตรวจสอบความปลอดภัย การแสดงข้อมูลกีฬาแบบอัตโนมัติ และสรุปข้อมูลทุกประเภท

ดังนั้น ‘การดูภาพยนตร์ด้วย AI’ จึงเป็นแนวคิดที่ได้รับความนิยมอย่างไม่คาดคิดในวรรณกรรมด้านการมองเห็นของคอมพิวเตอร์

การมองเห็นภาพใหญ่

ผู้เข้าร่วมล่าสุดคือ MovieTeller – การร่วมมือระหว่างสถาบันวิจัยและอุตสาหกรรมจากประเทศจีน ซึ่งสร้างความก้าวหน้าใหม่โดยการแบ่งงานย่อยออกเป็นหลายส่วน และมอบหมายให้ AI แต่ละแบบจัดการกับงานย่อยที่เหมาะสมแทนการฝึกแบบจำลองที่แยกจากกันเพื่อจัดการกับทุกงาน

ผู้เขียนสังเกตเห็นว่าแบบจำลอง VLM ที่ผ่านมาไม่สามารถก้าวหน้าได้มากนักในการวิเคราะห์เฟรมเดียว และการขาดบริบททำให้แบบจำลองเหล่านี้ยากที่จะยืนยันตัวตนของตัวละครอย่างต่อเนื่อง ซึ่งเป็นลักษณะที่สำคัญที่สุดของระบบดังกล่าว

ระบบใหม่ MovieTeller สามารถยืนยันตัวตนของบุคคลในฉากได้ เนื่องจากใช้ระบบการรับรู้ใบหน้าแบบเฉพาะเจาะจง แต่สิ่งที่ทำให้โครงสร้างนี้สามารถติดตามเรื่องราวได้คือการอุทิศให้กับบริบท แหล่งที่มา

ผู้เขียนระบุว่า:

‘แบบจำลอง VLM ทั่วไปมักจะสูญเสียการติดตามตัวละครเฉพาะเจาะจงตลอดเรื่องราวที่ยาวนาน พวกเขาอาจอธิบายตัวเอกหลักเป็น “ชายคนหนึ่ง” ในฉากหนึ่งและ “บุคคล” ในอีกฉากหนึ่ง โดยไม่สามารถผูกตัวตนของตัวละครเข้ากับชื่อที่สอดคล้องกัน’

ผู้เขียนชี้ว่าเนื่องจากกลไกการให้ความสนใจตนเองของ Transformer ใช้ความซับซ้อนแบบทวีคูณ การประมวลผลเฟรมทุกเฟรมของภาพยนตร์เรื่องยาวในครั้งเดียวจึงมีค่าใช้จ่ายในการคำนวณมากเกินไป ดังนั้นแนวทางที่พึ่งพาการตัวอย่างเฟรมแบบสม่ำเสมอหรือการเชื่อมต่อแบบง่ายๆ มักจะทำให้เรื่องราวแตกออกเป็นผลสรุปที่ไม่สอดคล้องกัน

แทนการนั้น ระบบใหม่นี้ประกอบด้วยการฝึกอบรมที่ไม่ต้องใช้ข้อมูลและเครื่องมือที่อุทิศให้กับการรับรู้ใบหน้าและการรักษาความทรงจำ (เมื่อตัวละครออกและเข้าเรื่องราวของภาพยนตร์)

MovieTeller ถูกทดสอบกับแนวทางก่อนหน้านี้โดยใช้ภาพยนตร์เรื่องยาว 60 เรื่อง ซึ่งเทียบเท่ากับ 10,000 นาทีของวิดีโอ ในการทดสอบการลบส่วนและศึกษาด้วยมนุษย์ ผู้เขียนรายงานว่าแนวทางของพวกเขาสามารถปรับปรุงได้มากเมื่อเทียบกับสภาพแวดล้อมและสมมติฐานที่ใช้กันโดยทั่วไปในระบบก่อนหน้า

เอกสารวิจัยใหม่ ชื่อ MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction มาจากผู้เขียนห้าคนจากมหาวิทยาลัยเจ้อเจียงที่หางโจว กลุ่มสื่อของประเทศจีน และ Watch AI Group* (ทั้งสองอยู่ที่ปักกิ่ง)

วิธีการ

โครงสร้างของ MovieTeller ประกอบด้วยสามขั้นตอน: การแบ่งฉากและการคัดเลือกเฟรมหลัก ซึ่งจัดการผ่าน PySceneDetect การสร้างคำอธิบายฉากที่มีพื้นฐานมาจากข้อเท็จจริงผ่านการปรับแต่ง Qwen2.5-VL-7B-Instruct VLM และ การสรุปแบบก้าวหน้า ซึ่งย่อคำอธิบายฉากที่มีรายละเอียดเป็นสรุปบทและสรุปเรื่องราวที่สอดคล้องกัน

ภาพรวมของโครงสร้าง MovieTeller: ภาพยนตร์เรื่องยาวถูกแบ่งออกเป็นฉากและย่อเป็นเฟรมหลักที่มีคุณภาพสูง จากนั้นเครื่องมือการรับรู้ใบหน้าแบบภายนอกจะฉีดข้อมูลที่มีพื้นฐานมาจากข้อเท็จจริง โดยเชื่อมโยงชื่อตัวละครกับกล่องที่ล้อมรอบ ซึ่งนำไปสู่ VLM ในการสร้างคำอธิบายฉากที่สอดคล้องกับตัวตน

ขั้นตอนแรกใช้ PySceneDetect เพื่อแบ่งภาพยนตร์ออกเป็นฉากที่แยกจากกันตามการเปลี่ยนแปลงภาพที่ชัดเจน โดยแต่ละฉากจะถูกแทนที่ด้วยเฟรมหลักเพียงเฟรมเดียว

อย่างไรก็ตาม ไม่ทุกเฟรมที่จะทำให้สรุปภาพที่ดี เนื่องจากช่วงการเปลี่ยนภาพ ลดความเข้ม และเฟรมที่มีแสงจ้าสามารถทำให้การวิเคราะห์หลังๆ สับสนได้ ดังนั้นการตรวจสอบคุณภาพแบบง่ายๆ จะทำการกรองเฟรมที่มีศักยภาพโดยการวัดความสว่างและความแปรผันของภาพ เพื่อให้แน่ใจว่าเฉพาะภาพที่มีข้อมูลเท่านั้นที่ถูกเลือกสำหรับการอธิบาย

การวางใบหน้า

ฐานข้อมูลใบหน้าถูกสร้างขึ้นจากข้อมูลนักแสดงสาธารณะ โดยเก็บชื่อของตัวละครหลักพร้อมกับ การฝังตัว ของใบหน้า เมื่อใบหน้าปรากฏในเฟรมหลัก การฝังตัวของใบหน้าจะถูกจับคู่กับฐานข้อมูล และผลลัพธ์ที่ใกล้เคียงที่สุดจะถูกยอมรับหากมันผ่านเกณฑ์ความมั่นใจ

สำหรับวัตถุประสงค์นี้ InsightFace ถูกใช้ โดยใช้ ArcFace ที่มีพื้นฐานมาจากความสูญเสียการรับรู้

สองใบหน้าที่คุ้นเคยที่ถูกจดจำได้ดีโดยการขาดการเพิ่มมุม (ArcFace) ซึ่งใช้ในโครงการ MovieTeller ในลักษณะที่คล้ายคลึงกัน แหล่งที่มา

เฟรมหลักที่มีคำอธิบายถูกส่งไปยังโมเดล Qwen พร้อมคำสั่งซึ่งแสดงรายชื่อตัวละครที่ตรวจพบและตำแหน่งของพวกเขา:

เนื่องจาก VLM ไม่สามารถดูดซับภาพยนตร์เรื่องยาวทั้งหมดในครั้งเดียว MovieTeller จึงแบ่งวัสดุออกเป็นคำอธิบายฉาก ซึ่งถูกจัดกลุ่มเป็นบล็อกที่ต่อเนื่องกันและถูกส่งไปยัง Qwen2.5 เพื่อสรุปแต่ละบล็อก โดยการบีบอัดพัฒนาการของเรื่องราว ความเคลื่อนไหวของตัวละคร และจุดเปลี่ยนสำคัญ ในขณะที่ยังคงรักษาชื่อตัวละครที่ยืนยันไว้แล้ว

สรุปของบล็อกเหล่านั้นถูกนำมารวมกันและส่งกลับไปยังโมเดลพร้อมคำสั่งใหม่ที่ขอสรุปเรื่องราวทั้งหมด:

แบบจำลองคำสั่งสำหรับการสร้างคำอธิบายเฟรม ซึ่งฉีดชื่อตัวละครและกล่องที่ล้อมรอบที่ยืนยันไว้เพื่อจำกัด VLM และบังคับให้เล่าเรื่องที่สอดคล้องกับตัวตน

สมมติว่ากระบวนการนี้สำเร็จ ผลลัพธ์สุดท้ายควรสะท้อนถึงโครงเรื่องของภาพยนตร์อย่างสอดคล้อง ซึ่งเป็นงานที่ยากมากในการเรียนรู้ของเครื่อง เนื่องจากความหลากหลายของสรุปเรื่องราวที่เป็นไปได้ และรูปแบบที่พวกมันอาจนำเสนอ รวมถึงความยาวที่จำเป็นของจุดข้อมูลเหล่านี้ ทำให้ไม่สามารถใช้วิธีการพื้นฐานเช่น ROUGE และ BLEU ได้

ข้อมูลและการทดสอบ

เพื่อทดสอบระบบ ผู้เขียนรวบรวมชุดข้อมูลที่ไม่มีการอ้างอิงซึ่งประกอบด้วยภาพยนตร์เรื่องยาว 100 เรื่อง ซึ่งเทียบเท่ากับ 166 ชั่วโมงในการเล่นวิดีโอ ภาพยนตร์เหล่านี้รวม Iron Man 3, จบแล้ว我的歌姬, 吃喝男人 และ เรื่องราวของนาร์เนีย ผู้วิจัยต้องการให้ภาพยนตร์ทั้งหมดมีคะแนนมากกว่า 5.0 ใน IMDB:

การแบ่งชุดข้อมูลทั่ว 100 เรื่อง โดยแสดงถึงการครอบคลุมระยะเวลาที่สมดุลตั้งแต่ปี 1992 ถึง 2025 ชื่อเรื่องที่ไม่ใช่ภาษาอังกฤษเป็นส่วนใหญ่ และการกระจายประเภทที่นำโดยดราม่าและแอ็คชั่น โดยมีตัวแทนในแนววิทยาศาสตร์ การ恐怖 ผจญภัย โรแมนติก และประวัติศาสตร์

การกระจายประเภทที่กว้างขวางนี้ได้รับการออกแบบมาเพื่อป้องกันการเอนเอียงไปสู่ประเภทใดประเภทหนึ่ง

ฐานข้อมูลใบหน้าสำหรับภาพยนตร์แต่ละเรื่องประกอบด้วยรูปภาพสองรูปของนักแสดงหลัก – หนึ่งรูปจากภาพนิ่งและอีกรูปหนึ่งจากภาพถ่ายประชาสัมพันธ์ที่เกี่ยวข้อง

การทดสอบถูกนำไปใช้โดยใช้ Python และรันบน GPU NVIDIA A40 สี่ตัว แต่ละตัวมี VRAM 48GB โดยใช้ Qwen2.5 เป็น VLM หลัก การศึกษาการลบส่วน^†† ยังถูกดำเนินการด้วยโมเดลร่วมสมัยอื่นๆ เช่น InternVL3-8B และ WeThink-Qwen2.5VL-7B

โครงสร้างใหม่นี้ถูกทดสอบกับสองรูปแบบการลบส่วน^††: รูปแบบ ไม่มีการให้คำใบ้ ซึ่ง VLM สร้างคำอธิบายฉากจากเฟรมหลักโดยไม่มีคำใบ้ใดๆ เกี่ยวกับตัวตนของตัวละคร และรูปแบบ ชื่อเพียงอย่างเดียว ซึ่งโมเดลได้รับชื่อตัวละครที่ตรวจพบ แต่ไม่ได้รับกล่องที่ล้อมรอบ ทำให้ผู้เขียนสามารถแยกความมีส่วนร่วมเฉพาะของการยึดมั่นในพื้นที่ต่อความสอดคล้องกันตัวตนและความสอดคล้องของเรื่องราว

ในแง่ของเมตริก เนื่องจากความยากในการใช้วิธีการพื้นฐานเช่น ROUGE และ BLEU สำหรับการสรุปเรื่องราวที่ยาว การใช้ BERTScore พร้อมคะแนน F1 ถูกนำมาใช้เพื่อวัดความคล้ายคลึงกันทางภาษาเมื่อเทียบกับสรุปเรื่องราวอ้างอิงที่ดึงมาจาก ‘พจนานุกรมสาธารณะ’

นอกจากนี้ Gemini 2.5 Flash ยังถูกใช้เพื่อประเมินสรุปเรื่องราวแต่ละเรื่องสำหรับความซื่อสัตย์ต่อข้อเท็จจริง ความสอดคล้องกันตัวตน ความสมบูรณ์ ความสอดคล้องของเรื่องราว และความกระชับ โดยเฉลี่ยคะแนนเหล่านี้ทั่วทั้งขนาด

สุดท้าย การประเมินของมนุษย์สำหรับสรุปเรื่องราว 50 เรื่องที่เลือกแบบสุ่มถูกดำเนินการโดยใช้การเปรียบเทียบแบบคู่ โดยให้ผู้เข้าร่วมเลือกสรุปเรื่องราวที่ดีที่สุด:

<img class=" wp-image-287300" src="https://www.unite.ai/wp-content/uploads/2026/02/table-1-4.jpg" alt="อัตราความนิยมของสรุปเรื่องราวที่ถูกเลือกมากที่สุดในสามรูปแบบสำหรับโมเดลหลักสามแบบ โดยแสดงให้เห็นว่าสรุปเรื่องราวที่ถูกยึดมั่นอย่างสมบูรณ์ของ MovieTeller ถูกเลือกบ่อยที่สุด และมีประสิทธิภาพเหนือกว่ารูปแบบ ไม่มีการให้คำใบ้ และ ชื่อเพียงอย่างเดียว อย่างมีนัยสำคัญ” width=”618″ height=”131″ /> อัตราความนิยมของสรุปเรื่องราวที่ถูกเลือกมากที่สุดในสามรูปแบบสำหรับโมเดลหลักสามแบบ โดยแสดงให้เห็นว่าสรุปเรื่องราวที่ถูกยึดมั่นอย่างสมบูรณ์ของ MovieTeller ถูกเลือกบ่อยที่สุด และมีประสิทธิภาพเหนือกว่ารูปแบบ ไม่มีการให้คำใบ้ และ ชื่อเพียงอย่างเดียว อย่างมีนัยสำคัญ

สุดท้าย การทดสอบคุณภาพแบบคualitative ถูกดำเนินการกับภาพยนตร์ The Bullet Vanishes (2012):

เราไม่สามารถนำภาพนี้มาจากเอกสารต้นฉบับได้ เนื่องจากมีขนาดใหญ่และหนาแน่นด้วยข้อความ กรุณาเยี่ยมชมเอกสารต้นฉบับแทน

ที่นี่ รูปแบบ ไม่มีการให้คำใบ้ สร้างสรุปเรื่องราวที่คลุมเครือซึ่งอธิบายตัวละครในแง่ของทั่วไปและทำให้เรื่องราวยากต่อการตาม dõi การให้เพียงชื่อตัวละครเพียงอย่างเดียวจะปรับปรุงความจำที่ผิวเผิน แต่เรื่องราวยังคงเบี่ยงเบนไปจากความสัมพันธ์และแรงจูงใจของตัวละคร

ในทางกลับกัน รูปแบบ MovieTeller ที่ถูกยึดมั่นอย่างสมบูรณ์จะรักษาตัวตนของตัวละครไว้ตลอดสรุปเรื่องราวและเชื่อมโยงการกระทำกับตัวละครที่ถูกต้อง ทำให้การสอบสวนเรื่องราวสามารถพัฒนาต่อไปด้วยโครงเรื่องที่ชัดเจนยิ่งขึ้น ความตึงเครียดและพลวัตของบทบาทที่เฉพาะเจาะจงจะถูกเก็บไว้แทนที่จะถูกทำให้แบนราบ ทำให้สรุปเรื่องราวอ่านได้เหมือนเรื่องราวที่เล่าขานมาอย่างมีเหตุผล

สรุป

แม้ว่าโครงการใหม่ๆ ส่วนใหญ่จะเข้าสู่วรรณกรรมด้านการมองเห็นของคอมพิวเตอร์ แต่การสรุปภาพยนตร์ด้วย AI ครอบคลุมหลายสาขาและโดเมนในการวิจัยการเรียนรู้ของเครื่อง และยากที่จะคาดเดาว่าสาขาเหล่านั้นจะช่วยให้พบกับชิ้นส่วนที่หายไปของปัญหา แม้ว่า MovieTeller จะก้าวไปในทิศทางที่ถูกต้องโดยการแบ่งงานออกเป็นโมดูลที่เหมาะสมแทนการพยายามแก้ปัญหาให้เสร็จสิ้นในพื้นที่ 잠บัง แต่ก็ยังคงรู้สึกเหมือนเป็นชิ้นส่วนที่ถูกเชื่อมเข้าด้วยกัน ซึ่งมักจะก่อนที่จะมีคำตอบที่สวยงามกว่าในภายหลัง

 

* ฉันไม่สามารถระบุสถาบันนี้ได้ แม้หลังจากการค้นหาบางอย่าง

^† เราอาจคาดหวังว่ามันจะเป็น IMDB หรือ OMDB แต่แหล่งที่มาไม่ได้ระบุ

^†† กรุณาเยี่ยมชมเอกสารต้นฉบับสำหรับการศึกษาการลบส่วนอย่างครอบคลุม เนื่องจากเราพิจารณาการลบส่วนเต็มเพียงในกรณีพิเศษ ฉันจะทราบว่าการศึกษาการลบส่วนที่ไม่ได้รับการรักษาไว้ซึ่งอ้างถึงที่นี่ไม่ทำให้ผลการวิจัยทั่วไปของเอกสารเสื่อมลง

เผยแพร่ครั้งแรกวันศุกร์ที่ 27 กุมภาพันธ์ 2026