มุมมองของ Anderson

ค้นหา AI ที่สามารถติดตามภาพยนตร์ทั้งเรื่องได้

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
AI-generated illustration (GPT-1.5) depicting a POV of a Steenbeck flatbed editing table as robot hands examine celluloid footage of a love scene from an old movie.
ประเด็นสำคัญMovieTeller ใช้การจดจำใบหน้าที่เฉพาะเจาะจงและการสรุปเนื้อหาแบบแบ่งช่วง…
ดูเพิ่มเติม
  • MovieTeller ใช้การจดจำใบหน้าที่เฉพาะเจาะจงและการสรุปเนื้อหาแบบแบ่งช่วง เพื่อติดตามตัวละครตลอดทั้งภาพยนตร์
  • ระบบที่มีกระบวนการที่ออกแบบมาอย่างดีนี้ ก้าวข้ามขีดจำกัดของ Transformer โดยการแบ่งภาพยนตร์ออกเป็นฉากและบท
  • การประเมินโดยมนุษย์แสดงให้เห็นว่าการระบุตัวตนตัวละครที่มีหลักฐานสนับสนุน สร้างเรื่องราวที่มีความเชื่อมโยงมากกว่าวิธีการที่ใช้เพียงชื่อหรือไม่ให้คำใบ้ใดๆ

แบบจำลอง AI ยังคงสูญเสียการติดตามใครเป็นใครและสิ่งที่เกิดขึ้นในภาพยนตร์ ระบบใหม่ประสานการรู้จำใบหน้ากับการสรุปแบบเป็นขั้นตอน ทำให้ระบุตัวละครได้อย่างถูกต้องและเรื่องราวสอดคล้องกันตลอดภาพยนตร์เรื่องยาว

 

การทำให้ปัญญาประดิษฐ์สามารถดูและเข้าใจภาพยนตร์แบบฮอลลีวูดอาจดูเหมือนเป็นความพยายามที่ไม่สำคัญหรือไม่เกี่ยวข้อง แต่ระบบที่สามารถดูภาพยนตร์เรื่องยาวตั้งแต่ต้นจนจบ ติดตามความก้าวหน้าของตัวละครทั้งหมด และยังคงตามเรื่องราวได้ ไม่เพียงแต่ทำให้สามารถใช้งานได้จริง แต่ยังช่วยให้สามารถแก้ไขปัญหาได้หลายด้าน

โอกาสในการใช้งานที่เห็นได้ชัดสำหรับแบบจำลอง AI ที่ดูภาพยนตร์คือระบบแนะนำในแพลตฟอร์มสตรีมมิ่ง เช่น Netflix, Amazon Prime และ HBO Max การเข้าใจเรื่องราวและความเคลื่อนไหวของตัวละครอย่างละเอียดช่วยให้สามารถจับคู่กับความชอบและความสนใจของผู้ชมได้ดีขึ้น

นอกจากนี้ การเข้าใจภาพยนตร์อย่างลึกซึ้งยังช่วยให้สามารถสร้างคำสำคัญและจัดหมวดหมู่ได้อย่างแม่นยำ ไม่ใช่แค่คัดลอกคำอธิบายภาพยนตร์ที่อาจเขียนขึ้นเมื่อหลายสิบปีที่แล้ว ข้อมูลเช่นนี้ยังสามารถช่วยให้ทราบถึงการมีอยู่ของ ‘หัวข้อสำหรับผู้ใหญ่’ ในภาพยนตร์ที่อาจไม่เห็นได้ชัดเจนจากบทสนทนาหรือภาพ

นอกจากนี้ ยังมีภาพยนตร์เก่าในแค็ตตาล็อกที่อาจมีเรตติ้งและคำอธิบายที่ล้าสมัย ตัวอย่างเช่น ภาษาและสำนวนที่ใช้ในภาพยนตร์ในทศวรรษ 1950 อาจต้องได้รับความสนใจมากขึ้นอย่างมากในปัจจุบัน แต่หากไม่มีการเข้าใจบริบทที่แท้จริงจากการดูเรื่องราวที่ยาวนาน การเน้นหรือไม่เน้นเรื่องราวอาจไม่ถูกต้อง

โดยทั่วไป การวิเคราะห์ภาพยนตร์ที่ดีขึ้นสามารถช่วยแก้ปัญหาในการรู้จำเหตุการณ์ได้ ซึ่งเป็นสิ่งจำเป็นสำหรับการพัฒนาการตรวจสอบความปลอดภัย การบรรยายกีฬาอัตโนมัติ และสรุปข้อมูลทุกประเภท

ดังนั้น ‘การดูภาพยนตร์ด้วย AI’ จึงเป็นแนวคิดที่ได้รับความนิยมอย่างไม่คาดคิดในวรรณกรรมด้านการมองเห็นของคอมพิวเตอร์

การมองเห็นภาพใหญ่

ผู้เข้าร่วมล่าสุดคือ MovieTeller – การร่วมมือระหว่างสถาบันวิจัยและอุตสาหกรรมจากประเทศจีน ซึ่งสร้างความก้าวหน้าใหม่โดยการแบ่งงานย่อยออกเป็นหลายส่วน และมอบหมายให้ AI แต่ละแบบจัดการกับงานย่อยที่เหมาะสมแทนที่จะฝึกแบบจำลองที่แยกและปิดอยู่ในตัวเองให้จัดการทุกงานจากปริภูมิแฝงเดียว

ผู้เขียนสังเกตเห็นว่าแบบจำลองการมองเห็นและภาษา (VLM) ที่ผ่านมาไม่สามารถก้าวหน้าได้มากนักในการวิเคราะห์เฟรมเดียว และการขาดบริบททำให้แบบจำลองเหล่านี้ยากที่จะยืนยันตัวตนของตัวละครอย่างต่อเนื่อง ซึ่งเป็นลักษณะที่สำคัญที่สุดของระบบดังกล่าว

MovieTeller ระบุตัวบุคคลในฉากได้อย่างต่อเนื่องด้วยระบบรู้จำใบหน้าเฉพาะทาง แต่การให้ความสำคัญกับบริบทในภาพรวมคือสิ่งที่ช่วยให้กรอบการทำงานติดตามพัฒนาการของเรื่องราวได้ แหล่งที่มา - https://arxiv.org/pdf/2602.23228

MovieTeller ระบุตัวบุคคลในฉากได้อย่างต่อเนื่องด้วยระบบรู้จำใบหน้าเฉพาะทาง แต่การให้ความสำคัญกับบริบทในภาพรวมคือสิ่งที่ช่วยให้กรอบการทำงานติดตามพัฒนาการของเรื่องราวได้ แหล่งที่มา

ผู้เขียนระบุว่า:

‘แบบจำลอง VLM ทั่วไปมักจะสูญเสียการติดตามตัวละครเฉพาะเจาะจงตลอดเรื่องราวที่ยาวนาน พวกเขาอาจอธิบายตัวเอกหลักเป็น “ชายคนหนึ่ง” ในฉากหนึ่งและ “บุคคล” ในอีกฉากหนึ่ง โดยไม่สามารถเชื่อมภาพที่เห็นเข้ากับอัตลักษณ์ที่คงเส้นคงวา’

ผู้เขียนชี้ว่าเนื่องจากกลไกการให้ความสนใจตนเองของTransformer มีความซับซ้อนกำลังสอง การประมวลผลเฟรมทุกเฟรมของภาพยนตร์เรื่องยาวในครั้งเดียวจึงมีค่าใช้จ่ายในการคำนวณมากเกินไป ดังนั้นแนวทางที่พึ่งพาการตัวอย่างเฟรมแบบสม่ำเสมอหรือการเชื่อมต่อแบบง่ายๆ มักจะทำให้เรื่องราวแตกออกเป็นผลสรุปที่ไม่สอดคล้องกัน

แทนการนั้น ระบบใหม่นี้ประกอบด้วยกระบวนการที่ประสานงานกันโดยไม่ต้องฝึกเพิ่มเติม พร้อมเครื่องมือเฉพาะสำหรับการรับรู้ใบหน้าและการรักษาความทรงจำ (เมื่อตัวละครออกและเข้าเรื่องราวของภาพยนตร์)

MovieTeller ถูกทดสอบกับแนวทางก่อนหน้านี้โดยใช้ภาพยนตร์เรื่องยาว 60 เรื่อง ซึ่งเทียบเท่ากับ 10,000 นาทีของวิดีโอ ในการทดสอบการลบส่วนและศึกษาด้วยมนุษย์ ผู้เขียนรายงานว่าแนวทางของพวกเขาสามารถปรับปรุงได้มากเมื่อเทียบกับสภาพแวดล้อมและสมมติฐานที่ใช้กันโดยทั่วไปในระบบก่อนหน้า

เอกสารวิจัยใหม่ ชื่อ MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction มาจากผู้เขียนห้าคนจากมหาวิทยาลัยเจ้อเจียงที่หางโจว กลุ่มสื่อของประเทศจีน และ Watch AI Group* (สองหน่วยงานหลังอยู่ที่ปักกิ่ง)

วิธีการ

โครงสร้างของ MovieTeller ประกอบด้วยสามขั้นตอน: การแบ่งฉากและการคัดเลือกเฟรมหลัก ซึ่งจัดการผ่าน PySceneDetect การสร้างคำอธิบายฉากที่มีพื้นฐานมาจากข้อเท็จจริงผ่านการปรับแต่ง Qwen2.5-VL-7B-Instruct VLM และ การสรุปแบบก้าวหน้า ซึ่งย่อคำอธิบายฉากที่มีรายละเอียดเป็นสรุปแต่ละบท แล้วรวมเป็นเรื่องย่อสุดท้ายที่สอดคล้องกัน โดยขั้นตอนนี้ใช้โมเดล Qwen2.5 เช่นกัน

ภาพรวม MovieTeller: ภาพยนตร์เรื่องยาวถูกแบ่งเป็นฉากและคัดเป็นเฟรมหลักคุณภาพสูง จากนั้นเครื่องมือรู้จำใบหน้าภายนอกเพิ่มข้อมูลอ้างอิงเชิงข้อเท็จจริง โดยเชื่อมชื่อตัวละครเข้ากับกรอบล้อมเพื่อชี้นำแบบจำลองการมองเห็นและภาษาให้สร้างคำอธิบายฉากที่รักษาอัตลักษณ์ของตัวละคร คำอธิบายเหล่านี้ถูกย่อเป็นสรุปแต่ละบทตามลำดับ แล้วรวมเป็นเรื่องย่อสุดท้ายที่สอดคล้องกัน

ภาพรวม MovieTeller: ภาพยนตร์เรื่องยาวถูกแบ่งเป็นฉากและคัดเป็นเฟรมหลักคุณภาพสูง จากนั้นเครื่องมือรู้จำใบหน้าภายนอกเพิ่มข้อมูลอ้างอิงเชิงข้อเท็จจริง โดยเชื่อมชื่อตัวละครเข้ากับกรอบล้อมเพื่อชี้นำแบบจำลองการมองเห็นและภาษาให้สร้างคำอธิบายฉากที่รักษาอัตลักษณ์ของตัวละคร คำอธิบายเหล่านี้ถูกย่อเป็นสรุปแต่ละบทตามลำดับ แล้วรวมเป็นเรื่องย่อสุดท้ายที่สอดคล้องกัน

ขั้นตอนแรกใช้ PySceneDetect เพื่อแบ่งภาพยนตร์ออกเป็นฉากที่แยกจากกันตามการเปลี่ยนแปลงภาพที่ชัดเจน โดยแต่ละฉากจะถูกแทนที่ด้วยเฟรมหลักเพียงเฟรมเดียว

อย่างไรก็ตาม ไม่ทุกเฟรมที่จะทำให้สรุปภาพที่ดี เนื่องจากช่วงการเปลี่ยนภาพ ลดความเข้ม และเฟรมมืดสามารถทำให้การวิเคราะห์หลังๆ สับสนได้ ดังนั้นการตรวจสอบคุณภาพแบบง่ายๆ จะทำการกรองเฟรมที่มีศักยภาพโดยการวัดความสว่างและความแปรผันของภาพ เพื่อให้แน่ใจว่าเฉพาะภาพที่มีข้อมูลเท่านั้นที่ถูกเลือกสำหรับการอธิบาย

การวางใบหน้า

ฐานข้อมูลใบหน้าถูกสร้างขึ้นจากข้อมูลนักแสดงที่เปิดเผยต่อสาธารณะ† โดยเก็บชื่อของตัวละครหลักพร้อมกับ การฝังตัวเชิงตัวเลขของใบหน้า เมื่อใบหน้าปรากฏในเฟรมหลัก การฝังตัวของใบหน้าจะถูกจับคู่กับฐานข้อมูล และผลลัพธ์ที่ใกล้เคียงที่สุดจะถูกยอมรับหากมันผ่านเกณฑ์ความมั่นใจ จึงเกิดข้อมูลอ้างอิงเชิงข้อเท็จจริงที่เชื่อมชื่อเข้ากับกรอบล้อมใบหน้าเฉพาะตำแหน่ง

สำหรับวัตถุประสงค์นี้ InsightFace ถูกใช้ โดยใช้ ArcFace ที่มีพื้นฐานมาจากความสูญเสียการรับรู้

ใบหน้าที่คุ้นเคยสองใบหน้าซึ่งวิธี Additive Angular Margin Loss (ArcFace) จดจำได้ดี และถูกใช้ในลักษณะที่คล้ายกันอย่างมากในโครงการ MovieTeller แหล่งที่มา - https://www.youtube.com/watch?v=y-D1tReryGA&t=80s

ใบหน้าที่คุ้นเคยสองใบหน้าซึ่งวิธี Additive Angular Margin Loss (ArcFace) จดจำได้ดี และถูกใช้ในลักษณะที่คล้ายกันอย่างมากในโครงการ MovieTeller แหล่งที่มา

เฟรมหลักที่มีคำอธิบายถูกส่งไปยังโมเดล Qwen พร้อมคำสั่งซึ่งแสดงรายชื่อตัวละครที่ตรวจพบและตำแหน่งของพวกเขา:

เนื่องจาก VLM ไม่สามารถดูดซับภาพยนตร์เรื่องยาวทั้งหมดในครั้งเดียว MovieTeller จึงแบ่งวัสดุออกเป็นคำอธิบายฉาก ซึ่งถูกจัดกลุ่มเป็นบล็อกที่ต่อเนื่องกันและถูกส่งไปยัง Qwen2.5 เพื่อสรุปแต่ละบล็อก โดยการบีบอัดพัฒนาการของเรื่องราว แรงจูงใจของตัวละคร และจุดเปลี่ยนสำคัญ ในขณะที่ยังคงรักษาชื่อตัวละครที่ยืนยันไว้แล้ว

สรุปของบล็อกเหล่านั้นถูกนำมารวมกันและส่งกลับไปยังโมเดลพร้อมคำสั่งใหม่ที่ขอสรุปเรื่องราวทั้งหมด:

ตัวอย่างแม่แบบคำสั่งสำหรับสร้างคำอธิบายฉาก โดยเพิ่มชื่อตัวละครและกรอบล้อมที่ตรวจสอบแล้วอย่างชัดเจน เพื่อกำกับแบบจำลองการมองเห็นและภาษาให้เล่าเรื่องโดยรักษาอัตลักษณ์อย่างสอดคล้องกัน

เช่นเดียวกับคำสั่งที่ขอเรื่องย่อทั้งหมด ตัวอย่างนี้ใช้สร้าง คำอธิบายฉาก โดยเพิ่มชื่อตัวละครและกรอบล้อมที่ตรวจสอบแล้วอย่างชัดเจน เพื่อกำกับแบบจำลองการมองเห็นและภาษาให้เล่าเรื่องโดยรักษาอัตลักษณ์อย่างสอดคล้องกัน

สมมติว่ากระบวนการนี้สำเร็จ ผลลัพธ์สุดท้ายควรสะท้อนถึงโครงเรื่องของภาพยนตร์อย่างสอดคล้อง ซึ่งเป็นงานที่ยากมากในการเรียนรู้ของเครื่อง เนื่องจากความหลากหลายของสรุปเรื่องราวที่เป็นไปได้ และรูปแบบที่พวกมันอาจนำเสนอ รวมถึงความยาวที่จำเป็นของจุดข้อมูลเหล่านี้ ทำให้แทบเป็นไปไม่ได้ที่จะใช้แนวทางทั่วไปซึ่งอาศัยข้อมูลความจริงอ้างอิง

ข้อมูลและการทดสอบ

เพื่อทดสอบระบบ ผู้เขียนรวบรวมชุดข้อมูลที่ไม่มีการอ้างอิงซึ่งประกอบด้วยภาพยนตร์เรื่องยาว 100 เรื่อง ซึ่งเทียบเท่ากับ 166 ชั่วโมงในการเล่นวิดีโอ ภาพยนตร์เหล่านี้รวม Iron Man 3, Farewell My Concubine, Eat Drink Man Woman และ เรื่องราวของนาร์เนีย ผู้วิจัยต้องการให้ภาพยนตร์ทั้งหมดมีคะแนนมากกว่า 5.0 ใน IMDB:

องค์ประกอบของชุดข้อมูลภาพยนตร์ 100 เรื่อง ครอบคลุมช่วงปี 1992–2025 อย่างสมดุล มีเรื่องที่ไม่ใช่ภาษาอังกฤษมากกว่าครึ่งเล็กน้อย และมีประเภทหลากหลาย นำโดยดราม่าและแอ็คชั่น รวมถึงนิยายวิทยาศาสตร์ สยองขวัญ ตลก โรแมนติก และประวัติศาสตร์

องค์ประกอบของชุดข้อมูลภาพยนตร์ 100 เรื่อง ครอบคลุมช่วงปี 1992–2025 อย่างสมดุล มีเรื่องที่ไม่ใช่ภาษาอังกฤษมากกว่าครึ่งเล็กน้อย และมีประเภทหลากหลาย นำโดยดราม่าและแอ็คชั่น รวมถึงนิยายวิทยาศาสตร์ สยองขวัญ ตลก โรแมนติก และประวัติศาสตร์

การกระจายประเภทที่กว้างขวางนี้ได้รับการออกแบบมาเพื่อป้องกันการเอนเอียงไปสู่ประเภทใดประเภทหนึ่ง

ฐานข้อมูลใบหน้าสำหรับภาพยนตร์แต่ละเรื่องประกอบด้วยรูปภาพสองรูปของนักแสดงหลัก – หนึ่งรูปจากภาพนิ่งและอีกรูปหนึ่งจากภาพถ่ายประชาสัมพันธ์ที่เกี่ยวข้อง

การทดสอบถูกนำไปใช้โดยใช้ Python และรันบน GPU NVIDIA A40 สี่ตัว แต่ละตัวมี VRAM 48GB โดยใช้ Qwen2.5 เป็น VLM หลัก การศึกษาการลบส่วน†† ยังถูกดำเนินการด้วยโมเดลร่วมสมัยอื่นๆ เช่น InternVL3-8B และ WeThink-Qwen2.5VL-7B

โครงสร้างใหม่นี้ถูกทดสอบกับสองรูปแบบการลบส่วน††: รูปแบบ ไม่มีการให้คำใบ้ ซึ่ง VLM สร้างคำอธิบายฉากจากเฟรมหลักโดยไม่มีคำใบ้ใดๆ เกี่ยวกับตัวตนของตัวละคร และรูปแบบ ชื่อเพียงอย่างเดียว ซึ่งโมเดลได้รับชื่อตัวละครที่ตรวจพบ แต่ไม่ได้รับกล่องที่ล้อมรอบ ทำให้ผู้เขียนสามารถแยกความมีส่วนร่วมเฉพาะของการยึดมั่นในพื้นที่ต่อความสอดคล้องกันตัวตนและความสอดคล้องของเรื่องราว

ในแง่ของเมตริก เนื่องจากความยากในการใช้วิธีที่อาศัยข้อมูลความจริงอ้างอิงกับเรื่องย่อขนาดยาว จึงหลีกเลี่ยงเมตริกการทับซ้อนของ n-gram มาตรฐานอย่าง ROUGE และ BLEU แล้วเลือกใช้ BERTScore พร้อมคะแนน F1 ถูกนำมาใช้เพื่อวัดความคล้ายคลึงกันทางภาษาเมื่อเทียบกับสรุปเรื่องราวอ้างอิงที่ดึงมาจาก ‘สารานุกรมสาธารณะ’

นอกจากนี้ Gemini 2.5 Flash ยังถูกใช้เพื่อประเมินสรุปเรื่องราวแต่ละเรื่องสำหรับความซื่อสัตย์ต่อข้อเท็จจริง ความสอดคล้องกันตัวตน ความสมบูรณ์ ความสอดคล้องและความลื่นไหลของเรื่องราว และความกระชับ โดยเฉลี่ยคะแนนข้ามมิติ

สุดท้าย มีการประเมินโดยมนุษย์สำหรับเรื่องย่อที่สุ่มเลือก 50 ชิ้นด้วยการเปรียบเทียบแบบคู่ เพื่อเป็นการตรวจสอบเชิงปฏิบัติต่อผลประเมินอัตโนมัติ

ด้านล่างเป็นผล BERTScore (F1) ของโมเดลหลักสามแบบ ได้แก่ Qwen2.5-VL, InternVL3 และ WeThink แต่ละแบบถูกทดสอบในสามการตั้งค่า: ไม่มีคำใบ้, มีเพียงชื่อ และระบบ MovieTeller สมบูรณ์:

การเปรียบเทียบ BERTScore (F1) ของแบบจำลองการมองเห็นและภาษาพื้นฐานสามแบบในสามการตั้งค่าทดลอง แสดงการปรับปรุงอย่างสม่ำเสมอเมื่อเพิ่มชื่อตัวละคร และดีขึ้นอีกเมื่อเพิ่มการอ้างอิงตำแหน่ง โดย MovieTeller ได้คะแนนสูงสุดทุกกรณี

การเปรียบเทียบ BERTScore (F1) ของแบบจำลองการมองเห็นและภาษาพื้นฐานสามแบบในสามการตั้งค่าทดลอง แสดงการปรับปรุงอย่างสม่ำเสมอเมื่อเพิ่มชื่อตัวละคร และดีขึ้นอีกเมื่อเพิ่มการอ้างอิงตำแหน่ง โดย MovieTeller ได้คะแนนสูงสุดทุกกรณี

ผู้เขียนสังเกตว่ารูปแบบนี้สอดคล้องกันในโมเดลหลักทั้งสาม การใช้เฟรมหลักดิบเพียงอย่างเดียวได้ผลต่ำสุด การเพิ่มชื่อตัวละครช่วยได้เล็กน้อย และการรวมชื่อกับกรอบล้อมให้ผลดีที่สุด แม้การปรับปรุงจะเป็นแบบค่อยเป็นค่อยไป ไม่ใช่การก้าวกระโดด แต่การตั้งค่าที่มีข้อมูลอ้างอิงครบถ้วนก็มีความสอดคล้องเชิงความหมายกับเรื่องย่ออ้างอิงสูงสุดในทุกกรณี

ในการประเมินคุณภาพการเล่าเรื่องด้วยโมเดลภาษาขนาดใหญ่ รูปแบบ ไม่มีคำใบ้ มีปัญหามากที่สุดด้านความสอดคล้องของอัตลักษณ์ จึงทำให้คะแนนรวมลดลง การให้เพียงชื่อช่วยเพิ่มคะแนนอย่างเห็นได้ชัด โดยเฉพาะมิติที่เกี่ยวกับอัตลักษณ์ แต่การตั้งค่า MovieTeller แบบสมบูรณ์ยังคงได้คะแนนสูงสุดในโมเดลหลักทั้งสาม:

การประเมินแบบ LLM-as-a-Judge บนมาตรา 1–5 ของโมเดลพื้นฐานสามแบบ แสดงว่าการเพิ่มชื่อตัวละครช่วยให้อัตลักษณ์สอดคล้องและคุณภาพรวมดีขึ้น ขณะที่ MovieTeller แบบสมบูรณ์ได้คะแนนสูงสุดด้านความตรงต่อข้อเท็จจริง ความสอดคล้องของเรื่อง ความกระชับ และคะแนนสุดท้าย

การประเมินแบบ LLM-as-a-Judge บนมาตรา 1–5 ของโมเดลพื้นฐานสามแบบ แสดงว่าการเพิ่มชื่อตัวละครช่วยให้อัตลักษณ์สอดคล้องและคุณภาพรวมดีขึ้น ขณะที่ MovieTeller แบบสมบูรณ์ได้คะแนนสูงสุดด้านความตรงต่อข้อเท็จจริง ความสอดคล้องของเรื่อง ความกระชับ และคะแนนสุดท้าย

การเพิ่มขึ้นที่เด่นที่สุดปรากฏในความสอดคล้องของอัตลักษณ์และคะแนนเฉลี่ยสุดท้าย บ่งชี้ว่าการอ้างอิงตำแหน่งช่วยให้โมเดลระบุได้ชัดเจนว่าใครกำลังทำอะไรขณะที่เรื่องราวดำเนินไป

ในการประเมินเรื่องย่อที่สุ่มเลือก 50 ชิ้นโดยมนุษย์ ผู้เข้าร่วมเห็นเรื่องย่อสามแบบพร้อมกันและถูกขอให้เลือกแบบที่ดีที่สุด:

อัตราความชอบของมนุษย์ในการประเมินที่ต้องเลือกหนึ่งในสามตัวเลือก แสดงว่าสรุปของ MovieTeller ที่มีข้อมูลอ้างอิงครบถ้วนถูกเลือกบ่อยที่สุดในโมเดลพื้นฐานทั้งสาม และเหนือกว่ารูปแบบไม่มีคำใบ้และรูปแบบมีเพียงชื่ออย่างชัดเจน

อัตราความชอบของมนุษย์ในการประเมินที่ต้องเลือกหนึ่งในสามตัวเลือก แสดงว่าสรุปของ MovieTeller ที่มีข้อมูลอ้างอิงครบถ้วนถูกเลือกบ่อยที่สุดในโมเดลพื้นฐานทั้งสาม และเหนือกว่ารูปแบบไม่มีคำใบ้และรูปแบบมีเพียงชื่ออย่างชัดเจน

สุดท้าย การทดสอบเชิงคุณภาพ ถูกดำเนินการกับภาพยนตร์ The Bullet Vanishes (2012):

เราไม่สามารถแสดงภาพทั้งหมดจากเอกสารต้นฉบับได้ เนื่องจากภาพสูงมากและมีข้อความหนาแน่น กรุณาดูเอกสารต้นฉบับแทน

เราไม่สามารถแสดงภาพทั้งหมดจากเอกสารต้นฉบับได้ เนื่องจากภาพสูงมากและมีข้อความหนาแน่น กรุณาดูเอกสารต้นฉบับแทน

ที่นี่ รูปแบบ ไม่มีการให้คำใบ้ สร้างสรุปเรื่องราวที่คลุมเครือซึ่งอธิบายตัวละครในแง่ของทั่วไปและทำให้เรื่องราวยากต่อการติดตาม การให้เพียงชื่อตัวละครเพียงอย่างเดียวจะปรับปรุงความจำที่ผิวเผิน แต่เรื่องราวยังคงเบี่ยงเบนไปจากความสัมพันธ์และแรงจูงใจของตัวละคร

ในทางกลับกัน รูปแบบ MovieTeller ที่ถูกยึดมั่นอย่างสมบูรณ์จะรักษาตัวตนของตัวละครไว้ตลอดสรุปเรื่องราวและเชื่อมโยงการกระทำกับตัวละครที่ถูกต้อง ทำให้การสอบสวนเรื่องราวสามารถพัฒนาต่อไปด้วยโครงเรื่องที่ชัดเจนยิ่งขึ้น ความตึงเครียดและพลวัตของบทบาทที่เฉพาะเจาะจงจะถูกเก็บไว้แทนที่จะถูกทำให้แบนราบ ทำให้สรุปเรื่องราวอ่านได้เหมือนเรื่องราวที่เล่าขานมาอย่างมีเหตุผล

ส่วนหนึ่งของการเปรียบเทียบสุดท้ายซึ่งเราไม่สามารถแสดงทั้งหมดในที่นี้ แสดงเรื่องย่อจากรูปแบบที่ตัดองค์ประกอบออกและรูปแบบ MovieTeller สมบูรณ์ กรุณาดูเอกสารต้นฉบับแทน

ส่วนหนึ่งของการเปรียบเทียบสุดท้ายซึ่งเราไม่สามารถแสดงทั้งหมดในที่นี้ แสดงเรื่องย่อจากรูปแบบที่ตัดองค์ประกอบออกและรูปแบบ MovieTeller สมบูรณ์ กรุณาดูเอกสารต้นฉบับแทน

สรุป

แม้ว่าโครงการใหม่ๆ ส่วนใหญ่จะเข้าสู่วรรณกรรมด้านการมองเห็นของคอมพิวเตอร์ แต่การสรุปภาพยนตร์ด้วย AI ครอบคลุมหลายสาขาและโดเมนในการวิจัยการเรียนรู้ของเครื่อง และยากที่จะคาดเดาว่าสาขาเหล่านั้นจะช่วยให้พบกับชิ้นส่วนที่หายไปของปัญหา แม้ว่า MovieTeller จะก้าวไปในทิศทางที่ถูกต้องโดยการแบ่งงานออกเป็นโมดูลที่เหมาะสมแทนการพยายามแก้ปัญหาให้เสร็จสิ้นในปริภูมิแฝง แต่ก็ยังคงรู้สึกเหมือนเป็นชิ้นส่วนที่ถูกเชื่อมเข้าด้วยกัน ซึ่งมักจะก่อนที่จะมีคำตอบที่สวยงามกว่าในภายหลัง

 

* ฉันไม่สามารถระบุสถาบันนี้ได้ แม้จะพยายามค้นหาแล้ว

† เราอาจคาดหวังว่ามันจะเป็น IMDB หรือ OMDB แต่แหล่งที่มาไม่ได้ระบุ

†† กรุณาเยี่ยมชมเอกสารต้นฉบับสำหรับการศึกษาการลบส่วนอย่างครอบคลุม เนื่องจากเราพิจารณาการลบส่วนเต็มเพียงในกรณีพิเศษ ฉันจะทราบว่าการศึกษาการลบส่วนที่ไม่ได้รับการรักษาไว้ซึ่งอ้างถึงที่นี่ไม่ทำให้ผลการวิจัยทั่วไปของเอกสารเสื่อมลง

เผยแพร่ครั้งแรกวันศุกร์ที่ 27 กุมภาพันธ์ 2026

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai