AI ต้องการอ่านหนังสือมากกว่าดูหนัง

เป็นเรื่องที่น่าประหลาดใจที่จะทำให้โมเดล AI มาดูและแสดงความคิดเห็นเกี่ยวกับเนื้อหาวิดีโอที่แท้จริง แม้ว่าจะถูกออกแบบมาเพื่อทำสิ่งนี้ก็ตาม พวกมันสนใจคำเขียนมากกว่า

หากคุณเคยพยายามอัปโหลดคลิปวิดีโอสั้น ๆ ไปยัง ChatGPT หรือโมเดลวิชั่น/ภาษาอื่น ๆ ที่คล้ายกัน คุณอาจจะประหลาดใจที่พบว่าพวกมันไม่สามารถวิเคราะห์วิดีโอได้จริงๆ โมเดลเช่น ChatGPT-4o+ สามารถวิเคราะห์เฟรมเดี่ยว ๆ ในรูปแบบของภาพ เช่น JPEG และ PNG แต่พวกมันชอบให้ผู้ใช้ถอดเฟรมเหล่านั้นออกมาและอัปโหลดเป็นภาพ (ซึ่งพวกมัน พร้อม ที่จะแสดงความคิดเห็น)

ในกรณีของซีรีส์ OpenAI GPT สามารถถอดเฟรมทั้งหมดจากคลิปวิดีโอและให้ ChatGPT เพื่อวัตถุประสงค์ เช่น สร้าง แทร็กเสียงที่สร้างโดย AI สำหรับวิดีโอ:

รูปภาพและโค้ดจากทูторียัลของ OpenAI เกี่ยวกับการวิเคราะห์เฟรมที่ถอดออกมาหลายเฟรมเพื่อสร้างคำบรรยายที่สร้างโดย AI สำหรับวิดีโอคลิป ที่มา

แต่ผู้ใช้ต้องทำการแปลงวิดีโอเป็นเฟรมเอง โดยการเรียกฟังก์ชันในรูทีนหรือโดยใช้ FFMPEG หรือซอฟต์แวร์แก้ไขวิดีโอที่มีให้เลือกหลายตัว

จนถึงระดับหนึ่ง อาจเป็นระดับที่สำคัญ การจำกัดความสามารถในการวิเคราะห์วิดีโอในผลิตภัณฑ์ขนาดใหญ่ เช่น ChatGPT อาจขึ้นอยู่กับ การใช้ทรัพยากร การให้ AI ตัวใดตัวหนึ่งมีวิดีโอคอดेकที่ได้รับความนิยมสูงสุด และใช้ทรัพยากรในการถอดเฟรมออกมาเป็นเรื่องที่ไม่ธรรมดา หากผู้ใช้หลายร้อยล้านคนเริ่มใช้ฟังก์ชันเหล่านี้ทุกวัน

นอกจากนี้ การวิเคราะห์เชิงเวลาสามารถ แสดงภาพที่แตกต่าง เมื่อเทียบกับเฟรมเดียว (ลองนึกถึงคนเข้าบ้านด้วยอารมณ์ดีแล้วพบศพ); ดังนั้นการคำนึงถึงเช็คซัมทั้งหมดของวิดีโอสั้น ๆ จึงเป็นงานที่ต้องใช้ทรัพยากรและเป็นพื้นที่การวิจัยที่ซับซ้อน เช่น การพัฒนาเฟรมเวิร์ก เช่น Optical Flow ซึ่งสามารถ “คลี่” วิดีโอออกมาเพื่อให้ดูและดำเนินการได้เหมือนเอกสารที่ไม่เปลี่ยนแปลง:

แผนภาพ Optical Flow แสดงวิธีการติดตามการเคลื่อนไหวข้ามเฟรมในลำดับวิดีโอ โดยมีเวกเตอร์สีเขียวแสดงทิศทางและความเข้มของการเคลื่อนไหว เหล่านี้ให้ความต่อเนื่องเชิงเวลาที่จำเป็นสำหรับ VLMs และยังสามารถใช้เป็นคู่มือเชิงโครงสร้างในเวิร์กโฟลว์ VFX ที่มา

ยอมรับว่า Cliffs Notes

อย่างไรก็ตาม เนื่องจากโมเดล เช่น Notebook LM ของ Google และ ChatGPT รุ่นใหม่ ๆ สามารถอ่านข้อมูลเมตาที่เกี่ยวข้อง (เช่น ข้อมูลข้อความที่ฝังอยู่ซึ่งให้ข้อมูลวิดีโอในบางวิธี) พวกมันจึงไม่ห้ามการอัปโหลดไฟล์วิดีโอ และบางครั้งพวกเขาจะพยายามตีความวิดีโอที่ไม่มีข้อมูลดังกล่าว

ในกรณีนี้ ฉันอัปโหลดคลิปวิดีโอสั้น 6 วินาทีจากภาพยนตร์อิตาลี มือของพระเจ้า (2021) ไปยัง NotebookLM โดยไม่มีข้อความที่มีประโยชน์ใดๆ ในเมตาดาต้าหรือชื่อไฟล์

จากนั้น NotebookLM ก็เริ่มสร้างเนื้อหาที่ไม่เกี่ยวข้องและไม่มีเหตุผล โดยมีโพดแคสต์หัวต่อหัวที่ไม่เกี่ยวข้อง 5 นาที:

ช่วงเวลาในชีวิตประจำวันในคลิปวิดีโอสั้น 6 วินาทีจากภาพยนตร์อิตาลีถูกตีความผิดพลาดโดย NotebookLM ที่มา: Google NotebookLM

แม้ว่า Notebook เช่นเดียวกับ ChatGPT จะยอมรับวิดีโอ YouTube เป็นข้อมูลเข้า แต่จะทำได้ก็ต่อเมื่อวิดีโอนั้นมีแอนโนเตชันหรือคำบรรยายที่สามารถตีความได้ (ไม่ใช่คำบรรยายที่ถูกเบิร์นเข้าไปในวิดีโอ)

ในทางนี้ การทำงานหนักในการ ดู และ ฟัง เนื้อหาของวิดีโอและทำการวิเคราะห์เชิงความหมาย (ซึ่งเป็นข้อกำหนดทางกฎหมายสำหรับ YouTube เนื่องจากมาตรการคุ้มครองลิขสิทธิ์ และระบบตรวจจับ ลิขสิทธิ์ ที่กำลังจะมาถึง และระบบ ตรวจจับอัตลักษณ์) ได้ถูกทำหลังจากการอัปโหลดโดยผู้ใช้แล้ว เมื่อคลิปสามารถจัดสรรทรัพยากรการประมวลผลที่จำเป็นได้

การวิเคราะห์วิดีโอที่แท้จริงเป็นเรื่องที่ใช้ทรัพยากรและเหนื่อยล้า และดูเหมือนว่าแม้แต่โมเดลที่ถูกฝึกฝนมาเพื่อทำงานนี้ก็ยังต้องการอ่านข้อความมากกว่าดูวิดีโอ

TL;DW

ตาม เอกสารใหม่ จากมหาวิทยาลัยブリสตอลในสหราชอาณาจักรที่มีชื่อเรื่องว่า วิดีโอนั้นไม่คุ้มค่ากับคำพูดพันคำ ผู้เขียนสองคนสรุปว่าโมเดลภาษาวิชั่นปัจจุบัน (VLMs) – โมเดลที่ออกแบบมาเพื่อวิเคราะห์วิดีโอได้ดีขึ้นและเข้าร่วม การถามคำถามวิดีโอ (VQA) – ก็ยังต้องการอาศัยข้อมูลข้อความเมื่อใดก็ตามที่ทำได้

เมื่อให้ภาพเคลื่อนไหวและคำถามและคำตอบแบบหลายตัวเลือก โมเดลเหล่านี้มักจะใช้ข้อมูลจากข้อความมากกว่าภาพบนหน้าจอ – และในหลายกรณี ทำได้ดีเท่ากันแม้ว่าจะไม่มีคำถามก็ตาม

ในกรณีที่ดูเหมือนจะเป็น การหาทางลัด หรือ การโกง สิ่งที่สำคัญที่สุดสำหรับโมเดลส่วนใหญ่คือการระบุรูปแบบในคำตอบที่เป็นไปได้; และเมื่อหน้าที่นั้นยากขึ้น โดยการเพิ่มตัวเลือกคำตอบมากขึ้น AI จึงเริ่มให้ความสนใจกับวิดีโอมากขึ้น

ผู้เขียนให้การทดสอบ VQA ภายใต้เงื่อนไขต่างๆ กับโมเดล VLM 6 โมเดลที่มีลักษณะเฉพาะตัว เช่น ความยาวบริบทที่แตกต่างกัน และทดสอบบนชุดข้อมูลที่เหมาะสม 4 ชุด; และพบว่าผลลัพธ์แสดงให้เห็นว่าโมเดลเหล่านี้พึ่งพาข้อความมากกว่าเนื้อหาวิดีโอ

ตัวอย่างจากการศึกษาที่แสดงว่าวิดีโอ-วิเคราะห์โมเดลชั่งน้ำหนักสิ่งที่เห็นเทียบกับสิ่งที่อ่าน โมเดลนี้แสดงให้เห็นว่าคนกำลังปั่นไม้ไผ่ แต่โมเดลให้ความสำคัญกับข้อความคำถามและคำตอบมากกว่าเฟรมวิดีโอ Blue highlights เน้นย้ำถึงองค์ประกอบที่สนับสนุนคำตอบที่เลือก ในขณะที่สีแดงเน้นย้ำถึงสิ่งที่ดึงดูดความสนใจในทางตรงกันข้าม โดยแสดงให้เห็นว่าการให้เหตุผลของโมเดลมุ่งเน้นไปที่คำพูดมากกว่าภาพเคลื่อนไหว ที่มา

วิธีการ

เพื่อทำความเข้าใจว่าแต่ละส่วนของข้อมูลเข้าไปสู่การตัดสินใจของโมเดลมากน้อยเพียงใด งานใหม่นี้ใช้วิธีการจาก ทฤษฎีเกม ที่เรียกว่า ค่า Shapley ซึ่งออกแบบมาเพื่อแบ่งปันผลตอบแทนระหว่างผู้เล่นในกลุ่มอย่างยุติธรรม

โดยพื้นฐานแล้ว ผู้เล่นในสถานการณ์นี้คือเฟรมวิดีโอหรือส่วนประกอบข้อความ (แอนโนเตชัน ย่อหน้า คำบรรยาย ฯลฯ) ของงาน VQA; และ “ผลตอบแทน” คือคำตอบสุดท้ายของโมเดล โดยการตรวจสอบอย่างเป็นระบบว่าเกิดอะไรขึ้นเมื่อบางส่วนถูกเพิ่มหรือลบออก ค่า Shapley จะแสดงให้เห็นว่าแต่ละองค์ประกอบมีอิทธิพลต่อคำตอบที่เลือกมากน้อยเพียงใด

ในกรณีนี้ ค่า Shapley ถูกปรับให้เหมาะสมเพื่อจัดการกับโมดาลิตี้ที่ผสมผสาน โดยมีเฟรมวิดีโอและส่วนประกอบข้อความที่ถูกมองเห็นแยกจากกัน และอิทธิพลที่แตกต่างกันต่อผลลัพธ์ของโมเดลถูกวัด

มาตรการ

สองมาตรการที่ง่ายได้รับการกำหนดขึ้นเพื่อเปรียบเทียบการมีส่วนร่วมของแต่ละโมดาลิตี้ (เช่น วิดีโอ คำถาม หรือคำตอบ) ต่อการตัดสินใจของโมเดล: การมีส่วนร่วมของโมดาลิตี้ วัดว่าแต่ละประเภทของข้อมูลเข้าไปสู่คำอธิบายทั้งหมดมากน้อยเพียงใด โดยการรวมค่า Shapley ทั้งหมดและคำนวณส่วนแบ่งที่เป็นของโมดาลิตี้แต่ละประเภทเป็นเปอร์เซ็นต์ของทั้งหมด

ที่สอง การมีส่วนร่วมต่อฟีเจอร์ จะแก้ไขปัญหาที่ว่าโมดาลิตี้บางอย่าง เช่น วิดีโอ มีฟีเจอร์มากกว่าโมดาลิตี้อื่น ๆ แทนที่จะคำนวณค่าเฉลี่ยของค่า Shapley สำหรับฟีเจอร์แต่ละฟีเจอร์ และเปรียบเทียบค่าเฉลี่ยเหล่านั้นเพื่อกำหนดโมดาลิตี้ที่มีอิทธิพลเหนือกว่า

ข้อมูลและการทดสอบ

ผู้เขียนทดสอบแนวทางนี้บนโมเดล VLM 6 โมเดลที่มีลักษณะเฉพาะ เช่น ความยาวบริบทที่แตกต่างกัน เพื่อให้แน่ใจว่าหลักการของการทดสอบจะมีความสม่ำเสมอและสามารถนำไปใช้กับโมเดลอื่น ๆ ได้

โมเดลที่เข้าร่วมคือ FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (ซึ่งใช้ Qwen2); และ LongVA (ซึ่งใช้ Qwen2)

ด้วยจุดมุ่งหมายเดียวกัน ชุดข้อมูลที่เลือกมี 4 ชุด ได้แก่ EgoSchema ซึ่งเป็นชุดข้อมูล VQA ที่ออกแบบมาให้ไม่สามารถทำได้โดยไม่ต้องดูวิดีโอที่เกี่ยวข้อง; HD-EPIC ซึ่งเป็นชุดข้อมูลที่เน้นห้องครัวและมีวิดีโอที่ยาวไม่ปกติ; MVBench ซึ่งเป็นชุดข้อมูลที่รวบรวมจากชุดข้อมูลอื่น ๆ; และ LVBench ซึ่งถามคำถาม VQA สำหรับวิดีโอที่มีความยาวมาก

จากชุดข้อมูลเหล่านี้ ผู้เขียนสร้างคำถาม 60 คำถาม – 10 คำถามจากแต่ละประเภทคำถาม

มาตรการการมีส่วนร่วมทำให้เห็นได้ชัดว่าโมเดลส่วนใหญ่พึ่งพาวิดีโอน้อยกว่าข้อความ โดยเฉพาะเมื่อดูเฟรมต่อเฟรม แม้ว่าวิดีโอจะแสดงผลที่สมเหตุสมผลในแง่ของการมีส่วนร่วมทั้งหมด แต่การมีส่วนร่วมต่อฟีเจอร์ของวิดีโอก็มักจะน้อยมาก โดยแสดงว่าแม้ว่าโมเดลจะใช้วิดีโอในภาพรวม แต่ก็ไม่ได้ให้ความสนใจกับเฟรมแต่ละเฟรมมากนัก VideoLLaMA3 เป็นโมเดลที่แตกต่างจากที่เหลือ โดยมีความพึ่งพาวิดีโอมากขึ้น โดยเฉพาะอย่างยิ่งในการลำดับวิดีโอที่ยาวกว่าใน LVBench:

คะแนนการมีส่วนร่วมของโมดาลิตี้ (MC) และการมีส่วนร่วมต่อฟีเจอร์ (PFC) บนโมเดลและชุดข้อมูลต่างๆ โดยแสดงถึงน้ำหนักของวิดีโอ (V) คำถาม (Q) และคำตอบ (A) สีเย็นแสดงถึงการมีส่วนร่วมที่แข็งแกร่ง; สีร้อนแสดงถึงการมีส่วนร่วมที่อ่อนหรือไม่มีนัยสำคัญ

สำหรับข้อความ คำถามมักจะมีความสำคัญมากกว่าคำตอบ โดยเฉพาะในโมเดลที่แข็งแกร่ง เช่น EgoSchema ซึ่งมีคำถามที่ยาวและเป็นธรรมชาติ ในขณะที่คำตอบสั้นและบางครั้งเป็นแบบสเคมาติก MVBench กลับกัน โดยโครงสร้างคำตอบแบบไบนารี่ทำให้คำตอบดูสำคัญกว่า

ทั่วทั้งโมเดลและชุดข้อมูลทั้งหมด วิดีโอก็ถูกมองข้ามเสมอ โดยให้ภาษาเป็นภาษาที่ทำหน้าที่หลัก

เอกสารระบุว่า:

‘[สำหรับ] โมเดลบริบทยาว วิดีโอมีการมีส่วนร่วมที่ลดลงอย่างมาก ซึ่งหมายความว่าค่า Shapley ต่อเฟรมนั้นน้อยกว่าของคู่ข้อความมาก ‘

‘วิดีโอในฐานะโมดาลิตี้ทั้งหมดยังคงมีความเกี่ยวข้องอย่างมาก แต่นี่เป็นหลักฐานที่แสดงว่าค่า Shapley ของเฟรมแต่ละเฟรมมีศูนย์กลางอยู่ที่ศูนย์ และความสนใจของโมเดลต่อเฟรมเหล่านั้นนั้นน้อยกว่าสำหรับข้อความ’

เพื่อทดสอบว่าส่วนใดของข้อมูลเข้าไปสู่ความแม่นยำของโมเดลมากน้อยเพียงใด ผู้วิจัยได้ทำการทดสอบเพิ่มเติมโดยใช้ การปิดบัง – โดยการซ่อนส่วนหนึ่งหรือหลายส่วนของข้อมูลเข้า และดูว่าความแม่นยำของโมเดลเปลี่ยนแปลงไปเท่าใด

หากความแม่นยำลดลงอย่างรวดเร็วเมื่อข้อมูลเข้าบางส่วนถูกลบออก นั่นแสดงว่าข้อมูลเข้านั้นมีความสำคัญ; หากโมเดลยังคงทำงานได้ดีโดยไม่มีข้อมูลเข้านั้น ก็แสดงว่าข้อมูลเข้านั้นไม่ได้ถูกพึ่งพา ในแง่นี้ การทดสอบการปิดบังเป็นเหมือน การศึกษาการกำจัด ที่ทำซ้ำ ๆ

ผลกระทบต่อประสิทธิภาพของการปิดบังวิดีโอ คำถาม หรือคำตอบบน VQA เบンチมาร์ก 4 ตัว คะแนนแสดงถึงการเปลี่ยนแปลงจากค่าพื้นฐานที่ไม่ได้ปิดบัง สีแดงแสดงถึงความแม่นยำที่ลดลง สีเขียวแสดงถึงความแม่นยำที่เพิ่มขึ้น โมเดลมักจะรักษาคะแนนสูงได้โดยไม่ต้องมีวิดีโอ แต่สูญเสียมากขึ้นเมื่อคำตอบ (ข้อความ) ถูกปิดบัง คำถามสามารถปิดบังได้โดยไม่มีผลกระทบมากนัก

ผลลัพธ์ (แสดงด้านบน) แสดงให้เห็นว่าคำตอบ (ข้อความในข้อมูลหลายตัวเลือก) มีน้ำหนักมากที่สุดโดยรวม การปิดบังคำตอบมักจะทำให้ความแม่นยำลดลงอย่างมาก โดยลดโมเดลลงเหลือประสิทธิภาพที่ใกล้เคียงกับการสุ่ม

การปิดบัง คำถาม มักจะมีผลกระทบน้อยกว่า ซึ่งสนับสนุนการค้นพบก่อนหน้านี้ที่ว่าโมเดลมักจะไม่ให้ความสำคัญกับคำถาม

ในบางกรณี ความแม่นยำดูเหมือนจะดีขึ้น เมื่อคำถามถูกปิดบัง ซึ่งบ่งบอกว่าโมเดลบางครั้งเพียงแค่จับคู่คำตอบกับคำใบ้ทางภาษาหรือข้อความมากกว่าการประเมินคำถามอย่างเหมาะสม

โมเดลมีความแตกต่างกันในเรื่องของการอาศัยวิดีโอ: บางตัวสามารถรักษาความแม่นยำที่ดีได้โดยไม่ต้องมีวิดีโอ ซึ่งยืนยันการมีส่วนร่วมที่จำกัดของฟีเจอร์วิดีโอในหลายๆ การตั้งค่าปัจจุบัน

ผู้เขียนทดสอบต่อไปว่าโมเดลสามารถถูกบังคับให้พึ่งพาวิดีโอได้โดยการเพิ่ม คำตอบที่ไม่ถูกต้อง เพิ่มเติมลงในตัวเลือกคำตอบหลายตัว

เมื่อคำตอบที่ไม่ถูกต้องนั้นง่ายและถูกนำมาจากคำถามอื่น ความแม่นยำจะดีขึ้น เนื่องจากโมเดลจับคู่รูปแบบข้อความโดยไม่ต้องมีการให้เหตุผลมากนัก แต่เมื่อมีคำตอบที่ไม่ถูกต้อง 10 ข้อหรือมากกว่านั้น โมเดลก็เริ่มพึ่งพาวิดีโอและคำถามมากขึ้น:

การมีส่วนร่วมต่อฟีเจอร์และความแม่นยำสำหรับวิดีโอ คำถาม และคำตอบ เมื่อเพิ่มคำตอบที่ไม่ถูกต้องลงในแต่ละการทดสอบ VQA โดยแสดงให้เห็นว่าการเพิ่มจำนวนตัวเลือกที่ไม่ถูกต้องจะลดการครอบงำของข้อความและเพิ่มอิทธิพลของฟีเจอร์วิดีโอและคำถาม

สำหรับ VideoLLaMA3 การปิดบังวิดีโอลดความแม่นยำลง 40% บน EgoSchema และ 15% บน LVBench โดยแสดงให้เห็นว่าการเพิ่มจำนวนตัวเลือกคำตอบสามารถเปลี่ยนโมเดลจากการตัดทางลัดข้อความไปสู่การให้เหตุผลแบบหลายรูปแบบที่แท้จริง

ผู้วิจัยยังสำรวจการกระจายการกำหนดคุณค่าข้ามข้อมูลเข้า และด้านล่างนี้คือแผนที่ความร้อนของค่า Shapley สำหรับข้อมูลเข้าโมเดลแต่ละตัว:

แผนที่ความร้อนของค่า Shapley สำหรับชุดข้อมูล 4 ชุด โดยแต่ละแถวแสดงถึง VQA-tuple และแต่ละคอลัมน์แสดงถึงฟีเจอร์เดียว วิดีโอฟีเจอร์ปรากฏทางด้านซ้าย ตามด้วยข้อความ ค่า Shapley ที่แข็งแกร่งกว่าในพื้นที่ข้อความ (สีแดง) ยืนยันว่าโมเดลพึ่งพาข้อความมากกว่าวิดีโอ

ผู้เขียนแสดงความคิดเห็นเกี่ยวกับผลลัพธ์ด้านบน:

‘ค่า Shapley มีขนาดใหญ่กว่าทางด้านขวามือของแต่ละแผนที่ความร้อน ซึ่งแสดงถึงการกำหนดคุณค่าคำถามและคำตอบ ค่านี้แสดงให้เห็นว่าการมีส่วนร่วมของวิดีโอนั้นน้อยกว่าคำถาม/คำตอบอย่างมาก ‘

โดยสรุป ทั่วทั้งชุดข้อมูล ค่า Shapley มีความเข้มข้นมากกว่าทางด้านข้อความ โดยแสดงให้เห็นว่าโมเดลพึ่งพาข้อความมากกว่าคำใบ้ทางภาพ

ด้านล่างนี้คือตัวอย่างที่มีคำอธิบายจาก EgoSchema โดยเลือกเฟรมที่สำคัญที่สุด 16 เฟรมโดยใช้ค่า Shapley และสีตามอิทธิพล โดยสีน้ำเงินแสดงถึงการมีส่วนร่วมเชิงบวกและแดงแสดงถึงการมีส่วนร่วมเชิงลบ:

การกำหนดคุณค่า Shapley สำหรับตัวอย่าง EgoSchema เดียว โดยแสดงถึงเฟรมที่สำคัญที่สุด 16 เฟรมและข้อมูลข้อความทั้งหมด การมีส่วนร่วมของวิดีโอนั้นน้อยมากเมื่อเทียบกับข้อความ ซึ่งครอบงำการให้เหตุผลของโมเดล สีน้ำเงินและแดงแสดงถึงการมีส่วนร่วมเชิงบวกและเชิงลบต่อคำตอบที่เลือก

ผลลัพธ์คือว่าแทบจะทุกเฟรมมีอิทธิพลอ่อนเมื่อเทียบกับคำในคำถามและคำตอบ นำไปสู่การให้เหตุผลของโมเดล

สรุป

ใครก็ตามที่เคยลองแก้ไขวิดีโอหรือวิเคราะห์วิดีโอจะรู้แล้วว่ากระบวนการเหล่านี้ต้องใช้ทรัพยากรมาก และเข้าใจว่าทำไมบริษัทที่ประมวลผลคำขอ AI หลายล้านคำขอต่อวันจึงไม่สามารถให้ผู้ใช้ดำเนินการแก้ไขหรือตีความวิดีโอได้อย่างไม่สบายใจ

สิ่งหนึ่งที่ต้องจำไว้คือเกือบทุก API AI ที่คุณจะพบ (ยกเว้นตัวอย่างใหม่ที่สร้างขึ้นเพื่อสนับสนุนการวิจัยทางวิทยาศาสตร์ใหม่) มุ่งหวังที่จะตอบสนองความต้องการของผู้ใช้ ณ ระดับการใช้ทรัพยากรที่ต่ำที่สุด

หมายความว่าใช้ข้อมูลเมตาที่มีอยู่จากข้อมูลของผู้ใช้หรือการดึงข้อมูลจากแหล่งอื่น ๆ หากเป็นไปได้ และการดึงข้อมูลเมตาสำหรับรูปแบบที่สามารถวิเคราะห์ได้ เช่น PDF เอกสาร และรูปภาพเดี่ยว

สิ่งที่ไม่ได้ถูกพิจารณาคือการวิ่งวิดีโอที่อัปโหลดผ่าน CLIP หรือการปล่อย YOLO ล่าสุด หรือผ่าน VLM ที่กินพลังงานและใช้เวลานานซึ่งสามารถระบุว่ามีอะไรอยู่ในวิดีโอและเข้าใจสิ่งที่เกิดขึ้นในวิดีโอที่ให้มา โดยคำนึงถึงการเปลี่ยนแปลงตามเวลา

อย่างไรก็ตาม สิ่งนี้ไม่ได้หมายความว่าปรากฏการณ์ที่เอกสารปัจจุบันบันทึกนั้นเป็นผลมาจากแนวทางเชิงสถาปัตยกรรมที่ประหยัดมากเกินไป ผู้เขียนสังเกตว่าข้อความครอบงำในพาราได้มการฝึกอบรมหลายรูปแบบ ซึ่งบ่งชี้ว่า “ภาษาวิชั่น” อาจไม่ได้รับการพัฒนามากนัก หรือไม่สำคัญ หรือไม่เข้าใจในบริบทหลายรูปแบบ หรือ (อย่างน้อยในขณะนี้) ไม่เข้าใจดี

* น่าสนใจที่จะสังเกตว่าเนื้อหาที่ NotebookLM สร้างขึ้นนั้นดูเหมือนจะเป็นเนื้อหาที่สร้างขึ้นโดยสมบูรณ์หรือไม่ได้ถูกดั๊มป์โดย Google เนื่องจากฉันไม่สามารถค้นหาคำตอบใดๆ ที่อาจจะแอบเข้ามาในข้อมูลฝึกอบรมและกระตุ้นให้เกิดผลลัพธ์นี้

เผยแพร่ครั้งแรกวันศุกร์ที่ 31 ตุลาคม 2025; แก้ไข 14:20 สำหรับการจัดรูปแบบ