มุมมองของ Anderson

AI ที่ใช้ภาพในการให้เหตุผลแบบลูกโซ่ความคิด (CoT)

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Derived from René Magritte, La condition humaine (The Human Condition), 1933. © Photothèque R. Magritte / ADAGP / DACS Images. Collection: National Gallery of Art, Washington. Extended laterally by GPT Image 2.

เรามักคิดเป็นภาพ—อย่างน้อยก็คนส่วนใหญ่: งานวิจัยแสดงให้เห็นว่าความสามารถในการจินตนาการเป็นภาพที่ลดลงในมนุษย์มีความสัมพันธ์กับผลการเรียนที่ต่ำลง เมื่อพูดถึงการจดจำ (ความจำเป็นที่เราต้องจดจำสิ่งต่าง ๆ ไม่ใช่สิ่งที่ AI หวาดกลัว) ภาพที่ทรงพลังหรือชัดเจนมีคุณค่าทางความหมายอย่างมาก และถูกนำมาใช้เป็นเครื่องมือช่วยเรียนรู้มานานนับพันปี:

“Temple of Time” ของ Emma Willard (1846) เป็นภาพประกอบเพื่อการศึกษาที่เปลี่ยนลำดับเวลาให้เป็นพื้นที่ทางกายภาพ โดยจัดวางยุคสมัยและบุคคลสำคัญทางประวัติศาสตร์ไว้ในมุมมองทางสถาปัตยกรรมที่ทอดลึกเข้าไป Willard ออกแบบภาพลักษณะนี้ให้เป็นเครื่องช่วยจำด้วยภาพ โดยเชื่อว่าการนำเสนอด้วยภาพจะช่วยให้นักเรียนสร้างภาพประวัติศาสตร์ในใจได้อย่างเป็นระบบ ที่มา - https://publicdomainreview.org/essay/emma-willard-maps-of-time/

“Temple of Time” ของ Emma Willard (1846) เป็นภาพประกอบเพื่อการศึกษาที่เปลี่ยนลำดับเวลาให้เป็นพื้นที่ทางกายภาพ โดยจัดวางยุคสมัยและบุคคลสำคัญทางประวัติศาสตร์ไว้ในมุมมองทางสถาปัตยกรรมที่ทอดลึกเข้าไป Willard ออกแบบภาพลักษณะนี้ให้เป็นเครื่องช่วยจำด้วยภาพ โดยเชื่อว่าการนำเสนอด้วยภาพจะช่วยให้นักเรียนสร้างภาพประวัติศาสตร์ในใจได้อย่างเป็นระบบ ที่มา

อย่างไรก็ตาม ศาสตร์ว่าด้วยเครื่องช่วยจำมุ่งเน้นที่การนำเข้าข้อมูล มากกว่าการประมวลผลหรือตีความ ซึ่งผู้คนมีรูปแบบการคิดที่นำมาใช้แตกต่างกันอย่างมาก

ส่วนตัวแล้ว ฉันคิดเป็นรูปทรงมาตลอดเท่าที่จำความได้ โดยมองทศวรรษ ปี แนวคิด และผู้คนผ่านเรขาคณิตเชิงสัมพันธ์และก้อนปริมาตรที่เคลื่อนไหวเปลี่ยนแปลงไป ส่วนบางคนคิดเป็นหลักตัวเลข ขณะที่บางคนก็คิดผ่านกลิ่นหรือรสชาติเป็นหลัก

สำหรับ AI วิธีเชื่อมโยงประสาทสัมผัสที่เป็นไปได้มีขอบเขตจำกัดกว่า โดยธรรมชาติแล้ว Large Language Model (LLM) สามารถคิดเป็นข้อความได้ เพราะนี่คือรูปแบบการเข้ารหัสโดยกำเนิดของมัน ซึ่งอยู่เหนือระดับของเวกเตอร์ฝังตัว และมีงานวิจัยแสดงให้เห็นว่า LLM เข้ารหัสตัวเลขเป็นแนวคิด แทนที่จะเป็นเพียงค่าตัวแปรล้วน ๆ ซึ่งแสดงให้เห็นถึงแนวโน้มที่จะ “คิดเป็นตัวเลข”

แต่เราจะกล่าวได้มากน้อยเพียงใดว่า LLM “คิดเป็นรูปทรง” หรือ “คิดเป็นภาพ” ในแบบที่มนุษย์มักทำกัน?

การที่เราได้รับคำตอบแตกต่างกันจาก LLM เมื่อถามคำถามเดียวกันด้วยภาษาต่างกัน บ่งชี้ว่าความสัมพันธ์เหล่านั้นอาจเฉพาะเจาะจงและเปราะบางมาก อีกทั้งอาจถูกกำหนดตายตัวให้ผูกกับข้อความเฉพาะในขอบเขตของภาษาใดภาษาหนึ่ง (เช่น “ภาษาสเปน”) แทนที่จะจัดการกับขอบเขตระดับสูงกว่าซึ่งก้าวข้ามภาษา แต่ก็ยังครอบคลุมภาษาไว้ด้วย*

ดังนั้น มัลติโมดัล LLM (กล่าวคือ Vision Language Model หรือ VLM) ที่สร้างภาพขึ้นมาเพื่อใช้ในกระบวนการคิดเป็นลูกโซ่ภายในของตนเองโดยเฉพาะ (CoT) จึงอาจมีข้อได้เปรียบตามเหตุผล หรืออย่างน้อยก็มีมุมมองอีกแบบหนึ่งอย่างแท้จริง

มุมมองใหม่

เมื่อคำนึงถึงประเด็นนี้ ความร่วมมือด้านการวิจัยเมื่อไม่นานมานี้จากเยอรมนีได้นำเสนอ VLM ที่เน้นการใช้ภาพชื่อ ReImaGin ซึ่งใช้การสร้างภาพเป็นกลไกการให้เหตุผลที่ยืดหยุ่น

แม้งานก่อนหน้านี้จะเพิ่มองค์ประกอบที่อาศัยภาพเข้าไป แต่ความสามารถเหล่านั้นก็ไม่ได้เป็นส่วนสำคัญโดยเนื้อแท้หรือจำเป็นต่อกระบวนการทำงานหลัก ในทางกลับกัน ระบบใหม่ของผู้เขียนได้รับการออกแบบมาเพื่อใช้ประโยชน์จากความสามารถใหม่ล่าสุดของ VLM ในการเข้ามาแทนที่การทำงานของเครื่องมือเฉพาะทางและวิธีการต่าง ๆ เช่น การรับรู้ความลึก

ในตัวอย่างด้านล่างจากบทความฉบับใหม่ ซึ่งมีชื่อว่า การให้เหตุผลด้วยการสร้างภาพ AI ต้องตีความภาพสองมุมมอง (ภาพซ้ายสุด) ซึ่งไม่มีภาพใดให้ข้อมูลครบถ้วนพอสำหรับแก้โจทย์ ดังนั้น โมเดลจึงสามารถใช้ข้อมูลที่มีอยู่เพื่อตีความภาพฉากที่กว้างและครบถ้วนยิ่งขึ้นได้ (แผนที่ที่มีคำบรรยายย่อยว่า “ภาพจำลองที่สร้างขึ้น” ซึ่งอยู่ลำดับที่สามจากซ้ายด้านล่าง)

จากบทความฉบับใหม่ ตัวอย่างที่ ReImaGin สร้างแผนที่มุมมองจากด้านบนจากภาพสองมุมมองที่ไม่สมบูรณ์ ทำให้โมเดลมีภาพแทนเชิงภาพแบบรวมเป็นหนึ่งเดียวสำหรับใช้ในการให้เหตุผล ที่มา - https://arxiv.org/pdf/2609.16409

จากบทความฉบับใหม่ ตัวอย่างที่ ReImaGin สร้างแผนที่มุมมองจากด้านบนจากภาพสองมุมมองที่ไม่สมบูรณ์ ทำให้โมเดลมีภาพแทนเชิงภาพแบบรวมเป็นหนึ่งเดียวสำหรับใช้ในการให้เหตุผล ที่มา

ReImaGin ไม่ได้จำกัดอยู่กับการแปลงภาพรูปแบบใดรูปแบบหนึ่ง แต่สามารถเติมส่วนที่ขาดหายไปในภาพปริศนา ลบสิ่งบดบังเพื่อให้นับจำนวนได้ วาดเส้นทางการเคลื่อนที่เพื่อคาดการณ์การชน รวมภาพหลายมุมมองเป็นแผนที่เชิงพื้นที่ เปลี่ยนเส้นทางประเป็นเส้นทึบเพื่อใช้ติดตาม และสร้างแผนที่ความลึกเพื่อใช้ให้เหตุผลเกี่ยวกับความลึก

ที่สำคัญยิ่งกว่านั้น ระบบสามารถควบคุมการใช้ชุดเครื่องมือภายในของตนเองได้ สอดคล้องกับความสามารถที่เกิดขึ้นใหม่ของ VLM ในการเลือกใช้เครื่องมือที่เหมาะสมเพื่อจัดการกับโจทย์เฉพาะโดยอัตโนมัติ เช่น การประเมินความลึก ฟังก์ชันส่วนใหญ่ของ ReImaGin ตามที่อธิบายไว้เรียกใช้งานผ่านการเรียก generate_image เครื่องมือ ซึ่งสามารถเข้ามาจัดการกับภาพได้ตามความจำเป็น โดยไม่ต้องมีมนุษย์ควบคุมหรือเรียกใช้งาน

ผู้เขียนระบุว่า:

‘เพราะ generate_image ยอมรับคำสั่งภาษาธรรมชาติได้ทุกรูปแบบ เอเจนต์จึงสามารถปรับเปลี่ยนสิ่งต่าง ๆ ได้หลากหลายอย่างมาก คำถามคือ การปรับเปลี่ยนแบบใดจะช่วยให้งานที่กำหนดสำเร็จได้จริง

‘[Standard] แนวทางปฏิบัติคือระบุการปรับเปลี่ยนด้วยตัวอย่างในบริบทที่จัดทำขึ้นเอง เพื่อแสดงให้เห็นกลยุทธ์ที่ต้องการ (เช่น สร้างแผนที่ความลึกเพื่อใช้ในการให้เหตุผลเกี่ยวกับความลึก) วิธีนี้ต้องใช้แรงงานคนในแต่ละงาน และจำกัดความสามารถในการนำไปใช้กับงานใหม่ ๆ

‘[We] ตั้งคำถามว่ากลยุทธ์ดังกล่าวจะค้นพบได้โดยอัตโนมัติหรือไม่ เนื่องจากกลยุทธ์ถูกถ่ายทอดไปยังเอเจนต์ผ่านพรอมป์ต์ การค้นหากลยุทธ์จึงเท่ากับการปรับปรุงพรอมป์ต์ให้เหมาะสม เราจึงสร้างวงจรการทำงานแบบวนซ้ำ โดยให้โมเดลเสนอแนวทางสร้างพรอมป์ต์ที่เป็นไปได้ ประเมินพรอมป์ต์เหล่านั้นกับชุดข้อมูลพัฒนาขนาดเล็ก และปรับปรุงตามผลสำเร็จและความล้มเหลวที่สังเกตได้

เมื่อนำไปทดสอบกับ VLM 3 ตัวและงานให้เหตุผลเชิงภาพ 6 งาน ReImaGin ทำได้ดีกว่าทั้งการให้เหตุผลโดยไม่มีตัวช่วยและการใช้เครื่องมือด้านการมองเห็นเฉพาะทางโดยรวม โดยใช้เครื่องมือเพียงชิ้นเดียว

แนวทาง

ReImaGin ทำงานเป็นวงจร ในแต่ละขั้น VLM จะพิจารณาคำถาม ภาพต้นฉบับ และทุกสิ่งที่สร้างขึ้นก่อนหน้านั้น แล้วตัดสินใจว่าจะทำอะไรต่อไป ซึ่งอาจเป็นการจัดการภาพทั่วไป เช่น การครอบตัดหรือการซ้อนภาพ หรือการเรียกใช้ generate_image, ซึ่งสร้างภาพใหม่ขึ้นมาโดยมีจุดประสงค์เฉพาะเพื่อช่วยให้การให้เหตุผลเกี่ยวกับปัญหาง่ายขึ้น:

ภาพประกอบทีละขั้นแสดงให้เห็นว่า ReImaGin ใช้เหตุผลแก้ปัญหาเชิงพื้นที่และปริศนาภาพอย่างไร ในทั้งสองตัวอย่าง โมเดลสร้างภาพใหม่ระหว่างการให้เหตุผล จากนั้นใช้ภาพนั้นเป็นข้อมูลป้อนเข้าเพิ่มเติมในขั้นตอนถัดไปเพื่อหาคำตอบ

ภาพประกอบทีละขั้นแสดงให้เห็นว่า ReImaGin ใช้เหตุผลแก้ปัญหาเชิงพื้นที่และปริศนาภาพอย่างไร ในทั้งสองตัวอย่าง โมเดลสร้างภาพใหม่ระหว่างการให้เหตุผล จากนั้นใช้ภาพนั้นเป็นข้อมูลป้อนเข้าเพิ่มเติมในขั้นตอนถัดไปเพื่อหาคำตอบ

จากนั้นภาพที่สร้างขึ้นจะถูกป้อนกลับเข้าสู่ VLM และกลายเป็นส่วนหนึ่งของข้อมูลที่มีให้ใช้ในขั้นตอนการให้เหตุผลถัดไป ซึ่งกระบวนการนี้สามารถทำซ้ำได้ ภาพด้านบนแสดงองค์ประกอบเหล่านี้ผ่านโจทย์เชิงพื้นที่ โดยโมเดลจะนำภาพถ่ายสองภาพมารวมเป็นมุมมองเดียวก่อน แล้วแปลงผลลัพธ์นั้นเป็นแผนที่มุมมองจากด้านบนก่อนตอบคำถาม

สำหรับโจทย์ปริศนา โมเดลจะสร้างปริศนารุ่นดัดแปลงที่แยกบริเวณซึ่งขาดหายออกมา จากนั้นใช้การหาผลต่างของภาพแบบทั่วไปเพื่อระบุคำตอบ

ด้วยวิธีนี้ การสร้างภาพจึงกลายเป็นส่วนหนึ่งของกระบวนการให้เหตุผลเอง ไม่ใช่ผลงานขั้นสุดท้ายสำหรับผู้ใช้ ภาพที่สร้างขึ้นระหว่างกระบวนการเหล่านี้มีไว้เพื่อใช้ในกระบวนการ CoT ของ AI เท่านั้น ไม่ได้มีไว้ให้ผู้ใช้ปลายทางดูโดยตรง

ในแต่ละรอบ VLM จะเลือกการดำเนินการขั้นต่อไปด้วยตนเองจากบริบทที่สั่งสมมาจนถึงขณะนั้น การดำเนินการนั้นอาจเป็นการให้เหตุผลอีกขั้นหนึ่ง การจัดการภาพแบบทั่วไป หรือคำสั่งภาษาธรรมชาติให้ generate_image. ผลลัพธ์จากเครื่องมือที่เลือกใช้จะถูกเพิ่มเข้าไปในบริบท ทำให้โมเดลตรวจสอบผลลัพธ์และตัดสินใจได้ว่าจะปรับเปลี่ยนอีกครั้ง ใช้เครื่องมืออื่น หรือไปสู่คำตอบสุดท้าย

เพิ่มความสามารถในการตัดสินใจด้วยตนเอง

ปัญหาสำคัญคือการตัดสินใจว่าภาพประเภทใดจะช่วยให้งานเฉพาะอย่างง่ายขึ้นได้จริง ReImaGin ตัดสินใจเรื่องนี้โดยทดลองใช้คำสั่งที่แตกต่างกันกับเอเจนต์ ทดสอบพรอมป์ต์ที่เป็นไปได้กับตัวอย่างที่ทราบคำตอบ และใช้ทั้งความพยายามที่สำเร็จและล้มเหลวเพื่อสร้างพรอมป์ต์ที่ดีขึ้น การทำซ้ำวงจรนี้หลายครั้งจะนำไปสู่กลยุทธ์ที่ให้ผลดีที่สุดในที่สุด

โมเดลให้เหตุผลและตัวสร้างภาพไม่ได้รับการฝึกซ้ำในระหว่างกระบวนการนี้ มีเพียงคำสั่งที่กำหนดวิธีที่เอเจนต์ใช้เครื่องมือเท่านั้นที่ได้รับการปรับให้เหมาะสม ด้วยเหตุนี้ นักวิจัยจึงอธิบายกระบวนการนี้ว่าเป็นการ “ค้นพบโดยอัตโนมัติ” ซึ่งเป็นการค้นพบกลยุทธ์การให้เหตุผลเชิงภาพโดยไม่ได้ป้อนกลยุทธ์เฉพาะสำหรับแต่ละงานหรือตัวอย่างการให้เหตุผลให้แก่ระบบ

การตั้งค่าและการทดสอบ

ReImaGin ได้รับการประเมินกับงานให้เหตุผลเชิงภาพ 6 งาน ได้แก่ การให้เหตุผลเกี่ยวกับความลึก (Blink – ระบุว่าจุดใดในสองจุดอยู่ใกล้กล้องมากกว่า); การเติมส่วนที่ขาดของปริศนา (Mira – เลือกชิ้นส่วนที่ถูกต้องเพื่อเติมบริเวณภาพที่หายไป); การนับวัตถุที่ถูกบดบัง (CAPTURe – นับวัตถุ รวมถึงวัตถุที่ซ่อนอยู่); การคาดการณ์การชน (Spatial457 – คาดการณ์ว่าวัตถุใดจะถูกเป้าหมายที่เคลื่อนที่ชน); การให้เหตุผลเชิงพื้นที่ (MMSI – ระบุความสัมพันธ์ระหว่างวัตถุจากมุมมองที่แตกต่างกัน); และ การติดตามเส้นทาง ซึ่งเป็นเกณฑ์มาตรฐานใหม่ที่ต้องให้โมเดลติดตามเส้นประที่เชื่อมตัวเลขกับตัวอักษร

ตัวอย่างที่โดดเด่นของการใช้ภาพในกระบวนการให้เหตุผลแบบลูกโซ่ จากบทความ ‘MIRA, เกณฑ์มาตรฐานสำหรับการให้เหตุผลแบบลูกโซ่ด้วยภาพ’ ที่มา - https://arxiv.org/pdf/2511.02779

ตัวอย่างที่โดดเด่นของการใช้ภาพในกระบวนการให้เหตุผลแบบลูกโซ่ จากบทความ ‘MIRA, เกณฑ์มาตรฐานสำหรับการให้เหตุผลแบบลูกโซ่ด้วยภาพ’ ที่มา

โมเดลพื้นฐาน VLM ที่นำมาทดสอบ ได้แก่ Gemini-3.1-Pro, GPT-5 และ Qwen-3.5-27B ซึ่งเป็นโมเดลแบบเปิดน้ำหนัก การสร้างภาพใช้ Nano-Banana-Pro เป็นหลัก และยังทดสอบ FLUX.2 [dev] กับ Qwen-Image-Edit-2511 ซึ่งเป็นโมเดลแบบเปิดน้ำหนักด้วย โดยใช้ Gemini-3.1-Pro เป็นตัวเลือกสำหรับการปรับขนาดการทดสอบขณะใช้งานในการสร้างภาพ

จากโมเดลพื้นฐานสองแบบที่ใช้เปรียบเทียบ แบบแรกคือ VLM รุ่นพื้นฐานที่ผู้เขียนบทความตั้งชื่อว่า “No Tools” ซึ่งตอบคำถามโดยอาศัยข้อความค้นหาและภาพโดยตรง โดยไม่ใช้เครื่องมือหรือเรียกใช้โค้ด ส่วน Visual Sketchpad ที่เปิดตัวในปี 2024 มีชุดเครื่องมือเฉพาะทางด้านการมองเห็นและการปรับแต่งภาพแบบตายตัวให้ใช้ในกรณีนี้ แต่ไม่มีความสามารถในการสร้างภาพแบบปลายเปิด

สำหรับงานเชิงพื้นที่ MMSI โมเดลพื้นฐานทั้งสองได้รับกำลังประมวลผลใกล้เคียงกับ ReImaGin โดยให้แต่ละโมเดลสร้างคำตอบ 20 คำตอบ แล้วเลือกคำตอบที่ปรากฏบ่อยที่สุด

วัดประสิทธิภาพด้วยความแม่นยำในการตอบคำถามแบบปรนัยสำหรับทุกงาน ยกเว้นงานนับวัตถุที่ถูกบดบัง ซึ่งประเมินด้วย ค่าความคลาดเคลื่อนสัมบูรณ์เฉลี่ยแบบสมมาตรเป็นเปอร์เซ็นต์ โดยเปรียบเทียบจำนวนวัตถุที่คาดการณ์กับจำนวนจริง รายงานผลเป็นค่าเฉลี่ยจากการทดลอง 3 รอบ พร้อมรายงาน ค่าคลาดเคลื่อนมาตรฐาน ด้วย

ผลการทดสอบเปรียบเทียบ ReImaGin กับ No Tools และ Visual Sketchpad โดยใช้ VLM 3 รุ่นกับงานให้เหตุผลเชิงภาพ 6 งาน คะแนนที่สูงกว่าถือว่าดีกว่า ยกเว้นงานนับวัตถุที่ถูกบดบัง ซึ่งค่าความคลาดเคลื่อนที่ต่ำกว่าถือว่าดีกว่า ReImaGin ให้ผลดีที่สุดในการจับคู่โมเดลกับงานส่วนใหญ่

ผลการทดสอบเปรียบเทียบ ReImaGin กับ No Tools และ Visual Sketchpad โดยใช้ VLM 3 รุ่นกับงานให้เหตุผลเชิงภาพ 6 งาน คะแนนที่สูงกว่าถือว่าดีกว่า ยกเว้นงานนับวัตถุที่ถูกบดบัง ซึ่งค่าความคลาดเคลื่อนที่ต่ำกว่าถือว่าดีกว่า ReImaGin ให้ผลดีที่สุดในการจับคู่โมเดลกับงานส่วนใหญ่

ใช้ตัวอย่างกลยุทธ์ที่มนุษย์กำหนดชุดเดียวกันกับโมเดลทั้งสามรุ่น ReImaGin ให้ผลดีกว่าโมเดลพื้นฐานทั้งสองในงานส่วนใหญ่ โดยเห็นความก้าวหน้าอย่างชัดเจนเป็นพิเศษในงานต่อภาพปริศนา การนับวัตถุที่ถูกบดบัง และการติดตามเส้นทาง

ตัวอย่างเช่น เมื่อใช้ GPT-5 ความแม่นยำในการต่อภาพปริศนาเพิ่มขึ้นเป็น 44.9% ด้วย ReImaGin จาก 29.5% เมื่อใช้ No Tools และ 16.7% เมื่อใช้ Visual Sketchpad การทดสอบแบบตัดองค์ประกอบยืนยันว่าองค์ประกอบการสร้างภาพมีความสำคัญอย่างยิ่งต่อประสิทธิภาพของระบบ

ยังมีการทดสอบเครื่องมือสร้างภาพแบบเปิดน้ำหนักแทน Nano-Banana-Pro ด้วย ได้แก่ FLUX.2 [dev] และ Qwen-Image-Edit-2511 ซึ่งให้ผลใกล้เคียงกันในงานที่ไม่ซับซ้อนบางประเภท โดยเฉพาะงาน เติมส่วนที่ขาดหายของภาพ แต่ให้ผลไม่สม่ำเสมอเท่าในงานแปลงภาพที่ท้าทายกว่า เช่น การประมาณความลึกและการติดตามเส้นทาง ผลลัพธ์ที่ใกล้เคียงกันยังพบเมื่อใช้ Qwen-3.5-27B เป็น VLM ด้วย:

ผลการทดสอบเปรียบเทียบเครื่องมือสร้างภาพ โดยใช้ Qwen-3.5-27B เป็น VLM Nano-Banana-Pro ให้ผลดีที่สุดใน 5 จาก 6 งาน ขณะที่ FLUX.2 [dev] และ Qwen-Image-Edit-2511 ให้ผลดีกว่า No Tools ในหลายงาน

ผลการทดสอบเปรียบเทียบเครื่องมือสร้างภาพ โดยใช้ Qwen-3.5-27B เป็น VLM Nano-Banana-Pro ให้ผลดีที่สุดใน 5 จาก 6 งาน ขณะที่ FLUX.2 [dev] และ Qwen-Image-Edit-2511 ให้ผลดีกว่า No Tools ในหลายงาน

ผู้เขียนยังทำการทดสอบเชิงคุณภาพกับงาน 4 ประเภท:

ตัวอย่างเชิงคุณภาพจากงาน 4 ประเภทแสดงให้เห็นว่า ReImaGin ช่วยเสริมการให้เหตุผลของ Gemini-3.1-Pro ได้อย่างไร ในแต่ละกรณี ระบบนำภาพแทนที่สร้างขึ้นมาใช้ในกระบวนการให้เหตุผลเพื่อช่วยแก้โจทย์

ตัวอย่างเชิงคุณภาพจากงาน 4 ประเภทแสดงให้เห็นว่า ReImaGin ช่วยเสริมการให้เหตุผลของ Gemini-3.1-Pro ได้อย่างไร ในแต่ละกรณี ระบบนำภาพแทนที่สร้างขึ้นมาใช้ในกระบวนการให้เหตุผลเพื่อช่วยแก้โจทย์

ReImaGin ไม่ได้ให้ผลที่เชื่อถือได้ในทุกกรณี บางครั้งเครื่องมือสร้างภาพสร้างภาพแปลงที่ไม่ถูกต้อง เช่น แผนผังพื้นซึ่งวางวัตถุผิดตำแหน่ง ส่วนบางกรณีภาพที่สร้างขึ้นถูกต้อง แต่ VLM กลับอ่านภาพผิดในภายหลัง

จากการตรวจสอบภาพที่สร้างขึ้นด้วยตนเอง 120 ภาพ พบว่า 75% สามารถแปลงภาพตามที่ร้องขอได้อย่างถูกต้อง เมื่อทำได้ คำตอบสุดท้ายถูกต้อง 87% ของเวลา เทียบกับ 43% ในกรณีที่ภาพที่สร้างขึ้นไม่ถูกต้อง

ผู้เขียนสรุปว่า:

‘ผลการทดลองของเราชี้ให้เห็นข้อสรุปที่กว้างขึ้นสองประการ ประการแรก การสร้างภาพสามารถทำหน้าที่เป็นกลไกจินตนาการเชิงภาพทั่วไปภายในการให้เหตุผลแบบหลายโมดัล ช่วยลดความจำเป็นในการพัฒนาเครื่องมือแยกต่างหากสำหรับการแปลงภาพรูปแบบใหม่แต่ละแบบ

‘ประการที่สอง ประสิทธิผลของแนวทางนี้ไม่ได้ขึ้นอยู่กับโมเดลพื้นฐานเพียงอย่างเดียว แต่ยังขึ้นอยู่กับกลยุทธ์การให้เหตุผลที่ใช้ตัดสินใจว่าจะสร้างภาพแทนสิ่งใดและจะนำผลลัพธ์ไปใช้อย่างไร

‘ผลลัพธ์ที่ดีขึ้นจากการค้นหากลยุทธ์โดยอัตโนมัติแสดงให้เห็นว่า โมเดลสามารถใช้ประโยชน์จากความเข้าใจเกี่ยวกับการแปลงภาพเพื่อค้นหากลยุทธ์ที่เกี่ยวข้องได้ โดยไม่ต้องอาศัยกลยุทธ์เฉพาะงานหรือแนวทางการให้เหตุผลที่มนุษย์เขียนขึ้น’

บทสรุป

การตัดสินใจให้เครื่องมือทำงานด้วยตัวเองในลักษณะที่ศึกษาครั้งนี้เป็นพัฒนาการที่น่าสนใจอย่างยิ่ง โดยเฉพาะเมื่อดูเหมือนว่าการพัฒนา VLM กำลังมุ่งไปสู่แนวทางนี้เองตามธรรมชาติอยู่แล้ว ผมอยากรู้ว่าในที่สุด VLM อเนกประสงค์เหล่านี้จะทำงานได้ดีเทียบเท่ากับเครื่องมือและเฟรมเวิร์กเฉพาะทางอย่างระบบนิเวศของ Segment หรือไม่ และหากเป็นเช่นนั้น ผู้ที่ทำงานเฉพาะกับ “งานรอง” เหล่านี้อาจกำลังใช้ค้อนปอนด์ทุบเปลือกถั่วอยู่ก็เป็นได้

ค่อนข้างยากที่จะเชื่อว่า VLM จะพัฒนาวินัยที่จำเป็นจนแซงหน้าและรักษาความเป็นผู้นำเหนือโซลูชันเฉพาะทางอย่างการปรับแต่งอย่างละเอียดเฉพาะงานได้ ซึ่งเป็นวิธีที่ทุ่มเทโมเดลทั้งโมเดลให้กับงานเดียว และในกระบวนการนั้นก็มักทำให้โมเดลแทบไร้ประโยชน์สำหรับงานอื่น ๆ เวลาเท่านั้นที่จะให้คำตอบ

 

* นิยามที่อาจโต้แย้งได้สำหรับขอบเขตของภาพ ซึ่งเราเรียนรู้มานานก่อนที่จะเริ่มมีทักษะทางภาษาใด ๆ

เผยแพร่ครั้งแรกวันจันทร์ที่ 28 กันยายน 2026

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai