การลดการเห็นภาพหลอนใน AI ด้วยการขยายภาพหลอน

โมเดลการมองเห็นแบบ ChatGPT มักจะ ‘เห็นภาพหลอน’ ของสิ่งที่ไม่มีอยู่ในภาพจริง โมเดลใหม่นี้สามารถลดข้อผิดพลาดเหล่านี้ได้โดยการแสดงภาพหลอนที่มีการขยายให้ใหญ่ขึ้นตามคำบรรยาย – และจากนั้นขอให้โมเดลพยายามอีกครั้ง วิธีการนี้ไม่ต้องใช้การฝึกอบรมใหม่หรือต้องการข้อมูลเพิ่มเติม และสามารถใช้กับโมเดลและประเภทโมเดลต่างๆ ได้

การเผยแพร่ใหม่จากจีนมีมุมมองที่น่าสนใจเกี่ยวกับปัญหาการเห็นภาพหลอนที่ยังคงเกิดขึ้นใน AI ที่สร้างภาพและวิดีโอ – สิ่งที่ไม่ควรอยู่ในภาพตามคำขอและข้อมูลนำเข้าของผู้ใช้

โดยทั่วไป ระบบจะใช้ภาพและให้โมเดลอธิบายตามปกติ จากนั้นจะแปลงคำบรรยายเป็น ภาพใหม่ โดยใช้โมเดลการสร้างภาพจากข้อความ – และวัตถุหรือรายละเอียดเพิ่มเติมในภาพที่สองจะเป็นตัวแทนโดยตรงของการเห็นภาพหลอนของโมเดลในตอนแรก จากนั้น โดยการเปรียบเทียบภาพเดิมและภาพที่สร้างขึ้น ระบบจะชี้นำโมเดลให้ห่างจากข้อผิดพลาดเหล่านั้นในครั้งถัดไปที่มันพยายาม

ภาพประกอบวิธีการระบุและลดการเห็นภาพหลอนในคำบรรยายภาพ Source: https://arxiv.org/pdf/2509.21997

วิธีการนี้เริ่มต้นด้วยการให้โมเดลมองเห็นภาพจริงและอธิบายภาพ รวมทั้งคำบรรยายที่มีวัตถุหรือรายละเอียดที่ ไม่มีอยู่จริง คำบรรยายที่เห็นภาพหลอนเหล่านี้จะถูกใช้ในการสร้างภาพสังเคราะห์ที่ทำให้ข้อผิดพลาดง่ายต่อการตรวจจับ โดยการเปรียบเทียบภาพจริงและภาพที่สร้างขึ้น ระบบจะเรียนรู้รูปแบบภายในของโมเดลที่มีแนวโน้มที่จะสร้างเนื้อหาที่ไม่มีอยู่จริง

เมื่อรูปแบบข้อผิดพลาดเหล่านี้ถูกระบุแล้ว สามารถจัดเก็บและใช้ภายหลัง เมื่อโมเดลได้รับภาพใหม่ ระบบจะปรับ信号ภายในระหว่างการอธิบายภาพ การดึงโมเดลให้ห่างจากรูปแบบที่ทราบที่ทำให้เกิดการเห็นภาพหลอน วิธีการนี้ทำงานในครั้งเดียวและไม่ต้องการข้อมูลเพิ่มเติม การฝึกอบรมใหม่ หรือการสร้างภาพใหม่ในขณะทดสอบ

เว็บที่ปั่นป่วน

ในตัวอย่างที่แสดงข้างต้นจากเอกสาร เราจะเห็นว่า การผูกพัน มีแนวโน้มที่จะทำให้ ‘นก’ เข้ามาในภาพนำเข้า แม้ว่าภาพแรกจะไม่มีนกอยู่ในนั้น

การผูกพันเกิดขึ้นเมื่อโมเดลยืนยันที่จะเชื่อมโยงแนวคิดบางอย่างกับแนวคิดอื่นๆ เพียงเพราะทั้งสอง (หรือมากกว่า) แนวคิดมักจะปรากฏร่วมกันบ่อยๆ ในการกระจายข้อมูลที่ใช้ในการฝึกอบรมโมเดล ในกรณีนี้ โมเดลอาจได้เห็นภาพมากมายของ เครื่องบิน+นก ทำให้เกิดการเชื่อมโยงที่ไม่เกี่ยวข้องกับภาพที่ถาม

แม้ว่าการผูกพันสามารถบรรเทาได้ด้วยการหยุดการฝึกอบรมเร็วขึ้น (ซึ่งโดยทั่วไปจะทำให้โมเดลมีความยืดหยุ่นและปรับเปลี่ยนได้สูงสุด) แต่ก็ลดรายละเอียดและความละเอียดของแนวคิดที่ฝึกอบรมทั้งหมด ทำให้ผู้ฝึกอบรมโมเดลต้องเผชิญกับปัญหาที่ยั่งยืน: สร้างโมเดลที่ยืดหยุ่นและไม่ผูกพัน หรือสร้างโมเดลที่มีพลังในการสร้างมากกว่า แต่ก็มีแนวโน้มที่จะผลิต ‘การเห็นภาพหลอน’ ที่เกี่ยวข้องมากกว่า

หากคุณภาพของการอธิบายภาพและความสนใจในรายละเอียดในการคัดเลือกข้อมูลเดิมสำหรับโมเดลการสร้างมีความดีกว่าที่ลอจิสติกส์ปกติอนุญาต การอธิบายภาพสำหรับภาพที่มาจะให้รายละเอียดทุกวัตถุในภาพ เพื่อให้โมเดลที่ฝึกอบรมสามารถจัดสรรวัตถุเหล่านั้นเป็นรายการแยกกันใน พื้นที่ 潛在 ได้

อย่างไรก็ตาม การปฏิบัติที่เป็นประโยชน์ต่อตนเองของ การอธิบายภาพสำหรับ SEO รวมทั้งการขุดค้นข้อมูลจากเว็บขนาดใหญ่ที่ยังคงเป็นแหล่งที่ดีที่สุดสำหรับการฝึกอบรมโมเดลการสร้างที่มีพลัง ทำให้คำบรรยายภาพมักจะไม่ครอบคลุมมาตรฐานนี้

ภาพประกอบวิธีการที่คำบรรยายภาพที่อ่อนแอจำกัดความเป็นประโยชน์ของภาพ LAION สำหรับการฝึกอบรมโมเดล เช่น Stable Diffusion (ต้นฉบับจาก https://rom1504.github.io/ ซึ่งปัจจุบันไม่มีอยู่แล้ว)

ดังนั้น เนื่องจากวิธีแก้ปัญหาเชิงรากไม่น่าจะเป็นไปได้ การลดการเห็นภาพหลอนของโมเดลภาษาและโมเดลการมองเห็นโดยการหักล้างและประนีประนอมได้กลายเป็นสายการวิจัยที่แข็งแกร่ง

เทคนิคใหม่ของจีนที่เปิดเผยในสัปดาห์นี้ ผู้เขียนระบุว่าได้ทดสอบข้ามสถาปัตยกรรมต่างๆ ในสภาพแวดล้อมที่หลากหลาย และอาจบ่งชี้วิธีที่มีประโยชน์ในการลด ‘มลพิษการเห็นภาพหลอน’

พวกเขากล่าวว่า:

‘การทดลองอย่างกว้างขวางข้ามมาตรฐานต่างๆ แสดงให้เห็นว่าวิธีการของเราลดการเห็นภาพหลอนในระดับวัตถุ คุณลักษณะ และความสัมพันธ์ ในขณะที่ยังคงรักษาความจำและความ豊富ของคำบรรยายไว้’

เอกสารใหม่ ใหม่ มีชื่อเรื่อง การเปิดเผยการเห็นภาพหลอนเพื่อปราบปราม: การแก้ไขการแสดงภาพของ VLMs ด้วยการยึดแบบสร้างสรรค์ และมาจากนักวิจัยสามคนจาก University of Science and Technology of China และ Nanjing University

วิธีการ

ผู้เขียนได้ออกแบบระบบที่สมบูรณ์แบบเพื่อเปิดเผยและปราบปรามการเห็นภาพหลอนในคำบรรยายภาพ

ภาพประกอบของระบบทั้งหมด

เริ่มต้นจากภาพนำเข้าจริง โมเดลการมองเห็นและภาษาผลิตคำบรรยายที่อาจมีสิ่งที่ไม่มีอยู่จริง คำบรรยายจะถูกใช้ในการสร้างภาพใหม่ผ่านโมเดลการสร้างภาพจากข้อความ การเปรียบเทียบภาพที่สร้างขึ้นกับภาพเดิมทำให้เนื้อหาที่สร้างขึ้นเป็นภาพที่ชัดเจนและวัดได้

เพื่อชี้นำโมเดลให้ห่างจาก ‘การสร้างสิ่งใหม่’ ระบบจะเปรียบเทียบสองรูปแบบของภาพเดียวกัน: ภาพเดิมและภาพที่สร้างขึ้นตามคำบรรยาย แต่ละภาพจะถูกแปลงเป็น การฝังตัว ที่ครอบคลุมเนื้อหาของมัน

ภาพเดิมทำหน้าที่เป็นข้อมูลอ้างอิงที่เชื่อถือได้ ในขณะที่ภาพที่สร้างขึ้นจะเน้นย้ำจุดที่การเห็นภาพหลอนอาจเกิดขึ้นได้ โดยการปรับเปลี่ยนการแสดงภาพภายในให้ใกล้กับภาพเดิมและห่างจากภาพที่สร้างขึ้น โมเดลจะเรียนรู้ที่จะแก้ไขตัวเองโดยอัตโนมัติ เนื่องจากระบบไม่พึ่งพากฎเกณฑ์ที่ตั้งไว้หรือข้อมูลภายนอก จึงยังคงเป็น การเรียนรู้แบบไม่มีการกำกับ

เอกสารระบุ:

‘การเห็นภาพหลอนใน MLLMs ยากที่จะตรวจจับเพราะมีลักษณะเป็นภาษาที่ถูกต้องและไม่สามารถแยกแยะจากคำบรรยายที่ซื่อสัตย์ได้ที่ระดับข้อความ ความไม่สอดคล้องกันอยู่ที่ความไม่สอดคล้องกับหลักฐานทางภาพ ซึ่งโมเดลมักจะไม่ไวต่อ ‘

‘เพื่อแก้ไขปัญหานี้ เราแนะนำกลไกการเปิดเผยการเห็นภาพหลอนซึ่งใช้การกู้คืนแบบสร้างสรรค์เพื่อเปลี่ยนความไม่สอดคล้องที่ไม่ชัดเจนให้เป็นสัญญาณที่ชัดเจนและสามารถสังเกตได้’

เมื่อให้ภาพนำเข้าและคำบรรยาย ระบบจะใช้ FLUX.1-dev โมเดลการสร้างภาพจากข้อความเพื่อสร้างภาพใหม่จากคำบรรยายเพียงอย่างเดียว ภาพที่สร้างขึ้นมักจะขยายความหมายของคำบรรยาย ทำให้ข้อผิดพลาดที่ไม่มีอยู่จริงชัดเจนขึ้น ข้อผิดพลาดที่เพิ่มขึ้นนี้จะทำหน้าที่เป็นสัญญาณที่มีประโยชน์ในการช่วยให้โมเดลรับรู้และแก้ไขข้อผิดพลาดของตนเอง

ในการทดสอบวิธีการนี้ ผู้เขียนได้ฉีดการเห็นภาพหลอนเข้าไปในคำบรรยายและใช้โมเดลการสร้างภาพจากข้อความเพื่อสร้างภาพที่สร้างขึ้นใหม่ ภาพเหล่านี้จะถูกอธิบายโดย LLaVA และความคล้ายคลึงกันทางคำ义ระหว่างคำบรรยายเดิมและคำบรรยายที่เห็นภาพหลอนจะถูกประเมิน

ภาพประกอบวิธีการที่กลไกการขยายการเห็นภาพหลอนทำให้ข้อผิดพลาดที่ซ่อนอยู่เป็นภาพที่ชัดเจน

ความคล้ายคลึงกันจะลดลงอย่างรวดเร็วหลังการกู้คืน ซึ่งแสดงให้เห็นว่ากระบวนการนี้ทำให้ข้อผิดพลาดที่ซ่อนอยู่สามารถตรวจจับได้

ข้อมูลและการทดสอบ

การตรวจสอบประสิทธิผลของวิธีการใหม่นี้เกี่ยวข้องกับการใช้มาตรฐานที่เหมาะสมสามแบบ: การประเมินการเห็นภาพหลอนในคำบรรยายภาพด้วยความเกี่ยวข้องของภาพ (CHAIR); การประเมิน MLLM (MME); และ การประเมินโดยการรวมข้อมูลแบบพูล (POPE)

ตัวอย่างการเห็นภาพหลอนที่สร้างโดยระบบการอธิบายภาพสองระบบที่นำมาใช้ Source: https://arxiv.org/pdf/1809.02156

มาตรฐานทั่วไป เช่น อัตราการเห็นภาพหลอน หรือ การเรียกคืน อาจทำให้เข้าใจผิด เนื่องจากโมเดลอาจหลีกเลี่ยงการเห็นภาพหลอนโดยการผลิตคำบรรยายที่สั้นหรือคลุมเครือ เพื่อคำนึงถึงการแลกเปลี่ยนระหว่างการเรียกคืนและข้อผิดพลาดการเห็นภาพหลอน มาตรการรวมที่เรียกว่า การเห็นภาพหลอนและการเรียกคืน (HAR@β) ถูกใช้ ซึ่งให้คะแนนคำบรรยายตามความถูกต้องและความสมบูรณ์ และช่วยให้สามารถปรับสมดุลได้ขึ้นอยู่กับว่าควรหลีกเลี่ยงข้อผิดพลาดหรือรวมรายละเอียดมากกว่า

POPE ถูกใช้เพื่อประเมินการเห็นภาพหลอนของวัตถุในบริบท ในขณะที่ MME ถูกใช้เพื่อประเมินการเห็นภาพหลอนในระดับคุณลักษณะ โดยทั้งสองถูกกำหนดให้เป็นงานตัดสินใจแบบใช่หรือไม่ใช่

การทดลองถูกดำเนินไปในข้อมูลต่างๆ โดยใช้โมเดล Flux และ LLaVA-v1.5-7B ชุดข้อมูลที่ใช้คือ Microsoft COCO; A-OKVQA; และ GQA

การแก้ไขแบบฝังตัวถูกดำเนินไปในระดับที่สองของโมเดล ตาม งานวิจัยที่เกี่ยวข้อง ในขณะที่พารามิเตอร์และอุณหภูมิจะเท่ากันสำหรับทุกระบบ

ผลลัพธ์เบื้องต้นใน CHAIR จะแสดงด้านล่าง

ประสิทธิภาพในมาตรฐาน CHAIR สำหรับการลดการเห็นภาพหลอน

ผู้เขียนกล่าวว่า:

‘วิธีการของเราทำงานได้ดีกว่าแบบอ้างอิงอื่นๆ ใน CHAIR_S และ CHAIR_I โดยแสดงให้เห็นถึงประสิทธิผลที่เหนือกว่าในการปราบปรามการเห็นภาพหลอน ในขณะเดียวกัน แม้ว่าวิธีการส่วนใหญ่จะลดการเรียกคืนในขณะที่ปราบปรามการเห็นภาพหลอน ซึ่งสะท้อนถึงการแลกเปลี่ยนระหว่างความซื่อสัตย์และความสมบูรณ์ วิธีการของเราสามารถลดการเรียกคืนได้มากที่สุด’

‘สิ่งนี้แสดงให้เห็นว่าวิธีการของเราสามารถจับวัตถุในโลกจริงได้กว้างขวาง โดยใช้มาตรการ HAR@β วิธีการของเราสามารถทำคะแนนได้สูงสุด โดยเน้นย้ำถึงความสามารถในการลดการเห็นภาพหลอนในขณะที่รักษาความครอบคลุมไว้’

นักวิจัยให้เครดิตผลลัพธ์ที่แข็งแกร่งเหล่านี้กับการตั้งค่าแบบ dual-supervision โดยที่ความหมายที่ถูกต้องจากภาพเดิมถูกเสริม และสัญญาณที่ทำให้เข้าใจผิดจากภาพที่สร้างขึ้นถูกปราบปราม เนื่องจากการปรับเปลี่ยนที่มุ่งเป้าไปที่ทิศทางที่เกี่ยวข้องกับการเห็นภาพหลอน ส่วนที่เหลือของการแสดงภาพจะถูกปล่อยให้สมบูรณ์ ทำให้ระบบสามารถแก้ไขข้อผิดพลาดโดยไม่สูญเสียรายละเอียดหรือความสมบูรณ์

การเปรียบเทียบประสิทธิภาพในมาตรฐาน POPE ภายใต้คอนฟิกและชุดข้อมูลต่างๆ

เกี่ยวกับผลลัพธ์บน POPE ที่แสดงในตารางด้านบน เอกสารระบุ:

‘สามารถสังเกตได้ว่าวิธีการของเราทำงานได้ดีกว่าในทุกๆ การตั้งค่า โดยเฉพาะอย่างยิ่ง วิธีการของเราสามารถทำได้ดีขึ้น +5.95% ในด้านความถูกต้องและ +6.85% ในด้านคะแนน F1 โดยเฉลี่ย โดยสามารถเอาชนะวิธีการฝึกอบรมอื่นๆ ที่ไม่ต้องใช้ข้อมูลเพิ่มเติมได้อย่างมาก ‘

‘ดังนั้น ผลลัพธ์เหล่านี้แสดงให้เห็นว่าวิธีการของเราสามารถให้คำตอบที่เชื่อถือได้และครอบคลุมในทุกๆ ระดับความยาก’

การเปรียบเทียบประสิทธิภาพบน MME

การทดสอบหลักครั้งสุดท้ายคือ MME โดยมีผลลัพธ์แสดงด้านบน อย่างไรก็ตาม ในบรรดาการละเว้นอื่นๆ มันกล่าวถึง ‘OPERA’ ซึ่งไม่ได้ถูกกำหนดไว้ที่ไหนในเอกสารหลักหรือภาคผนวก แม้ว่าผู้เขียนจะอ้างว่ามีประสิทธิภาพที่แข็งแกร่งบน MME แต่โดยไม่มีนิยามที่เพียงพอของวิธีการเหล่านี้ เราอาจควรหยุดการทดสอบที่จุดนี้

ภาพประกอบจาก MME โดยใช้ LLaVA-v1.5-7B ซึ่งแสดงให้เห็นว่าโมเดลฐานจะผลิตคำตอบที่เห็นภาพหลอน ในขณะที่วิธีการที่เสนอให้คำตอบที่ถูกต้อง โดยมีภาพที่สร้างขึ้นทำให้การเห็นภาพหลอนชัดเจนขึ้น

สรุป

แม้ว่าเอกสารนี้จะดูเหมือนถูกเร่งรีบ และขาดโครงสร้าง ความชัดเจน และการเน้นย้ำที่เพิ่มขึ้นในวรรณกรรมในช่วง 12 เดือนที่ผ่านมา (ซึ่งอาจไม่เกี่ยวข้องกับการใช้ AI ในการวิจัยทางวิชาการที่เพิ่มขึ้น) กลไกหลักที่นำเสนอในเอกสารยังคงมีความฉลาด

แม้ว่าวิธีการนี้จะไม่ต้องใช้การฝึกอบรมใหม่ และดูเหมือนจะใช้ได้กับโมเดลและสถาปัตยกรรมต่างๆ แต่ก็ควรจะดูผลการทดสอบเพิ่มเติม และควรพิจารณาว่าระบบเช่นนี้จะแนะนำความล่าช้าและความต้องการพลังงานเพิ่มเติมหรือไม่ – ซึ่งไม่ใช่เรื่องเล็กๆ เมื่อใช้ในระดับใหญ่

* ไม่ตามปกติ มาตรฐานหลักของเอกสารนี้นำเสนอผลลัพธ์พร้อมหัวข้อที่อธิบายไว้เพียงในเอกสาร附録 ไม่ใช่ในเอกสารหลัก – นิสัยที่ไม่ดีในวรรณกรรมที่เพิ่มขึ้น เมื่อนักวิจัยพยายามจำกัดข้อเสนอหลักให้ 8-9 หน้า แม้ว่าเนื้อหาจะไม่สมควรได้รับการปฏิบัติเช่นนี้ก็ตาม ในทุกกรณี มาตรฐาน CHAIR ที่ใช้ในการประเมินการเห็นภาพหลอนของวัตถุในคำบรรยายภาพ จะอาศัยชุดย่อยของภาพ 500 ภาพจาก Microsoft COCO ที่ใช้ในการทำงานก่อนหน้านี้ มีสองรูปแบบ: CHAIR_S ซึ่งวัดความถี่ของการเห็นภาพหลอนในคำบรรยายใดๆ; และ CHAIR_I ซึ่งวัดว่ามีวัตถุใดบ้างที่ถูกเห็นภาพหลอน HAR@β ซึ่งถูกนำมาใช้ในเอกสารหลัก ถูกกำหนดให้เป็นการรวมกันระหว่างการปราบปรามการเห็นภาพหลอนและการเรียกคืนแบบ F_β

เผยแพร่ครั้งแรกวันพุธที่ 30 กันยายน 2025