มุมมองของ Anderson
วิธีแก้ปัญหาแบบเฉพาะตัวของ DALL-E 2 สำหรับคำที่มีความหมายสองทาง

ประเด็นสำคัญDALL-E 2 แยกคำที่มีความหมายคลุมเครือ เช่น 'bat' ออกเป็นวัตถุหลายชิ้นในภาพเดียว
ดูเพิ่มเติม
- DALL-E 2 แยกคำที่มีความหมายคลุมเครือ เช่น 'bat' ออกเป็นวัตถุหลายชิ้นในภาพเดียว
- ข้อผิดพลาดทางความหมายนี้จะรุนแรงขึ้นเมื่อโมเดลที่ใช้ CLIP เป็นตัวชี้นำได้รับการฝึกฝนบนชุดข้อมูลที่ใหญ่ขึ้น
- ภาพของ DALL-E 2 ที่มีคำพ้องเสียงมากกว่า 80% แสดงการตีความแบบคู่ที่ไม่ได้ตั้งใจ
ผู้ที่เรียนรู้ภาษาอิตาลีจะเรียนรู้ที่จะให้ความสนใจกับบริบทเมื่ออธิบาย ไม้กวาด เนื่องจากคำภาษาอิตาลีสำหรับวัตถุประจำวันนี้มีความหมายที่ไม่เหมาะสมมาก เป็นคำกริยา* แม้ว่าเราจะเรียนรู้ที่จะแยกความหมายของคำและความสัมพันธ์ของคำที่มีความหมายหลายอย่าง แต่นี่ไม่ใช่ความสามารถที่สามารถส่งต่อให้กับระบบสังเคราะห์ภาพขนาดใหญ่ เช่น DALL-E 2 และ Stable Diffusion ได้อย่างง่ายดาย เนื่องจากพวกมันพึ่งพาโมดูล Contrastive Language-Image Pre-training (CLIP) ของ OpenAI ซึ่งจัดการกับวัตถุและคุณสมบัติของวัตถุได้อย่างหลวมๆ (แต่ก็ได้รับการปรับปรุงอย่างต่อเนื่อง ในพื้นที่สังเคราะห์ภาพและวิดีโอแบบการแพร่ในปริภูมิแฝง)
การวิจัยความร่วมมือใหม่ ใหม่ จาก Bar-Ilan University และ Allen Institute for Artificial Intelligence มีการศึกษาที่ครอบคลุมเกี่ยวกับระดับที่ DALL-E 2 มีแนวโน้มที่จะเกิดข้อผิดพลาดทางภาษา:

ความหมายสองทางที่แยกออกเป็นหลายการตีความใน DALL-E 2 – แม้ว่าระบบสังเคราะห์ภาพแบบการแพร่ในปริภูมิแฝงใดๆ ก็ตามสามารถสร้างตัวอย่างดังกล่าวได้ ในภาพด้านบนขวา การลบ ‘gold’ ออกจากคำสั่งจะเปลี่ยนชนิดของปลา ในขณะที่ในกรณีของ ‘zebra crossing’ จำเป็นต้องระบุพื้นผิวถนนอย่างชัดเจนเพื่อลบความสัมพันธ์ที่ซ้ำกัน Source: https://export.arxiv.org/pdf/2210.10606
ผู้เขียนพบว่าแนวโน้มที่จะตีความคำและวลีเป็นสองทางดูเหมือนไม่เพียงแต่พบได้ทั่วไปในโมเดลสังเคราะห์ภาพที่ใช้ CLIP เท่านั้น แต่ยังพบว่าปัญหานี้ยิ่งแย่ลงเมื่อโมเดลได้รับการฝึกอบรมด้วยข้อมูลที่มากขึ้น การศึกษาบันทึกว่า ‘รุ่นที่ลดลง’ ของโมเดลสังเคราะห์ภาพ เช่น DALL-E Mini (ตอนนี้เป็น Craiyon) มีข้อผิดพลาดดังกล่าวน้อยกว่า และ Stable Diffusion ก็มีข้อผิดพลาดน้อยกว่า – แต่เพียงเพราะบ่อยครั้งมันไม่ทำตามคำสั่งเลย ซึ่งเป็นอีกประเภทหนึ่งของข้อผิดพลาด

คำสั่งง่ายๆ ‘date’ บังคับให้ DALL-E 2 ใช้ความหมายสองทางของคำ และคำ ‘fan’ ก็แยกออกเป็นสองความหมายเช่นกัน และในภาพที่สาม วลี ‘cone’ ทำให้อาหารที่ไม่ได้ระบุในคำสั่งเป็นไอศกรีม ซึ่งเกี่ยวข้องกับ ‘cone’
การอธิบายว่าเราทำการแยกคำศัพท์อย่างมีประสิทธิภาพได้อย่างไร การศึกษาบันทึกว่า:
‘สัญลักษณ์ – เช่นเดียวกับโครงสร้างประโยค – อาจมีความคลุมเครือ แต่หลังจากที่การตีความได้รับการสร้างขึ้น ความคลุมเครือได้รับการแก้ไขแล้ว ตัวอย่างเช่น คำภาษาอังกฤษ ‘bat’ ใน ‘a flying bat’ สามารถตีความได้ว่าเป็นไม้หรือสัตว์ แต่การตีความที่เป็นไปได้ของประโยคคือไม้ตีหรือสัตว์บิน แต่ไม่ใช่ทั้งสองอย่างในเวลาเดียวกัน เมื่อคำว่า ‘bat’ ได้รับการใช้ในการตีความเพื่อแสดงถึงวัตถุ (เช่น ไม้) มันจะไม่สามารถใช้เพื่อแสดงถึงวัตถุอื่น (สัตว์) ในการตีความเดียวกัน’
DALL-E 2 ไม่ได้รับการจำกัดในลักษณะนี้:

‘A bat is flying over a baseball stadium’ – ภาพแรกมาจากการศึกษา และอีกสามภาพได้จากการป้อนคำสั่งเดียวกันให้ DALL-E 2
คุณสมบัตินี้ได้รับการตั้งชื่อว่า ความไวต่อทรัพยากร
ผู้เขียนระบุพฤติกรรมที่ผิดปกติสามประการของ DALL-E 2: ที่คำหรือวลีสามารถตีความและแยกออกเป็นสองวัตถุในฉากเดียวกัน ที่คำสามารถตีความเป็นคุณสมบัติของวัตถุสองชิ้น (ดูตัวอย่าง ‘ปลาทอง’ และอื่นๆ ข้างต้น) และที่คำสามารถตีความได้ทั้งเป็นคุณสมบัติและวัตถุอื่น – เช่น คำสั่ง ‘a seal is opening a letter’:

‘a seal is opening a letter’ – ภาพแรกมาจากการศึกษา และสามภาพข้างเคียงเป็นการสร้างซ้ำจาก DALL-E 2 ส่วนตัวอย่างเหมือนภาพถ่ายด้านล่างเพิ่มข้อความ ‘photo, Canon50, 85mm, F5.6, award-winning photo’
ผู้เขียนระบุสองรูปแบบการล้มเหลวของโมเดลสังเคราะห์ภาพในด้านนี้: ที่ผลลัพธ์ของคำสั่งของผู้ใช้ที่มีคำที่มีความหมายคลุมเครือมักจะแสดงถึงคำที่มีความหมายที่แน่นอนและบางส่วนของแนวคิด และ การรั่วไหลของแนวคิด ที่คุณสมบัติของวัตถุหนึ่ง ‘รั่วไหล’ เข้าสู่วัตถุอื่นที่แสดง
‘เมื่อรวมกันแล้ว ปรากฏการณ์ที่เราตรวจสอบให้เห็นถึงข้อจำกัดในความสามารถทางภาษาของ DALLE-2 และเปิดโอกาสสำหรับการวิจัยในอนาคตที่จะค้นหาว่าข้อจำกัดเหล่านั้นเกิดจากปัญหาในการเข้ารหัสข้อความ ปัญหาในโมเดลการสร้าง หรือทั้งสองอย่าง แนวทางที่เสนอสามารถขยายไปสู่สถานการณ์อื่นๆ ที่กระบวนการถอดรหัสถูกใช้เพื่อเปิดเผยความลำเอียงเชิงอุปนัยและข้อบกพร่องของโมเดลสังเคราะห์ภาพจากข้อความ’
การใช้คำ 17 คำที่ทำให้ DALL-E 2 แยกคำสั่งออกเป็นหลายวัตถุ ผู้เขียนพบว่าการเกิดภาพซ้ำจากคำพ้องรูปพ้องเสียงเกิดขึ้นในมากกว่า 80% ของ 216 ภาพที่สร้างขึ้น
นักวิจัยใช้คู่คำสั่งและคอนโทรลเพื่อตรวจสอบว่าภาษาที่เฉพาะเจาะจงและอาจจะเกินความจำเป็นเป็นไปได้เพื่อหยุดการซ้ำเหล่านี้ ในการทดสอบแบบสัมพันธ์ระหว่างวัตถุกับคุณสมบัติ มีการสร้างคู่ดังกล่าว 10 คู่ และผู้เขียนระบุว่าคำสั่งกระตุ้นให้เกิดคุณสมบัติร่วมกันใน 92.5% ของกรณี ในขณะที่คำสั่งคอนโทรลกระตุ้นให้เกิดคุณสมบัตินั้นเพียง 6.6% ของกรณี
‘[เพื่อ] แสดงให้เห็น ให้พิจารณา ‘ม้าลายและถนน’ ที่นี่ ม้าลายเป็นวัตถุ แต่มันแก้ไขถนน และ DALL-E 2 สร้างทางม้าลาย อย่างต่อเนื่อง อาจเป็นเพราะลายบนตัวม้าลายคล้ายกับทางม้าลาย และตามที่เราเดาไว้ คอนโทรล ‘ม้าลายและถนนกรวด’ ระบุชนิดของถนนโดยทั่วไปไม่มีทางม้าลาย และจริงๆ แล้ว ตัวอย่างคอนโทรลทั้งหมดของเราสำหรับคำสั่งนี้ไม่มีทางม้าลาย’













