วิธีแก้ปัญหาแบบเฉพาะตัวของ DALL-E 2 สำหรับคำที่มีความหมายสองทาง

ผู้ที่เรียนรู้ภาษาอิตาลีจะเรียนรู้ที่จะให้ความสนใจกับบริบทเมื่ออธิบาย ไม้กวาด เนื่องจากคำภาษาอิตาลีสำหรับวัตถุประจำวันนี้มีความหมายที่ไม่เหมาะสมมาก เป็นคำกริยา* แม้ว่าเราจะเรียนรู้ที่จะแยกความหมายของคำและความสัมพันธ์ของคำที่มีความหมายหลายอย่าง แต่นี่ไม่ใช่ความสามารถที่สามารถส่งต่อให้กับระบบสังเคราะห์ภาพขนาดใหญ่ เช่น DALL-E 2 และ Stable Diffusion ได้อย่างง่ายดาย เนื่องจากพวกมันพึ่งพาโมดูล Contrastive Language-Image Pre-training (CLIP) ของ OpenAI ซึ่งจัดการกับวัตถุและคุณสมบัติของวัตถุได้อย่างหลวมๆ (แต่ก็ได้รับการปรับปรุงอย่างต่อเนื่อง ในพื้นที่สังเคราะห์ภาพและวิดีโอแบบแยกกระแสรอง)

การวิจัยความร่วมมือใหม่ ใหม่ จาก Bar-Ilan University และ Allen Institute for Artificial Intelligence มีการศึกษาที่ครอบคลุมเกี่ยวกับระดับที่ DALL-E 2 มีแนวโน้มที่จะเกิดข้อผิดพลาดทางภาษา:

ความหมายสองทางที่แยกออกเป็นหลายการตีความใน DALL-E 2 – แม้ว่าระบบสังเคราะห์ภาพแบบแยกกระแสรองใดๆ ก็ตามสามารถสร้างตัวอย่างดังกล่าวได้ ในภาพด้านบนขวา การลบ ‘ทอง’ ออกจากคำสั่งจะเปลี่ยนชนิดของปลา ในขณะที่ในกรณีของ ‘ทางแยกสีดำและขาว’ จำเป็นต้องระบุพื้นผิวถนนอย่างชัดเจนเพื่อลบความสัมพันธ์ที่ซ้ำกัน Source: https://export.arxiv.org/pdf/2210.10606

ผู้เขียนพบว่าแนวโน้มที่จะตีความคำและวลีเป็นสองทางดูเหมือนไม่เพียงแต่พบได้ทั่วไปในโมเดลสังเคราะห์ภาพที่ใช้ CLIP เท่านั้น แต่ยังพบว่าปัญหานี้ยิ่งแย่ลงเมื่อโมเดลได้รับการฝึกอบรมด้วยข้อมูลที่มากขึ้น การศึกษาบันทึกว่า ‘รุ่นที่ลดลง’ ของโมเดลสังเคราะห์ภาพ เช่น DALL-E Mini (ตอนนี้เป็น Craiyon) มีข้อผิดพลาดดังกล่าวน้อยกว่า และ Stable Diffusion ก็มีข้อผิดพลาดน้อยกว่า – แม้ว่าจะไม่ปฏิบัติตามคำสั่งเสมอไป ซึ่งเป็นอีกประเภทหนึ่งของข้อผิดพลาด

คำสั่งง่ายๆ ‘วันที่’ บังคับให้ DALL-E 2 ใช้ความหมายสองทางของคำ และคำ ‘พัดลม’ ก็แยกออกเป็นสองความหมายเช่นกัน และในภาพที่สาม วลี ‘กรวย’ ทำให้อาหารที่ไม่ได้ระบุในคำสั่งเป็นไอศกรีม ซึ่งเกี่ยวข้องกับ ‘กรวย’

การอธิบายว่าเราทำการแยกคำศัพท์อย่างมีประสิทธิภาพได้อย่างไร การศึกษาบันทึกว่า:

‘สัญลักษณ์ – เช่นเดียวกับโครงสร้างประโยค – อาจมีความคลุมเครือ แต่หลังจากที่การตีความได้รับการสร้างขึ้น ความคลุมเครือได้รับการแก้ไขแล้ว ตัวอย่างเช่น สัญลักษณ์ ‘ไม้ตี’ ใน ‘ไม้ตีบิน’ สามารถตีความได้ว่าเป็นไม้หรือสัตว์ แต่การตีความที่เป็นไปได้ของประโยคคือไม้ตีหรือสัตว์บิน แต่ไม่ใช่ทั้งสองอย่างในเวลาเดียวกัน เมื่อสัญลักษณ์ ‘ไม้ตี’ ได้รับการใช้ในการตีความเพื่อแสดงถึงวัตถุ (เช่น ไม้) มันจะไม่สามารถใช้เพื่อแสดงถึงวัตถุอื่น (สัตว์) ในการตีความเดียวกัน’

DALL-E 2 ไม่ได้รับการจำกัดในลักษณะนี้:

‘ไม้ตีบินอยู่เหนือสนามเบสบอล’ – ภาพแรกมาจากการศึกษา และสามภาพที่ได้รับจากการให้คำสั่งเดียวกันกับ DALL-E 2

คุณสมบัตินี้ได้รับการตั้งชื่อว่า ความไวต่อทรัพยากร

ผู้เขียนระบุพฤติกรรมที่ผิดปกติสามประการของ DALL-E 2: ที่คำหรือวลีสามารถตีความและแยกออกเป็นสองวัตถุในฉากเดียวกัน ที่คำสามารถตีความเป็นคุณสมบัติของวัตถุสองชิ้น (ดูตัวอย่าง ‘ปลาทอง’ และอื่นๆ ข้างต้น) และที่คำสามารถตีความได้ทั้งเป็นคุณสมบัติและวัตถุอื่น – เช่น คำสั่ง ‘น้ำตาลเปิดจดหมาย’:

‘น้ำตาลเปิดจดหมาย’ – ภาพแรกมาจากการศึกษา และสามภาพที่ได้รับจากการให้คำสั่งเดียวกันกับ DALL-E 2

ผู้เขียนระบุสองรูปแบบการล้มเหลวของโมเดลสังเคราะห์ภาพในด้านนี้: ที่ผลลัพธ์ของคำสั่งของผู้ใช้ที่มีคำที่มีความหมายคลุมเครือมักจะแสดงถึงคำที่มีความหมายที่แน่นอนและบางส่วนของแนวคิด และ การรั่วไหลของแนวคิด ที่คุณสมบัติของวัตถุหนึ่ง ‘รั่วไหล’ เข้าสู่วัตถุอื่นที่แสดง

‘เมื่อรวมกันแล้ว ปรากฏการณ์ที่เราตรวจสอบให้เห็นถึงข้อจำกัดในความสามารถทางภาษาของ DALLE-2 และเปิดโอกาสสำหรับการวิจัยในอนาคตที่จะค้นหาว่าข้อจำกัดเหล่านั้นเกิดจากปัญหาในการเข้ารหัสข้อความ ปัญหาในโมเดลการสร้าง หรือทั้งสองอย่าง การ 접근ที่เสนอสามารถขยายไปสู่สถานการณ์อื่นๆ ที่กระบวนการถอดรหัสถูกใช้เพื่อเปิดเผยความลำเอียงเชิงอุปนัยและข้อบกพร่องของโมเดลสังเคราะห์ภาพจากข้อความ’

การใช้คำ 17 คำที่ทำให้ DALL-E 2 แยกคำสั่งออกเป็นหลายวัตถุ ผู้เขียนพบว่าการซ้ำของคำที่มีความหมายเดียวกันเกิดขึ้นในมากกว่า 80% ของ 216 ภาพที่สร้างขึ้น

นักวิจัยใช้คู่คำสั่งและคอนโทรลเพื่อตรวจสอบว่าภาษาที่เฉพาะเจาะจงและอาจจะเกินความจำเป็นเป็นไปได้เพื่อหยุดการซ้ำเหล่านี้ ในการทดสอบแบบสัมพันธ์ระหว่างวัตถุกับคุณสมบัติ มีการสร้างคู่ดังกล่าว 10 คู่ และผู้เขียนระบุว่าคำสั่งกระตุ้นให้เกิดคุณสมบัติร่วมกันใน 92.5% ของกรณี ในขณะที่คำสั่งคอนโทรลกระตุ้นให้เกิดคุณสมบัตินั้นเพียง 6.6% ของกรณี

‘[เพื่อ] แสดงให้เห็น ให้พิจารณา ‘ลูกม้าและถนน’ ที่นี่ ลูกม้าเป็นวัตถุ แต่มันแก้ไขถนน และ DALL-E 2 สร้างทางแยก ทางแยก อย่างต่อเนื่อง อาจเป็นเพราะลักษณะของลูกม้าคล้ายกับทางแยก และตามที่เราเดาไว้ คอนโทรล ‘ลูกม้าและถนนกรวด’ ระบุชนิดของถนนโดยทั่วไปไม่มีทางแยก และจริงๆ แล้ว ตัวอย่างคอนโทรลทั้งหมดของเราสำหรับคำสั่งนี้ไม่มีทางแยก’