ภาษา ‘ไร้สาระ’ ที่อาจบุกรุกระบบการตรวจสอบภาพสังเคราะห์ของ DALL-E 2

การวิจัยใหม่จากมหาวิทยาลัยโคลัมเบียชี้ให้เห็นว่าระบบป้องกันที่ป้องกันไม่ให้โมเดลสังเคราะห์ภาพ เช่น DALL-E 2, Imagen และ Parti สามารถสร้างภาพที่เป็นอันตรายหรือมีข้อขัดแย้งได้ มีความเสี่ยงต่อการโจมตีแบบ “adversarial” ที่เกี่ยวข้องกับ “คำที่สร้างขึ้น”

ผู้เขียนได้พัฒนาวิธีการสองวิธีที่สามารถข้ามการตรวจสอบเนื้อหาของระบบสังเคราะห์ภาพได้ และพบว่าพวกมันมีความแข็งแกร่งมากแม้จะข้ามสถาปัตยกรรมที่แตกต่างกัน ซึ่งบ่งชี้ว่าจุดอ่อนนี้ไม่ได้มาจากระบบ แต่อาจมาจากหลักการพื้นฐานของการสร้างภาพจากข้อความ

วิธีแรกและแข็งแกร่งที่สุดคือการเรียกว่า “macaronic prompting” คำว่า “macaronic” มาจากภาษาละตินและอังกฤษที่ผสมกัน เช่น ภาษาเอสเปรันโตหรือภาษา Unwinese อาจเป็นตัวอย่างที่มีชื่อเสียงที่สุดคือภาษาอูรดู-อังกฤษ ซึ่งเป็นภาษาที่ผสมกันระหว่างภาษาอังกฤษและภาษาอูรดูในประเทศปากีสถาน

Compositional macaronic prompting in DALL-E 2. Source: https://arxiv.org/pdf/2208.04135.pdf

ในบางตัวอย่าง ส่วนของคำที่มีความหมายถูกติดกันโดยใช้ภาษาอังกฤษเป็น “สแคฟโฟลด์” ตัวอย่างอื่นในเอกสารใช้หลายภาษาในคำสั่งเดียว

ระบบจะตอบสนองในลักษณะที่มีความหมายเนื่องจากขาดการดูแลในแหล่งข้อมูลบนเว็บที่ระบบถูกฝึกอบรม ซึ่งแหล่งข้อมูลเหล่านี้มักจะมีฉลากหลายภาษา (เช่น จากชุดข้อมูลที่ไม่ได้ออกแบบสำหรับการสังเคราะห์ภาพ) และแต่ละคำที่รับเข้ามาในภาษาใดๆ จะกลายเป็น “token” และส่วนของคำเหล่านั้นจะกลายเป็น “subwords” หรือ “fractional tokens”

ในกระบวนการประมวลผลภาษาธรรมชาติ (NLP) การ “stemming” ช่วยให้สามารถแยกความแตกต่างของคำที่มีความหมายเหมือนกัน แต่ก็สร้างชุด “Lego” ใหญ่ที่สามารถใช้ในการสร้างคำสั่ง “creative” ได้

Monolingual portmanteau words are also effective in obtaining images through indirect or non-prosaic language.

ในวิธีที่สองที่เรียกว่า “evocative prompting” บางคำที่ใช้ร่วมกันมีลักษณะคล้ายกับ “schoolboy Latin” ที่แสดงในภาพยนตร์ Monty Python’s Life of Brian (1979)

It’s no joke – faux Latin often succeeds in evincing a meaningful response from DALL-E 2.

ผู้เขียนระบุว่า:

‘การโจมตีแบบ adversarial ที่ใช้คำที่สร้างขึ้นนี้อาจถูกใช้เพื่อหลบหลีกการตรวจสอบเนื้อหาของระบบสังเคราะห์ภาพ และสร้างภาพที่เป็นอันตรายหรือมีข้อขัดแย้งได้’

‘บริษัทที่ให้บริการสังเคราะห์ภาพมีความกังวลเกี่ยวกับการสร้างภาพที่เป็นอันตรายหรือมีข้อขัดแย้ง และได้ใช้มาตรการป้องกันหลายอย่างเพื่อป้องกันการสร้างภาพดังกล่าว’

ผู้เขียนแนะนำวิธีการป้องกันหลายวิธีเพื่อป้องกันการโจมตีแบบ adversarial นี้ รวมถึงการดูแลแหล่งข้อมูลการฝึกอบรมอย่างรอบคอบ การใช้ระบบกรองผลลัพธ์ และการสร้าง “dictionary whitelist” ที่อนุญาตให้ใช้คำที่ได้รับการตรวจสอบและอนุมัติเท่านั้น

ผู้วิจัยพบว่าการโจมตีแบบ adversarial นี้สามารถใช้ได้กับหลายภาษา และอาจจะยิ่งซับซ้อนและยากต่อการป้องกันหากใช้หลายภาษา

ภาษา Cryptic ใน DALL-E 2

การวิจัยก่อนหน้านี้พบว่า DALL-E 2 มี “hidden vocabulary” ที่สามารถใช้ในการสร้างภาพที่มีความหมาย แต่ไม่มีวิธีการที่เชื่อถือได้ในการค้นหา “nonce strings” ที่สามารถสร้างภาพที่เฉพาะเจาะจงได้

ผู้เขียนพบว่าการใช้ “macaronic prompting” และ “evocative prompting” สามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน

ตัวอย่างของการสร้างภาพโดยใช้ “macaronic prompting” และ “evocative prompting” แสดงให้เห็นว่า DALL-E 2 สามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน

ภาษา Lingua Franca

เอกสารพบว่าการใช้ “macaronic prompting” และ “evocative prompting” สามารถใช้ได้กับหลายภาษา และสามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน

ผู้เขียนพบว่าการใช้ “macaronic prompting” และ “evocative prompting” สามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน และสามารถใช้ได้กับหลายภาษา

ภาษา Evocative Prompting

ผู้เขียนพบว่าการใช้ “evocative prompting” สามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน และสามารถใช้ได้กับหลายภาษา

ตัวอย่างของการสร้างภาพโดยใช้ “evocative prompting” แสดงให้เห็นว่า DALL-E 2 สามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน

ผู้เขียนสรุปว่าการใช้ “macaronic prompting” และ “evocative prompting” สามารถสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน และสามารถใช้ได้กับหลายภาษา

การวิจัยนี้แสดงให้เห็นว่า DALL-E 2 มีความสามารถในการสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน และสามารถใช้ได้กับหลายภาษา

ผู้เขียนหวังว่าการวิจัยนี้จะช่วยให้เราเข้าใจถึงความสามารถและข้อจำกัดของ DALL-E 2 และสามารถพัฒนาเทคนิคใหม่ๆ ในการสร้างภาพที่มีความหมายได้โดยไม่ต้องใช้คำที่มีความหมายเหมือนกัน

การวิจัยนี้ได้รับการเผยแพร่ครั้งแรกเมื่อวันที่ 9 สิงหาคม 2022