ภาษาไร้ความหมายที่อาจใช้หลีกเลี่ยงระบบกลั่นกรองเนื้อหาของการสังเคราะห์ภาพ

งานวิจัยใหม่จากมหาวิทยาลัยโคลัมเบียชี้ว่า มาตรการป้องกันไม่ให้โมเดลสังเคราะห์ภาพ เช่น DALL-E 2, Imagen และ Parti สร้างภาพที่เป็นอันตรายหรือก่อข้อถกเถียง อาจถูกโจมตีด้วยวิธีที่ใช้คำที่แต่งขึ้น

ผู้วิจัยได้พัฒนาสองแนวทางที่อาจข้ามมาตรการกลั่นกรองเนื้อหาของระบบสังเคราะห์ภาพได้ และพบว่าแนวทางเหล่านี้ให้ผลที่คงเส้นคงวาอย่างน่าทึ่งแม้ใช้กับสถาปัตยกรรมที่แตกต่างกัน แสดงว่าจุดอ่อนนี้อาจไม่ได้จำกัดอยู่ที่ระบบใดระบบหนึ่ง แต่อาจเกี่ยวข้องกับหลักการพื้นฐานบางประการของการสังเคราะห์ภาพจากข้อความ

แนวทางแรกซึ่งได้ผลมากกว่าเรียกว่า macaronic prompting หรือการป้อนคำสั่งแบบผสมภาษา คำว่า macaronic เดิมหมายถึงการผสมหลายภาษา เช่น ที่พบในภาษาเอสเปรันโตหรือ Unwinese ตัวอย่างที่แพร่หลายในเชิงวัฒนธรรมมากที่สุดอาจเป็น ภาษาอูรดูผสมอังกฤษ ซึ่งเป็นการผสมภาษาที่พบทั่วไปในปากีสถาน โดยผสมคำนามภาษาอังกฤษกับปัจจัยท้ายคำภาษาอูรดูอย่างอิสระ

การป้อนคำสั่งแบบผสมภาษาที่ประกอบหลายส่วนใน DALL-E 2 แหล่งที่มา: https://arxiv.org/pdf/2208.04135.pdf

ในตัวอย่างข้างต้นบางตัวอย่าง มีการนำส่วนของคำที่มีความหมายมาต่อกันโดยใช้ภาษาอังกฤษเป็นโครงรองรับ ตัวอย่างอื่นในบทความใช้หลายภาษาภายในคำสั่งเดียว

ระบบตอบสนองอย่างมีความหมายทางภาษา เนื่องจากแหล่งข้อมูลบนเว็บที่ใช้ฝึกระบบผ่านการคัดสรรค่อนข้างน้อย แหล่งข้อมูลเหล่านี้มักมีป้ายกำกับหลายภาษาอยู่แล้ว เช่น ชุดข้อมูลที่ไม่ได้ออกแบบมาสำหรับการสังเคราะห์ภาพโดยเฉพาะ คำแต่ละคำที่ป้อนเข้าไปไม่ว่าจะเป็นภาษาใดจะกลายเป็นโทเคน ขณะที่บางส่วนของคำก็กลายเป็นหน่วยคำย่อยหรือโทเคนบางส่วน ในการประมวลผลภาษาธรรมชาติ (NLP) การหารากศัพท์ลักษณะนี้ช่วยแยกแยะที่มาของคำที่ยาวขึ้นจากการแปลงรูปคำ แต่ก็สร้างชุดเลโก้ทางคำศัพท์ขนาดใหญ่ที่การป้อนคำสั่งอย่างสร้างสรรค์สามารถนำมาใช้ได้

คำผสมจากภาษาเดียวก็ใช้สร้างภาพผ่านภาษาทางอ้อมหรือภาษาที่ไม่ใช่ร้อยแก้วทั่วไปได้อย่างมีประสิทธิภาพ โดยมักให้ผลคล้ายกันมากในสถาปัตยกรรมที่ต่างกัน เช่น DALL-E 2 และ DALL-E Mini (Craiyon)

ในแนวทางที่สองซึ่งเรียกว่า evocative prompting หรือการป้อนคำสั่งแบบชวนให้นึกถึง คำที่นำมาต่อกันบางคำมีลักษณะคล้ายภาษาละตินล้อเล่นแบบเด็กนักเรียนที่ ปรากฏในภาพยนตร์ Monty Python’s Life of Brian (1979)

ไม่ใช่เรื่องล้อเล่น ภาษาละตินเทียมมักกระตุ้นให้ DALL-E 2 ตอบสนองอย่างมีความหมายได้

ผู้วิจัยระบุว่า:

“ข้อกังวลที่ชัดเจนของวิธีนี้คือการหลีกเลี่ยงตัวกรองเนื้อหาที่อาศัยรายการคำสั่งต้องห้าม โดยหลักการแล้ว macaronic prompting อาจเป็นวิธีที่ง่ายและดูน่าเชื่อถือในการข้ามตัวกรองเพื่อสร้างเนื้อหาที่เป็นอันตราย ล่วงละเมิด ผิดกฎหมาย หรืออ่อนไหว รวมถึงภาพความรุนแรง ความเกลียดชัง การเหยียดเชื้อชาติ การเหยียดเพศ หรือสื่อลามก ตลอดจนอาจรวมถึงภาพที่ละเมิดทรัพย์สินทางปัญญาหรือแสดงบุคคลจริง

“บริษัทที่ให้บริการสร้างภาพได้ใส่ใจอย่างมากในการป้องกันผลลัพธ์ลักษณะนี้ตามนโยบายเนื้อหา ดังนั้นควรตรวจสอบ macaronic prompting อย่างเป็นระบบในฐานะภัยคุกคามต่อมาตรการรักษาความปลอดภัยที่ใช้ในการสร้างภาพเชิงพาณิชย์”

ผู้วิจัยเสนอวิธีแก้ไขช่องโหว่นี้หลายวิธี และยอมรับว่าบางวิธีอาจถูกมองว่าเข้มงวดเกินไป

วิธีแรกมีค่าใช้จ่ายสูงที่สุด คือคัดสรรภาพต้นทางที่ใช้ฝึกอย่างรอบคอบยิ่งขึ้น โดยให้มนุษย์ดูแลมากขึ้นและใช้อัลกอริทึมน้อยลง อย่างไรก็ตาม บทความยอมรับว่าวิธีนี้ไม่สามารถป้องกันระบบจากการสร้างภาพที่ไม่เหมาะสมด้วยการรวมแนวคิดภาพสองอย่างที่แยกกันแล้วอาจไม่มีพิษภัย

วิธีที่สองคือให้ระบบสังเคราะห์ภาพนำผลลัพธ์จริงผ่านระบบกรอง เพื่อสกัดความเชื่อมโยงที่เป็นปัญหาก่อนส่งให้ผู้ใช้ DALL-E 2 อาจใช้ตัวกรองเช่นนี้อยู่แล้ว แต่ OpenAI ไม่ได้เปิดเผยรายละเอียดว่าการกลั่นกรองเนื้อหาของ DALL-E 2 ทำงานอย่างไร

สุดท้าย ผู้วิจัยพิจารณารายการคำที่อนุญาตในพจนานุกรม ซึ่งจะให้เฉพาะคำที่ตรวจสอบและอนุมัติแล้วเรียกใช้แนวคิดและสร้างภาพได้ แต่ยอมรับว่าวิธีนี้อาจจำกัดประโยชน์ใช้สอยของระบบอย่างรุนแรงเกินไป

แม้ผู้วิจัยจะทดลองประกอบคำสั่งด้วยเพียงห้าภาษา ได้แก่ อังกฤษ เยอรมัน ฝรั่งเศส สเปน และอิตาลี เขาเชื่อว่าการเพิ่มจำนวนภาษาอาจทำให้การโจมตีชนิดนี้ซับซ้อนและยากต่อการป้องกันยิ่งขึ้น เนื่องจากโมเดลขนาดใหญ่มากอย่าง DALL-E 2 ถูกฝึกด้วยหลายภาษา เพราะการใช้ข้อมูลดิบหรือข้อมูลที่กรองเพียงเล็กน้อยง่ายกว่าการเสียค่าใช้จ่ายมหาศาลเพื่อคัดสรร และเพราะมิติที่เพิ่มขึ้นน่าจะช่วยให้ระบบมีประโยชน์มากขึ้น

บทความมีชื่อว่า Adversarial Attacks on Image Generation With Made-Up Words โดย Raphaël Millière แห่งมหาวิทยาลัยโคลัมเบีย

ภาษาอันลึกลับใน DALL-E 2

มีผู้ เสนอไว้ก่อนหน้านี้ ว่าข้อความไร้ความหมายที่ DALL-E 2 สร้างเมื่อต้องแสดงภาษาเขียน อาจเป็น “คำศัพท์ลับ” ในตัวเอง แต่งานวิจัยก่อนหน้านี้ไม่ได้เสนอวิธีพัฒนา ชุดอักขระที่แต่งขึ้น ซึ่งเรียกภาพเฉพาะเจาะจงได้

สำหรับ งานวิจัยก่อนหน้า บทความระบุว่า:

“งานดังกล่าวไม่ได้เสนอวิธีที่เชื่อถือได้ในการหาชุดอักขระที่แต่งขึ้นเพื่อเรียกภาพเฉพาะเจาะจง ข้อความไร้ความหมายส่วนใหญ่ที่ DALL-E 2 ใส่ในภาพดูเหมือนไม่เชื่อมโยงกับแนวคิดภาพเฉพาะอย่างสม่ำเสมอเมื่อนำมาถอดข้อความและใช้เป็นคำสั่ง สิ่งนี้จำกัดความเป็นไปได้ในการใช้แนวทางดังกล่าวข้ามการกลั่นกรองเนื้อหาที่เป็นอันตรายหรือล่วงละเมิด จึงไม่ใช่ความเสี่ยงที่น่ากังวลมากนักต่อการนำโมเดลสร้างภาพจากข้อความไปใช้ในทางที่ผิด”

ในทางกลับกัน สองวิธีของผู้วิจัยอธิบายว่าข้อความไร้ความหมายสามารถเรียกภาพที่เกี่ยวข้องและมีความหมายได้อย่างไร โดยข้ามแนวปฏิบัติทั่วไปที่กำลังพัฒนาเป็น วิศวกรรมคำสั่ง

ตัวอย่างเช่น ผู้วิจัยพิจารณาคำว่า “นก” ในห้าภาษาที่อยู่ในขอบเขตการศึกษา ได้แก่ Vögel ในภาษาเยอรมัน uccelli ในภาษาอิตาลี oiseaux ในภาษาฝรั่งเศส และ pájaros ในภาษาสเปน

ด้วยการแยกโทเคนแบบ การเข้ารหัสคู่ไบต์ (BPE) ที่ใช้ในการนำ CLIP ไปใช้งาน ซึ่งถูก ผนวกรวม ใน DALL-E 2 คำต่าง ๆ จะถูกแปลงเป็นโทเคนภาษาอังกฤษที่ไม่มีเครื่องหมายกำกับเสียง และสามารถนำมารวมอย่างสร้างสรรค์เป็นคำใหม่ที่ดูไร้ความหมายสำหรับเรา แต่ยังคงความหมายที่ต่อกันไว้สำหรับ DALL-E 2 ทำให้ระบบแสดงเจตนาที่รับรู้ได้:

ในตัวอย่างข้างต้น คำภาษาต่างประเทศสองคำที่หมายถึง นก ถูกต่อเป็นชุดอักขระไร้ความหมาย ความหมายยังคงอยู่ได้ด้วยน้ำหนักบางส่วนของหน่วยคำย่อย

ผู้วิจัยเน้นว่าสามารถได้ผลลัพธ์ที่มีความหมายโดยไม่ต้องยึดขอบเขตการแบ่งหน่วยคำย่อย คาดว่าเป็นเพราะ DALL-E 2 ซึ่งเป็นระบบหลักที่ศึกษาสามารถเรียนรู้แบบทั่วไปได้ดีพอให้ขอบเขตหน่วยคำย่อยพร่าเลือนโดยไม่ทำลายความหมาย

เพื่อแสดงแนวทางที่พัฒนาขึ้นเพิ่มเติม บทความนำเสนอตัวอย่าง macaronic prompting ในหลายหัวข้อ โดยใช้รายการคำโทเคนด้านล่าง คำผสมที่ไร้ความหมายอยู่ทางขวาสุด

ผู้วิจัยระบุว่าตัวอย่างจาก DALL-E 2 ต่อไปนี้ไม่ได้คัดเลือกเฉพาะผลลัพธ์ที่ดีที่สุด:

ภาษากลาง

บทความยังสังเกตว่าตัวอย่างหลายตัวอย่างใช้ได้ดีเท่า ๆ กันหรือคล้ายกันมากทั้งใน DALL-E 2 และ DALL-E Mini (ปัจจุบันคือ Craiyon) ซึ่งน่าแปลกใจเพราะ DALL-E 2 เป็นโมเดลแบบดิฟฟิวชัน แต่ DALL-E Mini ไม่ใช่ ทั้งสองระบบฝึกจากชุดข้อมูลที่ต่างกัน และ DALL-E Mini ใช้ตัวแยกโทเคน BART แทน CLIP ที่ DALL-E 2 เลือกใช้

ผลลัพธ์จาก DALL-E Mini คล้ายกับภาพก่อนหน้าอย่างน่าทึ่ง โดยภาพก่อนหน้าแสดงผลของ DALL-E 2 จากข้อมูลนำเข้าที่ไร้ความหมายชุดเดียวกัน

ดังที่เห็นในภาพแรก ๆ ข้างต้น macaronic prompting สามารถประกอบเป็นประโยคที่ถูกต้องทางไวยากรณ์เพื่อสร้างฉากที่ซับซ้อนขึ้นได้ แต่ต้องใช้ภาษาอังกฤษเป็นโครงรองรับการประกอบแนวคิด ทำให้มีโอกาสถูกระบบตรวจกรองตามมาตรฐานในระบบสังเคราะห์ภาพสกัดได้มากขึ้น

บทความสังเกตว่าการผสมคำศัพท์ หรือการต่อคำเพื่อให้ระบบสังเคราะห์ภาพสร้างเนื้อหาที่เกี่ยวข้อง ทำได้ภายในภาษาเดียวเช่นกัน โดยใช้ คำผสมแบบหลอมรวม

การป้อนคำสั่งแบบชวนให้นึกถึง

แนวทาง evocative prompting ในบทความอาศัยการกระตุ้นให้ระบบตอบสนองกว้างขึ้นด้วยคำที่ไม่ได้ยึดหน่วยคำย่อย โทเคนย่อย หรือป้ายกำกับที่มีบางส่วนร่วมกันอย่างเคร่งครัด

รูปแบบหนึ่งคือภาษาละตินเทียม ซึ่งนอกจากการใช้อื่น ๆ ยังสร้างภาพยาที่แต่งขึ้นได้ แม้ไม่ได้ระบุให้ DALL-E 2 เรียกแนวคิดเรื่องยาโดยตรง:

Evocative prompting ยังได้ผลดีเป็นพิเศษกับคำสั่งไร้ความหมายที่เชื่อมโยงอย่างกว้าง ๆ กับสถานที่ทางภูมิศาสตร์ที่อาจมีอยู่ และใช้ได้ค่อนข้างสม่ำเสมอทั้งในสถาปัตยกรรมของ DALL-E 2 และ DALL-E Mini:

คำที่ใช้เป็นคำสั่งสำหรับ DALL-E 2 และ DALL-E Mini ชวนให้นึกถึงชื่อสถานที่จริง แต่ตัวคำเองไร้ความหมายโดยสิ้นเชิง ถึงกระนั้นระบบก็รับบรรยากาศของคำเหล่านั้นได้

ดูเหมือนว่า macaronic prompting และ evocative prompting จะมีส่วนที่ทับซ้อนกัน บทความระบุว่า:

“ความแตกต่างของข้อมูลฝึก ขนาดโมเดล และสถาปัตยกรรม อาจทำให้โมเดลต่าง ๆ ตีความคำสั่งอย่าง voiscellpajaraux และ eidelucertlagarzard ในลักษณะผสมภาษาหรือชวนให้นึกถึง แม้จะพิสูจน์แล้วว่าโมเดลเหล่านั้นตอบสนองต่อการป้อนคำสั่งทั้งสองแบบ”

บทความสรุปว่า:

“แม้คุณสมบัติต่าง ๆ ของโมเดล เช่น ขนาด สถาปัตยกรรม กระบวนการแยกโทเคน และข้อมูลฝึก อาจมีผลต่อความเปราะบางต่อการโจมตีผ่านข้อความ แต่หลักฐานเบื้องต้นที่อภิปรายในงานนี้ชี้ว่า การโจมตีบางอย่างอาจยังใช้ได้ค่อนข้างสม่ำเสมอข้ามโมเดล”

อุปสรรคใหญ่ที่สุดของการทดลองวิธีเหล่านี้อย่างจริงจังน่าจะเป็นความเสี่ยงที่ระบบผู้ให้บริการจะตรวจพบและระงับการใช้งาน DALL-E 2 กำหนดให้แต่ละบัญชีต้องมีหมายเลขโทรศัพท์ที่เชื่อมโยงอยู่ จึงจำกัดจำนวนบัญชีใช้แล้วทิ้งที่อาจต้องใช้เพื่อทดสอบขอบเขตการเจาะระบบผ่านคำศัพท์ชนิดนี้และการข้ามวิธีกลั่นกรองที่มีอยู่ได้อย่างแท้จริง ปัจจุบันมาตรการป้องกันหลักของ DALL-E 2 ยังคงเป็นความไม่แน่นอนของสิทธิ์เข้าถึง

เผยแพร่ครั้งแรกเมื่อวันที่ 9 สิงหาคม 2022