มุมมองของ Anderson

วิธีการทราบว่าระบบสังเคราะห์ภาพกำลังสร้างผลงาน ‘ดั้งเดิม’ จริงหรือไม่

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
'Teddy bears working on new AI research underwater with 1990s technology' – Source: https://www.creativeboom.com/features/meet-dall-e/

การศึกษาใหม่จากประเทศเกาหลีใต้ได้เสนอวิธีการในการพิจารณาว่าระบบสังเคราะห์ภาพกำลังสร้างภาพที่เป็น ‘ดั้งเดิม’ จริงๆ หรือไม่ หรือว่าเป็นเพียง ‘รูปแบบที่เล็กน้อย’ ของข้อมูลการฝึกอบรมที่อาจทำให้ระบบไม่สามารถสร้างผลงานที่เป็น ‘ดั้งเดิม’ ได้

โดยทั่วไปแล้ว ระบบสังเคราะห์ภาพมักจะใช้เมตริกที่มีอยู่เพื่อปรับปรุงความสามารถในการสร้างภาพที่ดูเหมือนจริง แต่เมตริกเหล่านี้มักจะทำให้ระบบสร้างภาพที่ดูเหมือนกับภาพที่ใช้ในการฝึกอบรมมากกว่า

นอกจากนี้ หากภาพที่สร้างขึ้นมีดูเหมือนกับภาพที่ใช้ในการฝึกอบรม มันจะถูกจัดให้เป็นภาพที่ ‘ดูเหมือนจริง’ มากกว่าภาพที่ ‘ดั้งเดิม’ เพราะมัน ‘忠实’ แต่ไม่ได้ ‘สร้างสรรค์’

ในภาคส่วนนี้ ที่ยังใหม่และไม่ได้รับการทดสอบอย่างเต็มที่ ผลกระทบทางกฎหมายของระบบสังเคราะห์ภาพที่ไม่สามารถสร้างผลงานที่เป็น ‘ดั้งเดิม’ ได้อาจเป็นปัญหาใหญ่ หากพบว่าเนื้อหาสังเคราะห์ที่ถูกพาณิชย์ไม่ได้แตกต่างมากจากเนื้อหาที่มีลิขสิทธิ์ที่ใช้ในการฝึกอบรม

ในแง่ของการสร้างภาพที่ดูเหมือนจริงจากระบบสังเคราะห์ภาพ เช่น OpenAI’s DALL-E 2, Google’s Imagen และ China’s CogView มีทางเลือกที่จะทดสอบความ ‘ดั้งเดิม’ ของภาพที่สร้างขึ้นได้ไม่มาก

จริงๆ แล้ว การค้นหาภาพที่สร้างขึ้นจาก DALL-E 2 บนเครื่องมือค้นหาอินเทอร์เน็ตมักจะพบเพียงภาพที่สร้างขึ้นจาก DALL-E 2 เท่านั้น

นักวิจัยจาก Kim Jaechul Graduate School of AI ที่ Korea Advanced Institute of Science and Technology (KAIST AI) ได้ร่วมมือกับ NAVER Corp เพื่อพัฒนา ‘Rarity Score’ ที่สามารถช่วยในการระบุผลงานที่ ‘ดั้งเดิม’ ของระบบสังเคราะห์ภาพได้

eyond the ‘Cheap Trick’

วิธีการที่ใช้ก่อนหน้านี้ เช่น ‘Truncation Trick’ ที่เสนอในปี 2019 โดย Heriot-Watt University และ Google’s DeepMind ได้ใช้การกระจายตัวที่แตกต่างสำหรับการตัวอย่างมากกว่าการฝึกอบรม

นักวิจัยที่พัฒนา ‘Truncation Trick’ ได้พบว่ามันใช้ได้ผล แต่ยอมรับว่ามันลดความหลากหลายของผลงานที่สร้างขึ้น

Technique

นักวิจัยได้ใช้ ‘K-Nearest Neighbors’ (KNNs) เพื่อแสดงข้อมูลการฝึกอบรมและข้อมูลที่สร้างขึ้นในระบบสังเคราะห์ภาพ

Comparisons and Experiments

นักวิจัยได้ทดสอบ ‘Rarity Score’ กับ ‘Truncation Trick’ และ ‘Realism Score’ ของ NVIDIA และพบว่ามันสามารถระบุผลงานที่ ‘ดั้งเดิม’ ได้ดีกว่า

Beyond Limited Tasks

แม้ว่านักวิจัยจะทดสอบ ‘Rarity Score’ กับระบบสังเคราะห์ภาพที่มีโดเมนจำกัด แต่มันสามารถใช้ได้กับระบบสังเคราะห์ภาพที่มีโดเมนใดๆ ก็ตามที่ต้องการระบุผลงานที่ ‘ดั้งเดิม’

ในทางปฏิบัติ ‘Rarity Score’ สามารถใช้เพื่อระบุผลงานที่ ‘ดั้งเดิม’ ในระบบสังเคราะห์ภาพ เช่น DALL-E series โดยใช้ระยะห่างระหว่างผลงานที่สร้างขึ้นและข้อมูลการฝึกอบรม

นี่อาจเป็นวิธีการที่ดีในการระบุ ‘จุดเริ่มต้นของการสร้างสรรค์’ ในระบบสังเคราะห์ภาพ ซึ่งเป็นจุดที่ระบบสามารถสร้างผลงานที่ ‘ดั้งเดิม’ ได้จริงๆ

* My conversions of the authors’ inline citations to hyperlinks.

First published 20th มิถุนายน 2022.

นักเขียนเกี่ยวกับเครื่องมือการเรียนรู้ของเครื่อง และผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์ อดีตหัวหน้าเนื้อหาวิจัยที่ Metaphysic.ai จนกระทั่งถูกยุบเข้ากับ Brahma.ai ของ DNEG
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai