การเพิ่มความแม่นยำของการแก้ไขภาพด้วย AI

แม้ว่าโมเดลการกระจายตัวของ Adobe’s Firefly จะเป็นหนึ่งในโมเดลที่ดีที่สุดในปัจจุบัน แต่ผู้ใช้ Photoshop ที่ได้ลองใช้ฟังก์ชันการสร้างภาพของมันจะสังเกตเห็นว่ามันไม่สามารถแก้ไขภาพที่มีอยู่ได้ง่ายๆ แต่จะแทนที่พื้นที่ที่ผู้ใช้เลือกด้วยภาพที่สร้างขึ้นจากข้อความที่ผู้ใช้ป้อน (แม้ว่า Firefly จะสามารถรวมภาพที่สร้างขึ้นเข้ากับภาพเดิมได้ดี)

ในเวอร์ชันเบต้าปัจจุบัน Photoshop สามารถใช้ภาพอ้างอิงเป็นคำแนะนำสำหรับการสร้างภาพได้ ซึ่งเป็นฟังก์ชันที่ผู้ใช้ Stable Diffusion ได้ใช้งานมาเป็นเวลาสองปีแล้ว โดยใช้เฟรมเวิร์กของบุคคลที่สาม เช่น Controlnet

เวอร์ชันเบต้าปัจจุบันของ Adobe Photoshop ช่วยให้ใช้ภาพอ้างอิงในการสร้างภาพใหม่ภายในพื้นที่ที่เลือก – แม้ว่ามันจะยังไม่สมบูรณ์

สิ่งนี้แสดงให้เห็นถึงปัญหาในการวิจัยการสร้างภาพ – ความยากที่โมเดลการกระจายตัวมีในการแก้ไขภาพที่มีอยู่โดยไม่ต้องสร้างภาพใหม่ทั้งหมด

แม้ว่าภาพที่สร้างขึ้นจะตามคำแนะนำของผู้ใช้ แต่มันจะสร้างภาพใหม่ทั้งหมดโดยไม่สนใจเนื้อหาของภาพเดิม (ยกเว้นการผสมผสานกับพื้นหลัง)

ปัญหานี้เกิดขึ้นเนื่องจากโมเดลการกระจายตัวสร้างภาพโดยใช้กระบวนการ denoising ที่มีหลายขั้นตอน โดยแต่ละขั้นตอนจะถูกกำหนดโดยคำแนะนำที่ผู้ใช้ป้อน เมื่อคำแนะนำถูกแปลงเป็น token ของการฝังตัว และมีโมเดลขนาดใหญ่ เช่น Stable Diffusion หรือ Flux ที่มี token ที่เกี่ยวข้องกับคำแนะนำหลายร้อยพันหรือหลายล้าน token กระบวนการจะมีการกระจายตัวที่คำนวณได้เพื่อไปสู่เป้าหมาย และแต่ละขั้นตอนจะถูกกำหนดโดยการกระจายตัวนี้

ดังนั้น เมื่อภาพถูกฉายเข้าสู่พื้นที่ 潛ของโมเดลโดยใช้วิธีการ เช่น DDIM inversion เป้าหมายคือการกู้คืนภาพเดิมให้ใกล้เคียงที่สุดเท่าที่จะเป็นไปได้ ในขณะเดียวกันก็ยังช่วยให้สามารถแก้ไขภาพได้ แต่ปัญหาคือ เมื่อภาพถูกสร้างขึ้นใหม่โดยแม่นยำยิ่งขึ้น โมเดลจะยึดติดกับโครงสร้างเดิมมากขึ้น ทำให้การแก้ไขภาพยากขึ้น

ในลักษณะเดียวกับเฟรมเวิร์กการแก้ไขภาพอื่นๆ ที่เสนอในหลายปีที่ผ่านมา โมเดล Renoise มีปัญหาในการแก้ไขภาพโดยไม่เปลี่ยนแปลงโครงสร้างเดิม

ในทางกลับกัน หากกระบวนการให้ความสำคัญกับการแก้ไขภาพ โมเดลจะผ่อนคลายการยึดติดกับภาพเดิม ทำให้สามารถแก้ไขภาพได้ง่ายขึ้น แต่จะสูญเสียความสอดคล้องกับภาพเดิม

ภารกิจที่สำเร็จ – แต่เป็นการเปลี่ยนแปลงมากกว่าการแก้ไขสำหรับเฟรมเวิร์กการแก้ไขภาพส่วนใหญ่

เนื่องจากเป็นปัญหาที่แม้แต่ Adobe ก็ยังต้องดิ้นรนในการแก้ไข จึงสามารถพิจารณาได้ว่าปัญหานี้มีความสำคัญและอาจไม่มีคำตอบที่ง่ายๆ

Tight Inversion

ดังนั้น ตัวอย่างในงานวิจัยใหม่ที่เผยแพร่ในสัปดาห์นี้จึงดึงดูดความสนใจของผม เนื่องจากงานวิจัยนี้ให้ผลลัพธ์ที่ดีขึ้นอย่างมีนัยสำคัญในพื้นที่นี้ โดยสามารถแก้ไขภาพที่ฉายเข้าสู่พื้นที่ 潛ของโมเดลได้อย่างละเอียดและแม่นยำ โดยไม่ทำให้ภาพเดิมเสียหาย

เมื่อใช้ Tight Inversion กับวิธีการแก้ไขภาพที่มีอยู่ พื้นที่ที่เลือกจะถูกพิจารณาในลักษณะที่ละเอียดมากขึ้น และการเปลี่ยนแปลงจะสอดคล้องกับเนื้อหาของภาพเดิม

นักวิจัยและผู้ใช้ LDM อาจรู้จักผลลัพธ์ประเภทนี้ เนื่องจากสามารถสร้างได้โดยใช้ระบบภายนอก เช่น Controlnet และ IP-Adapter

ในความเป็นจริง วิธีการใหม่นี้ซึ่งเรียกว่า Tight Inversion จะใช้ IP-Adapter และโมเดลที่อิงกับใบหน้าสำหรับการสร้างภาพของมนุษย์

ตัวอย่างการแก้ไขภาพที่เหมาะสมจากงานวิจัย IP-Adapter ปี 2023

ความสำเร็จที่สำคัญของ Tight Inversion คือการทำให้เทคนิคที่ซับซ้อนสามารถใช้งานได้ง่ายขึ้นโดยการสร้างโมดูลที่สามารถใช้งานได้กับระบบที่มีอยู่

ตามธรรมชาติแล้ว สิ่งนี้หมายความว่า Tight Inversion จะใช้ภาพเดิมเป็นปัจจัยในการกำหนดการแก้ไขภาพ แทนที่จะใช้คำแนะนำที่ถูกต้องเท่านั้น

ตัวอย่างการแก้ไขภาพที่ใช้ Tight Inversion

แม้ว่าผู้เขียนจะยอมรับว่าวิธีการของพวกเขายังไม่สมบูรณ์แบบ แต่พวกเขาก็รายงานว่าได้ผลลัพธ์ที่ดีกว่าเมื่อเทียบกับวิธีการอื่นๆ

งานวิจัยใหม่นี้มีชื่อว่า Tight Inversion: Image-Conditioned Inversion for Real Image Editing และมาจากนักวิจัย 5 คนจาก Tel Aviv University และ Snap Research

Method

ในตอนแรก โมเดลภาษาขนาดใหญ่จะถูกใช้ในการสร้างคำแนะนำที่หลากหลายจากภาพที่สร้างขึ้น จากนั้นจึงใช้ DDIM inversion กับภาพที่สร้างขึ้นโดยใช้คำแนะนำที่แตกต่างกัน 3 แบบ: คำแนะนำที่ใช้ในการสร้างภาพ, คำแนะนำที่สั้นลง, และคำแนะนำที่ว่างเปล่า

เมื่อใช้กระบวนการ denoising ที่ไม่มีการควบคุม (CFG) ภาพที่สร้างขึ้นจะถูกสร้างขึ้นใหม่โดยใช้คำแนะนำเดียวกัน

คะแนน DDIM inversion ที่ใช้คำแนะนำที่แตกต่างกัน

เมื่อดูจากกราฟด้านบน คะแนนจะดีขึ้นเมื่อใช้คำแนะนำที่ยาวขึ้น

Image-Conscious

โดยทั่วไปแล้ว Tight Inversion จะเปลี่ยนวิธีการแก้ไขภาพที่มีอยู่โดยใช้ภาพเดิมเป็นปัจจัยในการกำหนดการแก้ไขภาพ แทนที่จะใช้คำแนะนำที่ถูกต้องเท่านั้น

ปกติแล้ว การฉายภาพเข้าสู่พื้นที่ 潛ของโมเดลการกระจายตัวต้องใช้การประมาณค่า noise ที่จะถูก denoised เพื่อสร้างภาพเดิมขึ้นมาใหม่ วิธีการมาตรฐานจะใช้คำแนะนำที่ถูกต้องเพื่อช่วยในการกระบวนการนี้ แต่คำแนะนำที่ไม่สมบูรณ์อาจทำให้เกิดข้อผิดพลาดหรือสูญเสียรายละเอียด

Tight Inversion จะใช้ IP Adapter เพื่อใส่ข้อมูลภาพเข้าสู่โมเดล เพื่อให้สามารถสร้างภาพที่มีความแม่นยำมากขึ้น

Data and Tests

นักวิจัยได้ทดสอบ Tight Inversion โดยใช้ภาพที่มีอยู่และภาพที่สร้างขึ้นใหม่

ผลลัพธ์แสดงให้เห็นว่า Tight Inversion สามารถแก้ไขภาพที่มีอยู่ได้อย่างแม่นยำและละเอียด โดยไม่ทำให้ภาพเดิมเสียหาย

Conclusion

แม้ว่า Tight Inversion จะไม่ใช่การ突破ในหนึ่งในความท้าทายที่ยากที่สุดในการสร้างภาพ แต่ก็เป็นการปรับปรุงอย่างต่อเนื่องในพื้นที่นี้

แม้ว่าความตึงเครียดระหว่างการแก้ไขภาพและความแม่นยำจะยังคงอยู่ แต่ก็ลดลงอย่างมากตามผลลัพธ์ที่นำเสนอ

เมื่อพิจารณาว่าความท้าทายที่งานวิจัยนี้ต้องเผชิญอาจเป็นปัญหาที่ยากที่จะแก้ไขได้โดยไม่ต้องมองหาวิธีการใหม่ๆ ในอนาคต Tight Inversion จึงเป็นการปรับปรุงที่ดีในพื้นที่นี้