UniTune: เทคนิคการแก้ไขภาพแบบใหม่ของ Google

Google Research ดูเหมือนจะโจมตีการแก้ไขภาพโดยใช้ข้อความจากหลายด้าน และอาจจะรอเพื่อดูว่าอะไรจะ “ได้ผล” หลังจากการเปิดตัว Imagic paper ในสัปดาห์นี้ ยักษ์ใหญ่ด้านการค้นหานี้ได้เสนอวิธีการแก้ไขภาพโดยใช้เทคนิคการกระจายแบบแฝง (latent diffusion-based method) โดยใช้คำสั่งด้วยข้อความ ซึ่งเรียกว่า UniTune

ตามตัวอย่างที่ให้ไว้ใน เอกสารใหม่ ของโครงการ UniTune ได้สามารถแยกความหมายของภาพและแนวคิดออกจากเนื้อหาภาพที่แท้จริงได้อย่างน่าประทับใจ:

UniTune มีการควบคุมการสร้างภาพที่น่าประทับใจ โปรดสังเกตว่าในแถวบนสุดของภาพ ว่าใบหน้าของคนสองคนไม่ได้ถูกบิดเบือนโดยการเปลี่ยนแปลงที่ไม่ธรรมดาของภาพต้นฉบับ (ด้านขวา) Source: https://arxiv.org/pdf/2210.09477.pdf

สำหรับแฟน ๆ ของ Stable Diffusion จะได้เรียนรู้แล้วว่าการแก้ไขภาพบางส่วนโดยไม่เปลี่ยนแปลงส่วนอื่นของภาพอาจเป็นกระบวนการที่ยากและไม่แน่นอน แม้ว่าดิสทริบิวชันยอดนิยม เช่น AUTOMATIC1111 สามารถสร้างมาสก์สำหรับการแก้ไขท้องถิ่นและจำกัดได้ แต่กระบวนการนี้อาจซับซ้อนและไม่คาดเดาได้

คำตอบที่ชัดเจนสำหรับผู้ปฏิบัติงานด้านการมองเห็นของคอมพิวเตอร์ คือการแทรกแซงการแบ่งส่วนเชิงความหมาย (semantic segmentation) ที่สามารถรับรู้และแยกสิ่งของในภาพโดยไม่ต้องมีการแทรกแซงจากผู้ใช้ และในความเป็นจริง มีหลายโครงการใหม่ ๆ ในแนวคิดนี้

ความเป็นไปได้อีกอย่างหนึ่งในการล็อกการแก้ไขภาพที่ซับซ้อนและปนกันคือการใช้โมดูล CLIP (Contrastive Language–Image Pre-training) ของ OpenAI ซึ่งเป็นหัวใจของโมเดลการกระจายแบบแฝง เช่น DALL-E 2 และ Stable Diffusion ในการทำงานเป็นฟิลเตอร์ที่จุดซึ่งโมเดลการสร้างภาพจากข้อความพร้อมที่จะส่งการแสดงผลกลับไปยังผู้ใช้ ในบริบทนี้ CLIP ควรทำงานเป็นเซ็นเทลและโมดูลควบคุมคุณภาพ โดยปฏิเสธการแสดงผลที่ไม่เหมาะสมหรือไม่เหมาะสม

ภาษาที่ถูกบีบอัด

UniTune ที่เสนอแทน ‘ปรับแต่ง’ โมเดลการกระจายแบบแฝงที่มีอยู่ – ในกรณีนี้ คือ Imagen ของ Google โดยมีโทเค็นแบบเฉพาะที่ถูกฉีดเข้าไป ซึ่งสามารถเรียกได้โดยการรวมเข้ากับข้อความคำสั่ง

ในทางที่ดูเหมือน Google DreamBooth ซึ่งเป็นความหลงใหลในปัจจุบันของแฟน ๆ และนักพัฒนาของ Stable Diffusion ซึ่งสามารถฉีดตัวละครหรือวัตถุใหม่เข้าไปในจุดตรวจสอบที่มีอยู่ได้ภายในหนึ่งชั่วโมง โดยอาศัยเพียงภาพต้นฉบับไม่กี่ภาพ หรือ Textual Inversion ซึ่งสร้างไฟล์ ‘sidecar’ สำหรับจุดตรวจสอบ ซึ่งถือว่าเป็นไฟล์ที่ถูกฝึกฝนมาจากโมเดล และสามารถใช้ทรัพยากรของโมเดลได้โดยการปรับเปลี่ยนคลาสสิฟายเออร์ข้อความของโมเดล

ในความเป็นจริง นักวิจัยยืนยันว่า UniTune ปฏิเสธทั้งสองแนวทางนี้ พวกเขาพบว่า Textual Inversion ไม่ได้ให้รายละเอียดที่สำคัญ และ DreamBooth ‘ทำงานได้ไม่ดีและใช้เวลานานกว่า’ วิธีแก้ปัญหาที่พวกเขาตัดสินใจใช้

กระบวนการ

แม้ว่าจะมีเอกสารสองฉบับที่คล้ายคลึงกันในแง่ของฟังก์ชันการทำงานสุดท้าย แต่ก็มีความแตกต่างที่ชัดเจนระหว่าง UniTune และ Imagic – อันหลังใช้ข้อความคำสั่งภาษาธรรมชาติ ‘ไม่บีบอัด’ เพื่อชี้นำการแก้ไขภาพ ในขณะที่ UniTune ฝึกโทเค็นแบบเฉพาะในลักษณะ DreamBooth

ดังนั้น หากคุณกำลังแก้ไขด้วย Imagic และต้องการเปลี่ยนแปลงเช่นนี้…

จากเอกสาร UniTune – ผลลัพธ์ของ UniTune อยู่ทางด้านขวาสุด ในขณะที่มาสก์ที่คำนวณไว้จะเห็นได้ในภาพที่สองจากซ้าย

.. ใน Imagic คุณจะป้อน ‘คนในพื้นหลังเป็นมอนสเตอร์ขนปุย’ ใน UniTune คำสั่งเทียบเท่าจะเป็น ‘คนด้านหลังเป็น [x]’ โดยที่ x คือคำที่ไม่ธรรมดาที่ถูกผูกไว้กับแนวคิดที่ฝึกฝนมาเกี่ยวกับตัวละครมอนสเตอร์ขนปุย

กระบวนการปรับแต่ง

วิธีการ UniTune ส่งภาพต้นฉบับผ่านโมเดลการกระจายแบบแฝงด้วยชุดคำสั่งวิธีการแก้ไข โดยใช้ข้อมูลที่มีอยู่มากมายที่ฝึกฝนมาในโมเดล ในความเป็นจริง คุณสามารถทำสิ่งนี้ได้แล้วโดยใช้ฟังก์ชัน img2img ของ Stable Diffusion – แต่ไม่ใช่โดยไม่บิดเบือนหรือเปลี่ยนแปลงส่วนอื่นของภาพที่คุณต้องการเก็บไว้

ระหว่างกระบวนการ UniTune ระบบจะถูก ‘ปรับแต่ง’ ซึ่งหมายความว่า UniTune บังคับให้โมเดลกลับมาฝึกฝนใหม่ โดยมีหลายชั้นที่ไม่ถูกปิดใช้งาน (ดูรายละเอียดด้านล่าง) ในกรณีส่วนใหญ่ การปรับแต่งจะลดค่าความสูญเสียทั่วไปของโมเดลที่มีประสิทธิภาพสูงเพื่อประโยชน์ของการฉีดหรือการปรับปรุงบางสิ่งที่ต้องการสร้างหรือเพิ่มขึ้น

การ lấy mẫu

มีหลายวิธีการ lấy mẫuที่สามารถนำมาใช้เพื่อให้ได้ผลลัพธ์ที่ต้องการจากโมเดลที่ถูกปรับแต่งแล้ว รวมถึงการชี้นำแบบไม่มีคลาสสิฟายเออร์ (Classifier Free Guidance) ซึ่งเป็นฟังก์ชันหลักของ Stable Diffusion เช่นกัน

เช่นเดียวกับ Textual Inversion (และ DreamBooth ในระดับที่น้อยกว่า) UniTune สามารถใช้ในการใช้สไตล์กราฟิกที่แตกต่างกันสำหรับภาพต้นฉบับได้ เช่นเดียวกับการแก้ไขภาพที่เหมือนจริง

นักวิจัยยังทดลองกับเทคนิค ‘การเริ่มต้น晚’ ของ SDEdit ซึ่งระบบถูกกระตุ้นให้เก็บรักษารายละเอียดต้นฉบับโดยการไม่ ‘เสียง’ ตั้งแต่เริ่มต้น แต่จะรักษาลักษณะสำคัญของมันไว้

ความหน่วง

แม้ว่าครั้งแรกของระบบใหม่จะช้า และอาจจะเร็วขึ้นหรือได้รับการปรับปรุงในอนาคต แต่ UniTune และ Imagic กำลังทำการกระทำการเรียนรู้ของเครื่องจักรที่สำคัญเพื่อสร้างการแก้ไขเหล่านี้ และเป็นคำถามที่จะเห็นได้ว่ากระบวนการกินทรัพยากรมากนี้สามารถลดขนาดลงเพื่อใช้ในบ้านได้หรือไม่

ในขณะนี้ การเดินทางรอบจากข้อมูลเข้าไปจนถึงผลลัพธ์ใช้เวลาประมาณ 3 นาทีใน T4 GPU โดยมีเวลาเพิ่มเติมประมาณ 30 วินาทีสำหรับการอนุมาน (ตามที่ระบุไว้ในกระบวนการอนุมานใดๆ) ผู้เขียนยอมรับว่านี่คือความหน่วงสูง และแทบจะไม่ถือว่าเป็น ‘แบบโต้ตอบ’ แต่พวกเขายังชี้ให้เห็นว่าโมเดลยังคงอยู่และพร้อมสำหรับการแก้ไขเพิ่มเติมหลังจากที่ถูกปรับแต่งครั้งแรก จนกว่าผู้ใช้จะเสร็จสิ้นกระบวนการ ซึ่งจะช่วยลดเวลาแก้ไขต่อครั้ง

เผยแพร่ครั้งแรกเมื่อวันที่ 21 ตุลาคม 2022