โมเดลการกระจาย eDiffi ของ NVIDIA ช่วยให้ ‘วาดภาพด้วยคำพูด’ และอื่นๆ

การพยายามสร้างองค์ประกอบที่แม่นยำด้วยโมเดลการสร้างภาพแบบการกระจายแบบแฝง เช่น Stable Diffusion อาจเหมือนกับการดูแลแมว เพราะอำนาจที่จินตนาการและตีความที่ทำให้ระบบสามารถสร้างรายละเอียดพิเศษและสร้างภาพพิเศษจากคำสั่งพื้นฐานได้ ยังเป็นสิ่งที่ยากที่จะปิดเมื่อคุณกำลังมองหาการควบคุมระดับ Photoshop เหนือการสร้างภาพ

ตอนนี้ วิธีการใหม่จาก NVIDIA research ที่เรียกว่า ensemble diffusion for images (eDiffi) ใช้การผสมผสานวิธีการฝังและตีความหลายวิธี (แทนที่จะใช้วิธีเดียวกันทั้งหมดผ่านกระบวนการ) เพื่อให้สามารถควบคุมเนื้อหาที่สร้างได้มากขึ้น ในตัวอย่างด้านล่าง เราจะเห็นผู้ใช้วาดองค์ประกอบที่แต่ละสีแทนคำเดียวจากคำสั่งพื้นฐาน:

‘วาดภาพด้วยคำพูด’ เป็นหนึ่งในความสามารถใหม่สองอย่างในโมเดลการกระจาย eDiffi ของ NVIDIA แต่ละสีที่วาดแทนคำจากคำสั่งพื้นฐาน (ดูสิ่งเหล่านี้ปรากฏทางด้านซ้ายระหว่างการสร้าง) และพื้นที่สีที่ใช้จะประกอบด้วยองค์ประกอบนั้นเท่านั้น ดูวิดีโออย่างเป็นทางการสำหรับตัวอย่างเพิ่มเติมและความละเอียดที่ดีกว่า tại https://www.youtube.com/watch?v=k6cOx9YjHJc

โดยพื้นฐานแล้ว นี่คือ ‘วาดภาพด้วยมาสก์’ และกลับกับ npainting paradigm ใน Stable Diffusion ซึ่งอาศัยการแก้ไขภาพที่เสียหายหรือไม่สมบูรณ์ หรือการขยายภาพที่อาจเป็นขนาดที่ต้องการตั้งแต่แรก

ที่นี่แทน ผู้ใช้สามารถตั้งค่าขนาดของภาพสุดท้ายตั้งแต่แรก และเพิ่มองค์ประกอบอย่างไม่ต่อเนื่อง

ตัวอย่างจากเอกสารใหม่ Source: https://arxiv.org/pdf/2211.01324.pdf

วิธีการหลากหลายที่ใช้ใน eDiffi ยังหมายความว่าระบบสามารถรวมองค์ประกอบทุกอย่างในคำสั่งพื้นฐานที่ยาวและละเอียดได้ดีกว่า ในขณะที่ Stable Diffusion และ OpenAI’s DALL-E 2 มักจะจัดลำดับความสำคัญของบางส่วนของคำสั่งพื้นฐานขึ้นอยู่กับว่าคำที่เป้าหมายปรากฏในคำสั่งพื้นฐานหรือไม่ หรือปัจจัยอื่นๆ เช่น ความยากในการแยกองค์ประกอบที่จำเป็นสำหรับการสร้างภาพที่สมบูรณ์:

จากเอกสาร: eDiffi สามารถวนซ้ำคำสั่งพื้นฐานได้จนกว่าจะได้จำนวนองค์ประกอบสูงสุดที่เป็นไปได้ แม้ว่าผลลัพธ์ที่ดีขึ้นของ eDiffi (คอลัมน์ขวาสุด) จะถูกเลือกอย่างดี แต่ภาพที่เปรียบเทียบจาก Stable Diffusion และ DALL-E 2 ก็ถูกเลือกอย่างดีเช่นกัน

นอกจากนี้ การใช้ T5 text-to-text encoder ที่อุทิศให้กับการประมวลผลข้อความ ทำให้ eDiffi สามารถสร้างข้อความภาษาอังกฤษที่เข้าใจได้ ไม่ว่าจะเป็นคำสั่งพื้นฐานที่ขอโดยไม่ชัดเจน (เช่น ภาพประกอบข้อความ [x]) หรือคำสั่งพื้นฐานที่ขอโดยชัดเจน (เช่น เสื้อเชิ้ตมีข้อความ ‘Nvidia Rocks’):

การประมวลผลข้อความที่อุทิศให้กับการประมวลผลข้อความใน eDiffi หมายความว่าข้อความสามารถแสดงในภาพได้โดยไม่ต้องผ่านชั้นการแปลข้อความ-ภาพที่บิดเบือนผลลัพธ์

การเพิ่มเติมอีกอย่างหนึ่งสำหรับเฟรมเวิร์กใหม่นี้คือสามารถใช้ภาพเดียวเป็นคำสั่งพื้นฐานได้ แทนที่จะต้องฝึกโมเดล DreamBooth หรือการฝังข้อความหลายตัวอย่างในแนวหรือ รูปแบบ

การถ่ายโอนรูปแบบสามารถใช้จากภาพอ้างอิงไปยังคำสั่งพื้นฐาน-ภาพ หรือแม้กระทั่งภาพ-ภาพ

เอกสารใหม่ ใหม่ มีชื่อเรื่อง eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers และ

เครื่องมือ T5 Text Encoder

การใช้ Google’s Text-to-Text Transfer Transformer (T5) เป็นองค์ประกอบสำคัญในการปรับปรุงผลลัพธ์ที่แสดงใน eDiffi กระบวนการแฝงแบบแยกส่วนโดยเฉลี่ยมุ่งเน้นไปที่ความสัมพันธ์ระหว่างภาพที่ฝึกและคำบรรยายที่มาพร้อมกับภาพเมื่อถูกเก็บจากอินเทอร์เน็ต (หรือปรับเปลี่ยนด้วยตนเองในภายหลัง ซึ่งเป็นการแทรกแซงที่มีค่าใช้จ่ายสูงและหายาก)

จากเอกสาร กรกฎาคม 2020 สำหรับ T5 – การแปลงข้อความซึ่งสามารถช่วยกระบวนการสร้างภาพใน eDiffi (และอาจเป็นโมเดลการกระจายแบบแฝงอื่นๆ) Source: https://arxiv.org/pdf/1910.10683.pdf

โดยการเขียนคำสั่งพื้นฐานใหม่และรันโมดูล T5 สามารถได้ความสัมพันธ์และการแสดงผลที่แม่นยำกว่าที่ฝึกไว้ในโมเดลเดิม โดยคล้ายกับการระบุฉลากด้วยตนเองหลังการฝึก โดยมีความเฉพาะเจาะจงและความสามารถในการตอบสนองคำสั่งพื้นฐานได้ดีขึ้น

ผู้เขียนอธิบายว่า:

‘ในงานที่มีอยู่ส่วนใหญ่เกี่ยวกับโมเดลการกระจาย การสร้างโมเดลลดเสียงจะถูกแบ่งปันระหว่างระดับเสียงทั้งหมด และการเปลี่ยนแปลงเชิงเวลาแสดงโดยการฝังเวลาแบบง่ายที่ถูกส่งไปยังโมเดลลดเสียงผ่านเครือข่าย MLP เราแย้งว่าการเปลี่ยนแปลงเชิงเวลาที่ซับซ้อนของการกระจายลดเสียงอาจไม่ได้รับการเรียนรู้จากข้อมูลอย่างมีประสิทธิภาพโดยใช้โมเดลที่มีความสามารถจำกัด

‘แทนที่นั้น เราเสนอให้เพิ่มความสามารถของโมเดลลดเสียงโดยการแนะนำโมเดลลดเสียงผู้เชี่ยวชาญหลายตัว ตัวลดเสียงผู้เชี่ยวชาญแต่ละตัวเป็นตัวลดเสียงที่เชี่ยวชาญสำหรับช่วงระดับเสียงเฉพาะ ซึ่งหมายความว่าเราสามารถเพิ่มความสามารถของโมเดลโดยไม่ทำให้ความซับซ้อนในการประเมินส่วนประกอบที่ประมวลผลที่แต่ละระดับเสียงเท่ากัน ‘

สถาปัตยกรรมแนวคิดสำหรับ eDiffi

โมดูลการเข้ารหัส CLIP ที่มีอยู่ใน DALL-E 2 และ Stable Diffusion ก็มีความสามารถในการค้นหาการตีความภาพอื่นๆ สำหรับข้อความที่เกี่ยวข้องกับคำสั่งพื้นฐานของผู้ใช้ แต่พวกมันถูกฝึกด้วยข้อมูลที่คล้ายกับโมเดลเดิม และไม่ได้ถูกใช้เป็นชั้นการแปลที่แยกออกมาในลักษณะเดียวกับ T5 ใน eDiffi

ผู้เขียนระบุว่า eDiffi เป็นครั้งแรกที่ทั้ง T5 และ CLIP encoder ถูกนำมาใช้ในกระบวนการเดียวกัน:

’เนื่องจากตัวเข้ารหัสทั้งสองนี้ถูกฝึกด้วยวัตถุประสงค์ที่แตกต่างกัน การฝังของพวกมันจึงช่วยให้เกิดรูปแบบภาพที่แตกต่างกันสำหรับข้อความพื้นฐานเดียวกัน ในขณะที่การฝัง CLIP ช่วยให้กำหนดรูปร่างภาพที่สร้างขึ้นได้ แต่การฝัง T5 ช่วยให้สร้างภาพที่สะท้อนถึงวัตถุแต่ละชิ้นที่อธิบายไว้ในข้อความ แต่รูปร่างภาพโดยรวมนั้นไม่ถูกต้อง การใช้ทั้งสองร่วมกันทำให้ได้ผลลัพธ์การสร้างภาพที่ดีที่สุดในโมเดลของเรา’

การหยุดชะงักและการเพิ่มกระบวนการการกระจาย

เอกสารระบุว่าโมเดลการกระจายแบบแฝงโดยทั่วไปจะเริ่มต้นการเดินทางจากเสียงดังไปยังภาพโดยอาศัยข้อความในขั้นตอนแรกของการสร้าง

เมื่อเสียงดังลดลงและกลายเป็นภาพที่มีรูปร่างที่แสดงถึงคำสั่งพื้นฐาน การกระบวนการจะเปลี่ยนจากข้อความ-ภาพไปยังภาพ-ภาพ

สิ่งนี้หมายความว่าองค์ประกอบใดๆ ที่ไม่ได้รับการแก้ไขในขั้นตอนแรกของการสร้างจะยากที่จะใส่เข้าไปในภาพในภายหลัง เนื่องจากกระบวนการทั้งสอง (ข้อความ-ภาพ และ ภาพ-ภาพ) มีการทับซ้อนกันไม่มาก และรูปร่างภาพที่สร้างขึ้นจะถูกผูกไว้กับกระบวนการสร้างภาพ

จากเอกสาร: แผนที่ความสนใจของส่วนต่างๆ ในกระบวนการการกระจายแบบแฝงเมื่อกระบวนการสร้างภาพดำเนินไป เราสามารถเห็นการลดลงของอิทธิพล CLIP ต่อภาพในแถวล่าง ในขณะที่ T5 ยังคงมีอิทธิพลต่อภาพจนถึงกระบวนการสร้างที่สมบูรณ์

ศักยภาพทางอาชีพ

ตัวอย่างที่หน้าโครงการและวิดีโอยูทูบมุ่งเน้นไปที่การสร้างภาพที่น่ารักและน่าดึงดูด ในขณะที่ NVIDIA research ลดความสำคัญของศักยภาพในการปรับปรุงกระบวนการสร้างภาพและวิดีโอที่มีรายละเอียดสูง

ในตัวอย่าง ผู้ใช้ใหม่หรือผู้ใช้ที่ไม่มีประสบการณ์จะวาดเส้นรอบรูปขององค์ประกอบที่จะวางไว้ ในขณะที่ในกระบวนการสร้างภาพที่มีระบบมากกว่า อาจเป็นไปได้ที่จะใช้ eDiffi เพื่อตีความหลายเฟรมของวิดีโอโดยใช้ข้อความ-ภาพ โดยที่เส้นรอบรูปขององค์ประกอบจะถูกกำหนดไว้อย่างชัดเจนและอาศัยตัวเลขที่มีพื้นหลังที่ถูกตัดออกโดยใช้เทคนิคกรีนสกรีนหรือการประมวลผลอัลกอริทึม

Runway ML มีเครื่องมือ AI สำหรับการตัดตัวแบบแล้ว Source: https://twitter.com/runwayml/status/1330978385028374529

การใช้โมเดล DreamBooth ที่ฝึกไว้และกระบวนการภาพ-ภาพโดยใช้ eDiffi อาจเป็นไปได้ที่จะแก้ไขปัญหาหนึ่งของโมเดลการกระจายแบบแฝง: ความเสถียรของเวลา ในกรณีนี้ ทั้งพื้นที่และเนื้อหาของภาพจะถูก ‘ล็อค’ ไว้กับพื้นผิวของผู้ใช้ โดยมีการรักษาความต่อเนื่องของเนื้อหาที่สร้างขึ้น (เช่น การเปลี่ยนนักกีฬาเทควันโดเป็นหุ่นยนต์) โดยใช้โมเดล DreamBooth ที่มีการฝึกอบรมและ ‘จดจำ’ ข้อมูลการฝึกอบรม – ซึ่งไม่ดีสำหรับการตีความ แต่ดีสำหรับการทำซ้ำและความต่อเนื่อง

วิธีการ ข้อมูล และการทดสอบ

เอกสารระบุว่าโมเดล eDiffi ถูกฝึกด้วย ‘ชุดข้อมูลสาธารณะและเอกชน’ ที่ถูกกรองโดยโมเดล CLIP ที่ฝึกไว้ล่วงหน้า เพื่อลบภาพที่อาจทำให้คะแนนภาพโดยรวมลดลง ชุดข้อมูลสุดท้ายประกอบด้วย ‘ประมาณหนึ่งพันล้าน’ คู่ข้อความ-ภาพ ขนาดของภาพที่ฝึกมีด้านที่สั้นที่สุดมากกว่า 64 พิกเซล

หลายโมเดลถูกฝึกสำหรับกระบวนการนี้ โดยทั้งโมเดลฐานและโมเดลความละเอียดสูงถูกฝึกด้วยตัวเลือก AdamW ที่อัตราการเรียนรู้ 0.0001 โดยมีการลดความสำคัญของน้ำหนัก 0.01 และขนาดแบตช์ 2048

โมเดลฐานถูกฝึกด้วย 256 GPU A100 ของ NVIDIA และโมเดลความละเอียดสูงสองตัวถูกฝึกด้วย 128 GPU A100 ของ NVIDIA สำหรับแต่ละโมเดล

ระบบนี้ใช้ไลบรารี PyTorch ของ NVIDIA ที่เรียกว่า Imaginaire Imaginaire ชุดข้อมูล COCO และ Visual Genome ถูกใช้ในการประเมิน แต่ไม่ได้ถูกรวมเข้ากับโมเดลสุดท้าย โดยใช้ชุดข้อมูล MS-COCO สำหรับการทดสอบ ระบบที่เป็นคู่แข่งที่ถูกทดสอบ ได้แก่ GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, Imagen และ Parti ของ Google

ตามงานก่อนหน้า ก่อนหน้า นี้ ใช้ FID-30K เป็นมาตรการประเมิน ในการประเมินนี้ 30,000 คำบรรยายถูกสุ่มจากชุดข้อมูลการตรวจสอบ COCO (ไม่ใช่ภาพหรือข้อความที่ใช้ในการฝึก) และใช้เป็นคำสั่งพื้นฐานสำหรับการสังเคราะห์ภาพ

ระยะทาง Fréchet Inception (FID) ระหว่างภาพที่สร้างและภาพที่แท้จริงถูกคำนวณ นอกเหนือจากการบันทึกคะแนน CLIP สำหรับภาพที่สร้างขึ้น

ผลลัพธ์จากการทดสอบ FID แบบไม่มีการฝึก โดยมีค่าผลลัพธ์ที่ต่ำกว่าหมายถึงผลลัพธ์ที่ดีกว่า

ในผลลัพธ์ eDiffi สามารถได้คะแนน FID ที่ต่ำที่สุด (ดีที่สุด) แม้จะเทียบกับระบบที่มีพารามิเตอร์มากกว่า เช่น Parti ที่มี 20 พันล้านพารามิเตอร์ เมื่อเทียบกับ 9.1 พันล้านพารามิเตอร์ในโมเดล eDiffi ที่มีคะแนนสูงสุด

สรุป

eDiffi ของ NVIDIA เป็นทางเลือกที่น่าสนใจในการเพิ่มความซับซ้อนและข้อมูลให้กับระบบที่มีอยู่ โดยใช้วิธีการที่ฉลาดและชั้นในการแก้ไขอุปสรรคที่ยากที่สุดในการกระจายแบบแฝง

มีการอภิปรายแล้วใน subreddit และ Discord ของ Stable Diffusion เกี่ยวกับการนำโค้ด eDiffi ที่อาจจะเผยแพร่มาใช้หรือการนำหลักการของ eDiffi มาใช้ในการนำไปใช้ใหม่ กระบวนการใหม่นี้แตกต่างมาก จนกระทั่งถ้าจะนำไปใช้กับ Stable Diffusion จะต้องมีการเปลี่ยนแปลงครั้งใหญ่ โดยที่อาจต้องสละความเข้ากันได้แบบย้อนหลัง แต่จะให้การควบคุมที่ดีขึ้นมากในการสร้างภาพสุดท้าย โดยไม่ต้องสละอำนาจจินตนาการของการกระจายแบบแฝง

เผยแพร่ครั้งแรกเมื่อวันที่ 3 พฤศจิกายน 2022