HD-Painter: การวาดภาพด้วยข้อความที่มีความละเอียดสูงด้วยแบบจำลองการแพร่กระจาย

แบบจำลองการแพร่กระจาย ได้ปฏิวัติอุตสาหกรรม AI และ ML อย่างไม่ต้องสงสัย โดยแอปพลิเคชันแบบเรียลไทม์กลายเป็นส่วนสำคัญในชีวิตประจำวันของเรา หลังจากที่โมเดลข้อความเป็นรูปภาพแสดงความสามารถอันน่าทึ่ง เทคนิคการจัดการภาพที่อิงการแพร่กระจาย เช่น การสร้างที่ควบคุมได้ การสังเคราะห์ภาพเฉพาะทางและเฉพาะบุคคล การแก้ไขภาพระดับวัตถุ รูปแบบที่มีเงื่อนไขทันที และการแก้ไข กลายเป็นหัวข้อการวิจัยที่กำลังได้รับความนิยมเนื่องจาก สู่การใช้งานในอุตสาหกรรมคอมพิวเตอร์วิทัศน์

อย่างไรก็ตาม แม้จะมีความสามารถที่น่าประทับใจและผลลัพธ์ที่ยอดเยี่ยม แต่เฟรมเวิร์กข้อความเป็นรูปภาพ โดยเฉพาะอย่างยิ่งเฟรมเวิร์กการวาดภาพด้วยข้อความเป็นรูปภาพ ยังคงมีศักยภาพในการพัฒนา ซึ่งรวมถึงความสามารถในการเข้าใจฉากทั่วโลก โดยเฉพาะอย่างยิ่งเมื่อลดสัญญาณรบกวนของภาพในช่วงเวลาที่มีการแพร่กระจายสูง เพื่อแก้ไขปัญหานี้ นักวิจัยได้แนะนำ HD-Painter ซึ่งเป็นเฟรมเวิร์กที่ไม่ต้องฝึกอบรมใดๆ ทั้งสิ้น ซึ่งปฏิบัติตามคำแนะนำที่รวดเร็วอย่างแม่นยำ และปรับขนาดให้เป็นภาพที่มีความละเอียดสูงในการวาดภาพได้อย่างสอดคล้องกัน กรอบงาน HD-Painter ใช้เลเยอร์ Prompt Aware Introverted Attention (PAIntA) ซึ่งใช้ประโยชน์จากข้อมูลที่รวดเร็วเพื่อเพิ่มคะแนนความสนใจในตนเอง ส่งผลให้การสร้างการจัดตำแหน่งข้อความดีขึ้น

เพื่อปรับปรุงการเชื่อมโยงกันของพรอมต์ให้ดียิ่งขึ้น โมเดล HD-Painter ขอแนะนำแนวทาง Reweighting Attention Score Guidance (RASG) แนวทางนี้จะรวมกลยุทธ์การสุ่มตัวอย่างภายหลังเฉพาะกิจเข้ากับรูปแบบทั่วไปของส่วนประกอบ DDIM ได้อย่างราบรื่น ป้องกันการเปลี่ยนแปลงแฝงที่แฝงอยู่นอกการกระจาย นอกจากนี้ เฟรมเวิร์ก HD-Painter ยังมีเทคนิคพิเศษที่มีความละเอียดสูงพิเศษซึ่งปรับแต่งมาสำหรับการลงสี ซึ่งช่วยให้ขยายไปสู่สเกลที่ใหญ่ขึ้นและเติมเต็มส่วนที่ขาดหายไปของภาพด้วยความละเอียดสูงสุด 2K

HD-จิตรกร: การวาดภาพด้วยข้อความนำหน้า

โมเดลการแพร่กระจายข้อความเป็นรูปภาพเป็นหัวข้อสำคัญในอุตสาหกรรม AI และ ML ในช่วงไม่กี่เดือนที่ผ่านมา โดยมีโมเดลที่แสดงให้เห็นถึงความสามารถแบบเรียลไทม์ที่น่าประทับใจในแอปพลิเคชันเชิงปฏิบัติต่างๆ โมเดลการสร้างข้อความเป็นรูปภาพที่ได้รับการฝึกอบรมล่วงหน้า เช่น DALL-E, Imagen และ Stable Diffusion ได้แสดงให้เห็นถึงความเหมาะสมสำหรับการสร้างภาพให้สมบูรณ์โดยการรวมบริเวณที่ไม่รู้จักที่ถูก denoised (สร้าง) เข้ากับบริเวณที่รู้จักแบบกระจัดกระจายในระหว่างกระบวนการแพร่กระจายแบบย้อนกลับ แม้จะผลิตผลงานที่น่าดึงดูดสายตาและกลมกลืนกัน แต่โมเดลที่มีอยู่ยังคงประสบปัญหาในการทำความเข้าใจฉากระดับโลก โดยเฉพาะอย่างยิ่งภายใต้กระบวนการลดสัญญาณรบกวนในขั้นเวลาที่มีการแพร่กระจายสูง ด้วยการปรับเปลี่ยนโมเดลการแพร่กระจายข้อความเป็นรูปภาพที่ได้รับการฝึกไว้ล่วงหน้าเพื่อรวมข้อมูลบริบทเพิ่มเติม จึงสามารถปรับแต่งอย่างละเอียดเพื่อความสมบูรณ์ของรูปภาพที่มีข้อความนำทางได้

นอกจากนี้ ภายในโมเดลการแพร่กระจาย การลงสีด้วยข้อความนำทางและการทำให้รูปภาพพร้อมข้อความนำทางเป็นประเด็นหลักที่น่าสนใจสำหรับนักวิจัย ความสนใจนี้ได้รับแรงผลักดันจากข้อเท็จจริงที่ว่าโมเดลการวาดภาพด้วยข้อความนำทางสามารถสร้างเนื้อหาในพื้นที่เฉพาะของภาพที่ป้อนเข้าโดยอิงจากข้อความแจ้ง ซึ่งนำไปสู่การใช้งานที่เป็นไปได้ เช่น การรีทัชพื้นที่รูปภาพเฉพาะ การแก้ไขคุณลักษณะของวัตถุ เช่น สีหรือเสื้อผ้า และการเพิ่มหรือ แทนที่วัตถุ โดยสรุป โมเดลการแพร่กระจายข้อความเป็นรูปภาพเพิ่งประสบความสำเร็จอย่างที่ไม่เคยมีมาก่อน เนื่องจากความสามารถในการสร้างภาพที่สมจริงและน่าดึงดูดเป็นพิเศษ

อย่างไรก็ตาม กรอบงานที่มีอยู่ส่วนใหญ่แสดงให้เห็นถึงการละเลยทันทีในสองสถานการณ์ อย่างแรกก็คือ การปกครองเบื้องหลัง เมื่อแบบจำลองเสร็จสิ้นขอบเขตที่ไม่รู้จักโดยไม่สนใจพรอมต์ในเบื้องหลังในขณะที่สถานการณ์ที่สองคือ การครอบงำวัตถุใกล้เคียง เมื่อแบบจำลองเผยแพร่ออบเจ็กต์ขอบเขตที่รู้จักไปยังขอบเขตที่ไม่รู้จักโดยใช้ความน่าจะเป็นบริบทของภาพแทนที่จะเป็นพรอมต์อินพุต มีความเป็นไปได้ที่ปัญหาทั้งสองนี้อาจเป็นผลมาจากความสามารถของ vanilla inpainting diffusion ในการตีความข้อความแจ้งอย่างแม่นยำหรือผสมกับข้อมูลบริบทที่ได้รับจากภูมิภาคที่รู้จัก 

เพื่อจัดการกับอุปสรรคเหล่านี้ เฟรมเวิร์ก HD-Painter ขอแนะนำเลเยอร์ Prompt Aware Introverted Attention หรือ PAIntA ที่ใช้ข้อมูลที่พร้อมท์เพื่อปรับปรุงคะแนนความสนใจในตนเอง ซึ่งท้ายที่สุดจะส่งผลให้การสร้างการจัดตำแหน่งข้อความดีขึ้นในท้ายที่สุด PAIntA ใช้การปรับสภาพข้อความที่กำหนดเพื่อปรับปรุง ความสนใจตนเอง คะแนนโดยมีเป้าหมายเพื่อลดผลกระทบของข้อมูลที่เกี่ยวข้องที่ไม่พร้อมท์จากขอบเขตของภาพ ในขณะเดียวกันก็เพิ่มการมีส่วนร่วมของพิกเซลที่รู้จักซึ่งสอดคล้องกับพรอมต์ เพื่อปรับปรุงการจัดตำแหน่งข้อความของผลลัพธ์ที่สร้างขึ้น เฟรมเวิร์ก HD-Painter ใช้วิธีการแนะนำแบบหลังเฉพาะกิจที่ใช้ประโยชน์จากคะแนนความสนใจข้ามสาย อย่างไรก็ตาม การดำเนินการตามกลไกการแนะนำหลังกิจวัตรวานิลลาอาจทำให้เกิดการเปลี่ยนแปลงการกระจายอันเป็นผลมาจากเทอมเกรเดียนต์เพิ่มเติมในสมการการแพร่ การเปลี่ยนแปลงการไม่จำหน่ายจะส่งผลให้คุณภาพของผลผลิตที่สร้างขึ้นลดลงในที่สุด เพื่อจัดการกับสิ่งกีดขวางบนถนนนี้ กรอบงาน HD-Painter จะใช้ Reweighting Attention Score Guidance หรือ RASG ซึ่งเป็นวิธีการที่รวมกลยุทธ์การสุ่มตัวอย่างหลังการทดลองเข้ากับรูปแบบทั่วไปของส่วนประกอบ DDIM ได้อย่างราบรื่น ช่วยให้เฟรมเวิร์กสร้างผลลัพธ์ในการวาดภาพที่เป็นไปได้ด้วยการมองเห็น โดยการนำตัวอย่างไปยังค่าแฝงที่จัดชิดทันที และรวมไว้ในโดเมนที่ได้รับการฝึกอบรม

ด้วยการปรับใช้ทั้งส่วนประกอบ RASH และ PAIntA ในสถาปัตยกรรม เฟรมเวิร์ก HD-Painter จึงมีข้อได้เปรียบที่สำคัญเหนือที่มีอยู่ ซึ่งรวมถึงความทันสมัย ​​การลงสี และโมเดลการแพร่กระจายข้อความเป็นรูปภาพ เนื่องจากสามารถจัดการเพื่อแก้ไขปัญหาที่มีอยู่ของการละเลยทันที นอกจากนี้ ทั้งส่วนประกอบ RASH และ PAIntA ยังมีฟังก์ชันการทำงานแบบพลักแอนด์เพลย์ ช่วยให้สามารถใช้งานร่วมกับโมเดลการลงสีฐานการแพร่กระจายเพื่อรับมือกับความท้าทายที่กล่าวมาข้างต้น นอกจากนี้ ด้วยการใช้เทคโนโลยีการผสมแบบวนซ้ำตามเวลาและโดยการใช้ประโยชน์จากความสามารถของ โมเดลการแพร่กระจายที่มีความละเอียดสูงไปป์ไลน์ HD-Painter สามารถทำงานได้อย่างมีประสิทธิภาพสำหรับความละเอียดสูงสุด 2K ในการวาดภาพ 

โดยสรุป HD-Painter มีเป้าหมายที่จะสนับสนุนผลงานต่อไปนี้ในสาขานี้:

1. มีจุดมุ่งหมายเพื่อแก้ไขปัญหาการละเลยในทันทีของพื้นหลังและการครอบงำของวัตถุในบริเวณใกล้เคียงซึ่งพบโดยเฟรมเวิร์กการวาดภาพในรูปภาพที่มีข้อความนำทางโดยการใช้เลเยอร์ Prompt Aware Introverted Attention หรือ PAIntA ในสถาปัตยกรรม 
2. โดยมีจุดมุ่งหมายเพื่อปรับปรุงการจัดแนวข้อความของเอาต์พุตโดยการใช้ Reweighting Attention Score Guidance หรือเลเยอร์ RASG ในสถาปัตยกรรมที่ช่วยให้เฟรมเวิร์ก HD-Painter ดำเนินการสุ่มตัวอย่างแบบแนะนำหลังเลิกงาน ในขณะเดียวกันก็ป้องกันการกระจายกะ 
3. เพื่อออกแบบไปป์ไลน์การทำให้ภาพสมบูรณ์ด้วยข้อความนำทางโดยไม่ต้องมีการฝึกอบรมที่มีประสิทธิภาพ ซึ่งมีประสิทธิภาพเหนือกว่าเฟรมเวิร์กล้ำสมัยที่มีอยู่ และใช้เฟรมเวิร์กความละเอียดสูงเฉพาะทางในการลงสีที่เรียบง่ายแต่มีประสิทธิภาพ เพื่อดำเนินการรูปภาพนำด้วยข้อความในการวาดภาพด้วยความละเอียดสูงสุด 2K 

HD-Painter: วิธีการและสถาปัตยกรรม

ก่อนที่เราจะดูสถาปัตยกรรม จำเป็นอย่างยิ่งที่จะต้องเข้าใจแนวคิดพื้นฐานสามประการที่เป็นรากฐานของกรอบงาน HD-Painter: การลงสีด้วยภาพ, คำแนะนำหลังการขายในกรอบการแพร่ภาพ, และ การทาสีบล็อกสถาปัตยกรรมเฉพาะ 

การวาดภาพด้วยรูปภาพเป็นแนวทางที่มีจุดมุ่งหมายเพื่อเติมเต็มส่วนที่ขาดหายไปภายในรูปภาพ ในขณะเดียวกันก็รับประกันความน่าดึงดูดทางสายตาของรูปภาพที่สร้างขึ้น เฟรมเวิร์กการเรียนรู้เชิงลึกแบบดั้งเดิมใช้วิธีการที่ใช้ภูมิภาคที่รู้จักเพื่อเผยแพร่ฟีเจอร์เชิงลึก อย่างไรก็ตาม การแนะนำแบบจำลองการแพร่กระจายส่งผลให้เกิดวิวัฒนาการของแบบจำลองในการวาดภาพ โดยเฉพาะอย่างยิ่งกรอบงานการวาดภาพที่มีข้อความนำทาง ตามเนื้อผ้า แบบจำลองการแพร่กระจายข้อความเป็นรูปภาพที่ได้รับการฝึกอบรมมาล่วงหน้าจะแทนที่พื้นที่ที่ซ่อนเร้นของสิ่งที่แฝงอยู่โดยใช้เวอร์ชันที่มีสัญญาณรบกวนของขอบเขตที่รู้จักในระหว่างกระบวนการสุ่มตัวอย่าง แม้ว่าวิธีการนี้จะได้ผลในระดับหนึ่ง แต่ก็ลดคุณภาพของเอาต์พุตที่สร้างขึ้นอย่างมาก เนื่องจากเครือข่าย denoising จะเห็นเฉพาะเวอร์ชันที่มีสัญญาณรบกวนของภูมิภาคที่รู้จักเท่านั้น เพื่อจัดการกับอุปสรรคนี้ มีแนวทางบางประการที่มุ่งปรับแต่งข้อความที่ได้รับการฝึกอบรมล่วงหน้าให้เป็นโมเดลรูปภาพ เพื่อให้ได้ภาพที่มีข้อความนำทางในการวาดภาพ ด้วยการนำแนวทางนี้ไปใช้ กรอบงานจะสามารถสร้างมาสก์แบบสุ่มผ่านการต่อข้อมูลได้ เนื่องจากโมเดลสามารถกำหนดเงื่อนไขกรอบงาน denoising ในพื้นที่ที่ไม่ได้ปิดบังได้ 

โมเดลการเรียนรู้เชิงลึกแบบดั้งเดิมได้ใช้เลเยอร์การออกแบบพิเศษเพื่อการลงสีที่มีประสิทธิภาพ โดยบางเฟรมเวิร์กสามารถดึงข้อมูลได้อย่างมีประสิทธิภาพ และสร้างภาพที่ดึงดูดสายตาด้วยการใช้เลเยอร์การบิดแบบพิเศษเพื่อจัดการกับบริเวณที่รู้จักของภาพ เฟรมเวิร์กบางตัวยังเพิ่มเลเยอร์ความสนใจตามบริบทในสถาปัตยกรรมของพวกเขา เพื่อลดความต้องการด้านการคำนวณหนักที่ไม่พึงประสงค์ของทุกคน ไปจนถึงความสนใจในตนเองทั้งหมดสำหรับการวาดภาพคุณภาพสูง 

สุดท้ายนี้ วิธีการแนะนำแบบโพสต์เฉพาะกิจคือวิธีการสุ่มตัวอย่างแบบแพร่กระจายแบบย้อนกลับที่เป็นแนวทางในการทำนายแฝงในขั้นตอนถัดไปไปสู่วัตถุประสงค์การลดฟังก์ชันเฉพาะ วิธีการแนะนำหลังการดำเนินการมีประโยชน์อย่างมากในการสร้างเนื้อหาภาพ โดยเฉพาะอย่างยิ่งเมื่อมีข้อจำกัดเพิ่มเติม อย่างไรก็ตาม วิธีการแนะนำหลังการแก้ไขมีข้อเสียเปรียบที่สำคัญ: เป็นที่ทราบกันว่าวิธีการเหล่านี้ส่งผลให้คุณภาพของภาพลดลง เนื่องจากมีแนวโน้มที่จะเปลี่ยนกระบวนการสร้างแฝงด้วยคำไล่ระดับ 

เมื่อมาถึงสถาปัตยกรรมของ HD-Painter เฟรมเวิร์กจะกำหนดปัญหาการทำให้รูปภาพสมบูรณ์ตามคำแนะนำด้วยข้อความ จากนั้นจึงแนะนำโมเดลการแพร่กระจายสองแบบ ได้แก่ Stable Inpainting และ การแพร่กระจายที่เสถียร. จากนั้นโมเดล HD-Painter จะแนะนำบล็อก PAIntA และ RASG และในที่สุดเราก็มาถึงเทคนิคความละเอียดสูงพิเศษในการลงสีโดยเฉพาะ 

การแพร่กระจายที่เสถียรและการวาดภาพที่เสถียร

Stable Diffusion คือโมเดลการแพร่กระจายที่ทำงานภายในพื้นที่แฝงของตัวเข้ารหัสอัตโนมัติ สำหรับการสังเคราะห์ข้อความเป็นรูปภาพ กรอบงาน Stable Diffusion จะใช้ข้อความแจ้งเพื่อเป็นแนวทางในกระบวนการ ฟังก์ชั่นการนำทางมีโครงสร้างคล้ายกับสถาปัตยกรรม UNet และเลเยอร์การสนใจข้ามจะกำหนดเงื่อนไขในข้อความแจ้ง นอกจากนี้ โมเดล Stable Diffusion ยังสามารถดำเนินการวาดภาพด้วยการดัดแปลงและการปรับแต่งบางอย่างได้ เพื่อให้บรรลุเป้าหมายดังกล่าว คุณสมบัติของภาพที่มาสก์ที่สร้างโดยตัวเข้ารหัสจะถูกต่อเข้ากับไบนารีมาสก์ที่ลดขนาดลงไปจนถึงค่าแฝง จากนั้นเทนเซอร์ที่ได้จะถูกป้อนเข้าไปในสถาปัตยกรรม UNet เพื่อให้ได้สัญญาณรบกวนโดยประมาณ จากนั้นเฟรมเวิร์กจะเริ่มต้นตัวกรองแบบ Convolutional ที่เพิ่มเข้ามาใหม่ด้วยศูนย์ ในขณะที่ส่วนที่เหลือของ UNet จะเริ่มต้นได้โดยใช้จุดตรวจสอบที่ได้รับการฝึกอบรมล่วงหน้าจากแบบจำลอง Stable Diffusion 

รูปด้านบนแสดงภาพรวมของเฟรมเวิร์ก HD-Painter ซึ่งประกอบด้วยสองขั้นตอน ในขั้นตอนแรก กรอบงาน HD-Painter จะใช้การวาดภาพด้วยข้อความนำทาง ในขณะที่ในขั้นตอนที่สอง โมเดลจะลงสีในความละเอียดสูงพิเศษของเอาต์พุต เพื่อเติมเต็มในพื้นที่ภารกิจและเพื่อให้สอดคล้องกับข้อความแจ้งอินพุต โมเดลจะใช้โมเดลการแพร่กระจายในการวาดภาพที่ผ่านการฝึกอบรมมาแล้ว แทนที่เลเยอร์การเอาใจใส่ตนเองด้วยเลเยอร์ PAIntA และใช้กลไก RASG เพื่อดำเนินการกระบวนการแพร่กระจายแบบย้อนกลับ จากนั้นแบบจำลองจะถอดรหัสค่าแฝงโดยประมาณสุดท้ายซึ่งส่งผลให้ได้ภาพที่ลงสี จากนั้น HD-Painter จะใช้โมเดลการแพร่กระจายที่เสถียรอย่างยิ่งในการลงสีรูปภาพขนาดดั้งเดิม และใช้กระบวนการย้อนกลับของการแพร่กระจายของเฟรมเวิร์กการกระจายที่เสถียรซึ่งกำหนดเงื่อนไขบนรูปภาพอินพุตความละเอียดต่ำ แบบจำลองจะผสมผสานการคาดคะเนแบบ denoised กับการเข้ารหัสของภาพต้นฉบับหลังจากแต่ละขั้นตอนในภูมิภาคที่ทราบและได้รับค่าแฝงถัดไป ในที่สุด โมเดลจะถอดรหัสค่าแฝงและใช้การผสมผสานปัวซองเพื่อหลีกเลี่ยงสิ่งรบกวนที่ขอบ 

Prompt Aware Introverted Attention หรือ PAIntA

โมเดลการลงสีที่มีอยู่ เช่น การลงสีแบบเสถียร มักจะอาศัยบริบททางภาพรอบๆ พื้นที่ในการลงสีมากกว่า และไม่สนใจข้อความแจ้งของผู้ใช้ที่ป้อนข้อมูล บนพื้นฐานของประสบการณ์ผู้ใช้ ปัญหานี้แบ่งได้เป็น 2 คลาส: การครอบงำออบเจ็กต์ใกล้เคียงและการครอบงำในเบื้องหลัง ปัญหาของการครอบงำบริบทด้วยภาพเหนือพรอมต์อินพุตอาจเป็นผลมาจากลักษณะการเอาใจใส่ในตัวเองเพียงเชิงพื้นที่และปราศจากการแจ้งทันที เพื่อแก้ไขปัญหานี้ กรอบงาน HD-Painter ขอแนะนำ Prompt Aware Introverted Attention หรือ PAIntA ที่ใช้เมทริกซ์การสนใจข้ามและมาสก์ในการวาดภาพเพื่อควบคุมเอาต์พุตของเลเยอร์การเอาใจใส่ตนเองในภูมิภาคที่ไม่รู้จัก 

คอมโพเนนต์ Prompt Aware Introverted Attention จะใช้เลเยอร์การฉายภาพเพื่อรับคีย์ ค่า และการสืบค้นพร้อมกับเมทริกซ์ความคล้ายคลึงกันก่อน จากนั้นแบบจำลองจะปรับคะแนนความสนใจของพิกเซลที่รู้จักเพื่อลดอิทธิพลที่รุนแรงของภูมิภาคที่รู้จักเหนือภูมิภาคที่ไม่รู้จัก และกำหนดเมทริกซ์ความคล้ายคลึงใหม่โดยใช้ประโยชน์จากข้อความแจ้ง 

การถ่วงน้ำหนักคำแนะนำคะแนนความสนใจหรือ RASG

กรอบงาน HD-Painter ใช้วิธีการแนะนำการสุ่มตัวอย่างภายหลังเพื่อปรับปรุงการจัดตำแหน่งการสร้างด้วยข้อความแจ้งให้ดียิ่งขึ้น นอกเหนือจากฟังก์ชันวัตถุประสงค์แล้ว วิธีการแนะแนวทางการสุ่มตัวอย่างภายหลังยังมีจุดมุ่งหมายเพื่อใช้ประโยชน์จากคุณสมบัติการแบ่งส่วนคำศัพท์แบบเปิดของชั้นการสนใจข้าม อย่างไรก็ตาม วิธีการแนะนำหลังการแก้ไขแบบวานิลลานี้มีศักยภาพในการเปลี่ยนขอบเขตของการแพร่กระจายแฝงที่อาจทำให้คุณภาพของภาพที่สร้างขึ้นลดลง เพื่อแก้ไขปัญหานี้ โมเดล HD-Painter จะใช้กลไก Reweighting Attention Score Guidance หรือ RASG ที่แนะนำกลไกการไล่ระดับสีใหม่ซึ่งส่งผลให้เกิดการเก็บรักษาโดเมนที่แฝงอยู่ 

HD-Painter: การทดลองและผลลัพธ์

เพื่อวิเคราะห์ประสิทธิภาพ เฟรมเวิร์ก HD-Painter จะถูกเปรียบเทียบกับโมเดลล้ำสมัยในปัจจุบัน รวมถึง Stable Inpainting, GLIDE และ BLD หรือ Blended Latent Diffusion มากกว่า 10000 ตัวอย่างแบบสุ่ม โดยที่พรอมต์ถูกเลือกเป็นป้ายกำกับของอินสแตนซ์มาสก์ที่เลือก 

ตามที่สังเกตได้ กรอบงาน HD-Painter มีประสิทธิภาพเหนือกว่ากรอบงานที่มีอยู่ในสามตัวชี้วัดที่แตกต่างกันด้วยอัตรากำไรขั้นต้นที่สำคัญ โดยเฉพาะอย่างยิ่งการปรับปรุง 1.5 คะแนนในตัวชี้วัด CLIP และความแตกต่างในคะแนนความแม่นยำที่สร้างขึ้นประมาณ 10% จากวิธีการล้ำสมัยอื่น ๆ . 

ต่อไป รูปภาพต่อไปนี้แสดงให้เห็นถึงการเปรียบเทียบเชิงคุณภาพของเฟรมเวิร์ก HD-Painter กับเฟรมเวิร์กการลงสีอื่นๆ ตามที่สังเกตได้ โมเดลพื้นฐานอื่นๆ อาจสร้างส่วนที่หายไปในรูปภาพขึ้นใหม่โดยเป็นการต่อเนื่องของวัตถุขอบเขตที่รู้จัก โดยไม่คำนึงถึงข้อความแจ้งหรือสร้างพื้นหลัง ในทางกลับกัน กรอบงาน HD-Painter สามารถสร้างออบเจ็กต์เป้าหมายได้สำเร็จ เนื่องจากการนำ PAIntA และส่วนประกอบ RASG ไปใช้งานในสถาปัตยกรรม 

ข้อคิด

ในบทความนี้ เราได้พูดคุยเกี่ยวกับ HD-Painter ซึ่งเป็นข้อความฟรีการฝึกอบรมที่แนะนำแนวทางการลงสีที่มีความละเอียดสูง ซึ่งจัดการกับความท้าทายที่ประสบโดยเฟรมเวิร์กการลงสีที่มีอยู่ รวมถึงการละเลยทันที และการครอบงำวัตถุในบริเวณใกล้เคียงและในพื้นหลัง กรอบงาน HD-Painter ใช้เลเยอร์ Prompt Aware Introverted Attention หรือ PAIntA ซึ่งใช้ข้อมูลที่พร้อมท์เพื่อปรับปรุงคะแนนความสนใจในตนเอง ซึ่งท้ายที่สุดจะส่งผลให้การสร้างการจัดตำแหน่งข้อความดีขึ้นในท้ายที่สุด 

เพื่อปรับปรุงการเชื่อมโยงกันของการแจ้งเตือนให้ดียิ่งขึ้น โมเดล HD-Painter ขอแนะนำ Reweighting Attention Score Guidance หรือแนวทาง RASG ที่รวมกลยุทธ์การสุ่มตัวอย่างแบบหลังกิจไว้ในรูปแบบทั่วไปของส่วนประกอบ DDIM ได้อย่างราบรื่น เพื่อป้องกันการเปลี่ยนแปลงที่แฝงอยู่ในการกระจาย นอกจากนี้ เฟรมเวิร์ก HD-Painter ยังแนะนำเทคนิคความละเอียดสูงพิเศษที่ปรับแต่งสำหรับการลงสีซึ่งส่งผลให้เกิดการขยายไปสู่สเกลที่ใหญ่ขึ้น และช่วยให้เฟรมเวิร์ก HD-Painter เติมเต็มส่วนที่ขาดหายไปในภาพด้วยความละเอียดสูงสุด 2K