มุมมองของ Anderson

สามความท้าทายที่รออยู่ข้างหน้าสำหรับ Stable Diffusion

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญStable Diffusion มีข้อจำกัดในการสร้างอวัยวะมนุษย์…
ดูเพิ่มเติม
  • Stable Diffusion มีข้อจำกัดในการสร้างอวัยวะมนุษย์ เนื่องจากข้อมูลฝึกฝนมีคำอธิบายรายละเอียดไม่ละเอียดเพียงพอ
  • วิธีการขยายภาพแบบแบ่งส่วนเสี่ยงทำให้ภาพขาดความต่อเนื่อง เนื่องจากโมเดลขาดความเข้าใจบริบทโดยรวม
  • ความละเอียดพื้นฐาน 512x512 ของโมเดลจำกัดคุณภาพผลลัพธ์ และต้องใช้เทคนิคแก้ไขที่ซับซ้อน

การ เปิดตัว โมเดลสังเคราะห์ภาพ Stable Diffusion ของ stability.ai ซึ่งใช้เทคนิค latent diffusion เมื่อสองสามสัปดาห์ก่อน อาจเป็นหนึ่งในการเปิดเผยเทคโนโลยีครั้งสำคัญที่สุด นับตั้งแต่ DeCSS ในปี 1999 และแน่นอนว่าเป็นเหตุการณ์ใหญ่ที่สุดในวงการภาพที่สร้างด้วย AI นับตั้งแต่ โค้ด deepfakes ถูกคัดลอกไปยัง GitHub ในปี 2017 และแยกพัฒนาเป็นซอฟต์แวร์ที่ต่อมากลายเป็น DeepFaceLab และ FaceSwapรวมถึงซอฟต์แวร์ deepfake สำหรับการสตรีมแบบเรียลไทม์ DeepFaceLive.

ในพริบตาเดียว ความหงุดหงิดของผู้ใช้ เกี่ยวกับ ข้อจำกัดด้านเนื้อหา ของ API สังเคราะห์ภาพ DALL-E 2 ก็หมดไป เมื่อพบว่าปิดตัวกรองเนื้อหา NSFW ของ Stable Diffusion ได้โดยแก้ไขโค้ดเพียง บรรทัดเดียว. ชุมชน Reddit เกี่ยวกับ Stable Diffusion ที่เน้นสื่อลามกเกิดขึ้นแทบจะทันทีและถูกปิดลงอย่างรวดเร็ว ขณะที่นักพัฒนาและผู้ใช้บน Discord แบ่งออกเป็นชุมชนอย่างเป็นทางการและชุมชน NSFW และ Twitter เริ่มเต็มไปด้วยผลงานจินตนาการอันน่าทึ่งจาก Stable Diffusion

ขณะนี้แทบทุกวันดูเหมือนจะมีนวัตกรรมที่น่าทึ่งจากนักพัฒนาที่นำระบบนี้ไปใช้ มีการเร่งเขียนปลั๊กอินและส่วนเสริมจากบุคคลภายนอกสำหรับ Krita, Photoshop, Cinema4D, Blender, และแพลตฟอร์มแอปพลิเคชันอื่น ๆ อีกมากมาย

ในขณะเดียวกัน ศิลปะการเขียนพรอมต์ หรือศิลปะการเป็น “ผู้กระซิบกับ AI” ซึ่งขณะนี้กลายเป็นอาชีพแล้ว และอาจเป็นทางเลือกอาชีพที่มีอายุสั้นที่สุดนับตั้งแต่อาชีพ “ผู้จัดแฟ้ม Filofax” ก็กำลังถูก นำไปทำธุรกิจแล้ว ขณะที่การหารายได้จาก Stable Diffusion ในระยะแรกเกิดขึ้นใน ระดับ Patreon โดยแน่นอนว่าจะมีบริการที่ซับซ้อนยิ่งขึ้นตามมา สำหรับผู้ที่ไม่ต้องการจัดการ การติดตั้งผ่าน Conda จากซอร์สโค้ด หรือตัวกรอง NSFW ที่เข้มงวดของบริการผ่านเว็บ

การพัฒนาและการสำรวจอย่างอิสระของผู้ใช้กำลังเดินหน้าอย่างรวดเร็วจนมองอนาคตได้ไม่ไกลนัก โดยพื้นฐานแล้ว เรายังไม่ทราบแน่ชัดว่ากำลังเผชิญกับอะไร หรือข้อจำกัดและความเป็นไปได้ทั้งหมดคืออะไร

อย่างไรก็ตาม มาดูอุปสรรคสามประการที่อาจน่าสนใจและท้าทายที่สุด ซึ่งชุมชน Stable Diffusion ที่ก่อตัวและเติบโตอย่างรวดเร็วจะต้องเผชิญและหวังว่าจะเอาชนะได้

1: การปรับปรุงกระบวนการประมวลผลภาพแบบแบ่งไทล์

เมื่อทรัพยากรฮาร์ดแวร์มีจำกัด และความละเอียดของภาพฝึกมีเพดานที่แน่นอน นักพัฒนาน่าจะหาวิธีอ้อมเพื่อปรับปรุงทั้งคุณภาพและความละเอียดของผลลัพธ์จาก Stable Diffusion ได้ หลายโครงการมุ่งใช้ประโยชน์จากข้อจำกัดของระบบ เช่น ความละเอียดพื้นฐานเพียง 512×512 พิกเซล

เช่นเดียวกับโครงการคอมพิวเตอร์วิทัศน์และสังเคราะห์ภาพโดยทั่วไป Stable Diffusion ได้รับการฝึกด้วยภาพอัตราส่วนสี่เหลี่ยมจัตุรัส ในกรณีนี้คือภาพที่ผ่านการสุ่มตัวอย่างใหม่เป็น 512×512 พิกเซล เพื่อให้ภาพต้นทางมีรูปแบบสม่ำเสมอและอยู่ภายในข้อจำกัดของ GPU ที่ใช้ฝึกโมเดล

ดังนั้น Stable Diffusion จึง “คิด” (หากมันคิดได้) ในกรอบ 512×512 และแน่นอนว่าเป็นกรอบสี่เหลี่ยมจัตุรัส ผู้ใช้จำนวนมากที่กำลังสำรวจขีดจำกัดของระบบรายงานว่า Stable Diffusion ให้ผลลัพธ์ที่เชื่อถือได้ที่สุดและมีข้อผิดพลาดน้อยที่สุดที่อัตราส่วนค่อนข้างจำกัดนี้ (ดูหัวข้อปัญหาแขนขาด้านล่าง)

แม้ระบบหลายรูปแบบจะมีการเพิ่มความละเอียดผ่าน RealESRGAN (และแก้ใบหน้าที่สร้างได้ไม่ดีผ่าน GFPGAN) ผู้ใช้หลายรายก็กำลังพัฒนาวิธีแบ่งภาพเป็นส่วนขนาด 512×512 พิกเซล แล้วต่อกลับเข้าด้วยกันเป็นผลงานขนาดใหญ่กว่า

This 1024x576 render, a resolution customarily impossible in a single Stable Diffusion render, was created by copying and pasting the attention.py Python file from the DoggettX fork of Stable Diffusion (a version which implements tile-based upscaling) into another fork. Source: https://old.reddit.com/r/StableDiffusion/comments/x6yeam/1024x576_with_6gb_nice/

ภาพขนาด 1024×576 นี้ ซึ่งปกติเป็นความละเอียดที่ไม่สามารถสร้างได้ในการประมวลผล Stable Diffusion ครั้งเดียว เกิดจากการคัดลอกไฟล์ Python ชื่อ attention.py จาก DoggettX ซึ่งเป็นรุ่นแยกพัฒนาของ Stable Diffusion ที่รองรับการเพิ่มความละเอียดแบบแบ่งไทล์ ไปวางในอีกรุ่นแยกหนึ่ง ที่มา: https://old.reddit.com/r/StableDiffusion/comments/x6yeam/1024x576_with_6gb_nice/

แม้บางโครงการลักษณะนี้จะใช้โค้ดที่เขียนขึ้นเองหรือไลบรารีอื่น แต่ การพอร์ต txt2imghd ของ GOBIG ซึ่งเป็นโหมดหนึ่งใน ProgRockDiffusion ที่ใช้ VRAM มาก มีแผนจะนำความสามารถนี้เข้าสู่สาขาหลักในเร็ว ๆ นี้ แม้ txt2imghd จะเป็นการพอร์ต GOBIG โดยเฉพาะ แต่นักพัฒนาในชุมชนรายอื่นก็กำลังนำ GOBIG ไปใช้ในรูปแบบที่ต่างกัน

A conveniently abstract image in the original 512x512px render (left and second from left); upscaled by ESGRAN, which is now more or less native across all Stable Diffusion distributions; and given 'special attention' via an implementation of GOBIG, producing detail that, at least within the confines of the image section, seem better-upscaled. Source: https://old.reddit.com/r/StableDiffusion/comments/x72460/stable_diffusion_gobig_txt2imghd_easy_mode_colab/

ภาพนามธรรมซึ่งเหมาะกับการสาธิตนี้ สร้างครั้งแรกที่ 512×512 พิกเซล (ซ้ายและภาพถัดจากซ้าย) จากนั้นเพิ่มความละเอียดด้วย ESGRAN ซึ่งขณะนี้แทบจะเป็นส่วนหนึ่งของ Stable Diffusion ทุกรุ่น และได้รับ “ความสนใจเป็นพิเศษ” ผ่านการใช้ GOBIG ทำให้เกิดรายละเอียดที่อย่างน้อยภายในขอบเขตของภาพส่วนนั้นดูเหมือนได้รับการขยายอย่างดีกว่า ที่มา: https://old.reddit.com/r/StableDiffusion/comments/x72460/stable_diffusion_gobig_txt2imghd_easy_mode_colab/

ตัวอย่างภาพนามธรรมข้างต้นมี “อาณาจักรเล็ก ๆ” ของรายละเอียดมากมายที่เหมาะกับวิธีขยายภาพซึ่งมองแต่ส่วนของตนเองเช่นนี้ แต่การสร้างภาพขยายที่ไม่ซ้ำซ้อนและกลมกลืนกันโดยไม่ ดู เหมือนประกอบขึ้นจากชิ้นส่วนจำนวนมาก อาจต้องอาศัยวิธีแก้ด้วยโค้ดที่ท้าทายกว่า โดยเฉพาะใบหน้ามนุษย์ที่เราสังเกตเห็นความผิดปกติหรือสิ่งแปลกปลอมที่สะดุดตาได้ไวเป็นพิเศษ ดังนั้นท้ายที่สุดใบหน้าอาจต้องมีวิธีแก้เฉพาะ

ปัจจุบัน Stable Diffusion ยังไม่มีกลไกเพ่งความสนใจไปยังใบหน้าระหว่างสร้างภาพเหมือนที่มนุษย์ให้ความสำคัญกับข้อมูลใบหน้า แม้นักพัฒนาบางรายในชุมชน Discord กำลังพิจารณาวิธีเพิ่ม “ความสนใจ” แบบนี้ แต่ขณะนี้การปรับปรุงใบหน้าด้วยมือหลังสร้างภาพครั้งแรกนั้นง่ายกว่ามาก และในอนาคตอาจทำได้อัตโนมัติ

ใบหน้ามนุษย์มีตรรกะเชิงความหมายที่สมบูรณ์อยู่ภายใน ซึ่งไม่พบใน “ไทล์” ของมุมล่างอาคาร เป็นต้น ด้วยเหตุนี้ปัจจุบันจึงสามารถ “ซูมเข้า” และสร้างใบหน้าที่ดูหยาบในผลลัพธ์ Stable Diffusion ใหม่ได้อย่างมีประสิทธิภาพ

Left, Stable Diffusion's initial effort with the prompt 'Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail'. Right, an improved face obtained by feeding the blurred and sketchy face from the first render back into the full attention of Stable Diffusion using Img2Img (see animated images below).

ซ้าย: ความพยายามครั้งแรกของ Stable Diffusion ด้วยพรอมต์ ‘Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail’ ขวา: ใบหน้าที่ดีขึ้นจากการนำใบหน้าเบลอและหยาบจากภาพแรกกลับเข้าไปให้ Stable Diffusion ทุ่มความสนใจทั้งหมดผ่าน Img2Img (ดูภาพเคลื่อนไหวด้านล่าง)

หากไม่มีวิธี Textual Inversion โดยเฉพาะ (ดูด้านล่าง) วิธีนี้จะใช้ได้เฉพาะภาพคนดังที่มีภาพของบุคคลนั้นอยู่เป็นจำนวนมากแล้วในชุดย่อยของ LAION ที่ใช้ฝึก Stable Diffusion ดังนั้นจึงใช้ได้กับคนอย่าง Tom Cruise, Brad Pitt, Jennifer Lawrence และคนดังในสื่ออีกจำนวนจำกัดที่มีภาพในข้อมูลต้นทางจำนวนมาก

Generating a plausible press picture with the prompt 'Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail'.

การสร้างภาพที่ดูเป็นภาพถ่ายสำหรับสื่อด้วยพรอมต์ ‘Full-length color photo of Christina Hendricks entering a crowded place, wearing   a raincoat; Canon50, eye contact, high detail, high facial detail’

สำหรับคนดังที่มีอาชีพยาวนานต่อเนื่อง Stable Diffusion มักสร้างภาพบุคคลนั้นในวัยปัจจุบัน กล่าวคือวัยที่สูงขึ้น จึงต้องเติมคำในพรอมต์ เช่น ‘young’ หรือ ‘in the year [YEAR]’ เพื่อสร้างภาพที่ดูอ่อนวัยกว่า

With a prominent, much-photographed and consistent career spanning nearly 40 years, actress Jennifer Connelly is one of a handful of celebrities in LAION that allow Stable Diffusion to represent a range of ages. Source: prepack Stable Diffusion, local, v1.4 checkpoint; age-related prompts.

ด้วยอาชีพที่โดดเด่น มีภาพถ่ายมากมาย และต่อเนื่องเกือบ 40 ปี นักแสดง Jennifer Connelly เป็นหนึ่งในคนดังไม่กี่รายใน LAION ที่ทำให้ Stable Diffusion แสดงภาพได้หลายช่วงอายุ ที่มา: Stable Diffusion ชุดสำเร็จรูป ใช้งานในเครื่อง เช็กพอยต์ v1.4 พร้อมพรอมต์ระบุอายุ

สาเหตุสำคัญคือการแพร่หลายของภาพถ่ายสื่อแบบดิจิทัล แทนภาพที่ใช้ฟิล์มราคาแพง ตั้งแต่กลางทศวรรษ 2000 เป็นต้นมา และปริมาณภาพที่เพิ่มขึ้นในเวลาต่อมาเนื่องจากบรอดแบนด์มีความเร็วสูงขึ้น

The rendered image is passed through to Img2Img in Stable Diffusion, where a 'focus area' is selected, and a new, maximum-size render is made only of that area, allowing Stable Diffusion to concentrate all available resources on recreating the face.

นำภาพที่สร้างแล้วเข้า Img2Img ใน Stable Diffusion เลือก “บริเวณที่ต้องการเน้น” แล้วสร้างเฉพาะบริเวณนั้นใหม่ด้วยขนาดสูงสุด ทำให้ Stable Diffusion ทุ่มทรัพยากรทั้งหมดไปกับการสร้างใบหน้าใหม่ได้

Compositing the 'high attention' face back into the original render. Besides faces, this process will only work with entities that have a potential known, cohesive and integral appearance, such as a portion of the original photo that has a distinct object, such as a watch or a car. Upscaling a section of, for instance, a wall is going to lead to a very strange-looking reassembled wall, because the tile renders had no wider context for this 'jigsaw piece' as they were rendering.

นำใบหน้าที่ได้รับ “ความสนใจสูง” กลับไปประกอบในภาพเดิม นอกเหนือจากใบหน้า วิธีนี้ใช้ได้เฉพาะสิ่งที่มีลักษณะโดยรวมซึ่งรู้จักและสอดคล้องกัน เช่น ส่วนของภาพต้นฉบับที่มีวัตถุเฉพาะอย่างนาฬิกาหรือรถยนต์ การขยายส่วนหนึ่งของกำแพง เป็นต้น จะทำให้กำแพงที่ประกอบกลับมาดูแปลกมาก เพราะระหว่างสร้างแต่ละไทล์ไม่มีบริบทที่กว้างกว่าสำหรับ “จิ๊กซอว์ชิ้นนี้”

คนดังบางรายในฐานข้อมูลเหมือนถูก “แช่แข็ง” ไว้ในช่วงเวลาหนึ่งแล้ว อาจเพราะเสียชีวิตตั้งแต่อายุยังน้อย เช่น Marilyn Monroe หรือมีชื่อเสียงในวงกว้างเพียงช่วงสั้น ๆ ทำให้มีภาพจำนวนมากในระยะเวลาจำกัด การสอบถาม Stable Diffusion อาจมองได้ว่าเป็นดัชนีความนิยมแบบ “ปัจจุบัน” สำหรับดาราทั้งรุ่นใหม่และรุ่นเก่า คนดังบางรายทั้งในอดีตและปัจจุบันมีภาพในข้อมูลต้นทางไม่มากพอให้สร้างภาพที่เหมือนได้ดี ขณะที่ความนิยมอันยืนยาวของดาราบางรายที่เสียชีวิตไปนานแล้วหรือเลือนหายจากวงการทำให้ระบบยังสร้างภาพที่คล้ายได้พอสมควร

Stable Diffusion renders quickly reveal which famous faces are well-represented in the training data. Despite her enormous popularity as an older teenager at the time of writing, Millie Bobby Brown was younger and less well-known when the LAION source datasets were scraped from the web, making a high-quality likeness with Stable Diffusion problematic at the moment.

ผลลัพธ์จาก Stable Diffusion แสดงให้เห็นได้อย่างรวดเร็วว่ามีใบหน้าคนดังคนใดอยู่มากในข้อมูลฝึก แม้ Millie Bobby Brown จะมีชื่อเสียงมากในฐานะวัยรุ่นตอนปลายในขณะที่เขียนบทความนี้ แต่เมื่อมีการรวบรวมชุดข้อมูลต้นทาง LAION จากเว็บ เธอยังอายุน้อยกว่าและเป็นที่รู้จักน้อยกว่า ทำให้การสร้างภาพที่เหมือนเธออย่างมีคุณภาพด้วย Stable Diffusion ยังเป็นปัญหาอยู่ในขณะนี้

หากมีข้อมูลรองรับ วิธีเพิ่มความละเอียดแบบแบ่งไทล์ของ Stable Diffusion อาจไปได้ไกลกว่าการเน้นใบหน้า โดยอาจสร้างใบหน้าที่ถูกต้องและละเอียดขึ้นด้วยการแยกองค์ประกอบใบหน้าออก แล้วทุ่มพลัง GPU ในเครื่องทั้งหมดให้กับลักษณะสำคัญทีละส่วนก่อนประกอบกลับ ซึ่งขณะนี้ก็ยังเป็นกระบวนการที่ทำด้วยมือ

แนวทางนี้ไม่ได้จำกัดเฉพาะใบหน้า แต่จำกัดอยู่ที่ส่วนของวัตถุซึ่งมีตำแหน่งที่คาดเดาได้ในบริบทกว้างของวัตถุนั้น และสอดคล้องกับตัวแทนเชิงความหมายระดับสูงที่คาดได้อย่างสมเหตุผลว่าจะพบในชุดข้อมูลขนาดมหาศาล

ข้อจำกัดที่แท้จริงคือปริมาณข้อมูลอ้างอิงในชุดข้อมูล เพราะท้ายที่สุดรายละเอียดที่สร้างซ้ำลงไปลึกมากจะกลายเป็นสิ่งที่ “หลอนขึ้นมา” ทั้งหมด กล่าวคือเป็นสิ่งสมมติ และสมจริงน้อยลง

การขยายลงถึงรายละเอียดระดับนี้ได้ผลกับ Jennifer Connelly เพราะมีภาพเธออยู่มากในหลายช่วงอายุใน LAION-aesthetics ซึ่งเป็นชุดย่อยหลักของ LAION 5B ที่ Stable Diffusion ใช้ และใน LAION โดยรวม ในกรณีอื่นอีกมาก ความถูกต้องจะลดลงเพราะขาดข้อมูล จึงจำเป็นต้องปรับจูนเพิ่มเติม (ฝึกเพิ่ม ดู “การปรับแต่ง” ด้านล่าง) หรือใช้ Textual Inversion (ดูด้านล่าง)

ไทล์เป็นวิธีที่ทรงพลังและมีต้นทุนค่อนข้างต่ำในการทำให้ Stable Diffusion สร้างผลลัพธ์ความละเอียดสูงได้ แต่การเพิ่มความละเอียดด้วยอัลกอริทึมแบบแบ่งไทล์เช่นนี้ หากไม่มีกลไกความสนใจในระดับสูงที่มองบริบทกว้างขึ้น อาจยังไม่ถึงมาตรฐานที่คาดหวังสำหรับเนื้อหาหลายประเภท

2: การแก้ปัญหาแขนขาของมนุษย์

Stable Diffusion ไม่ได้สมชื่อเรื่องความเสถียรเมื่อถ่ายทอดความซับซ้อนของอวัยวะส่วนปลายมนุษย์ มืออาจเพิ่มจำนวนแบบสุ่ม นิ้วอาจหลอมรวมกัน ขาที่สามอาจปรากฏโดยไม่คาดคิด และแขนขาที่มีอยู่อาจหายไปโดยไร้ร่องรอย แต่ก็ต้องให้ความเป็นธรรมว่า Stable Diffusion มีปัญหานี้ร่วมกับโมเดลอื่นประเภทเดียวกัน และแน่นอนว่ารวมถึง DALL-E 2

Non-edited results from DALL-E 2 and Stable Diffusion (1.4) at the end of สิงหาคม 2022, both showing issues with limbs. Prompt is 'A woman embracing a man'

ผลลัพธ์ที่ไม่ได้แก้ไขจาก DALL-E 2 และ Stable Diffusion (1.4) เมื่อปลายเดือนสิงหาคม 2022 ทั้งคู่มีปัญหาเรื่องแขนขา พรอมต์คือ ‘A woman embracing a man’

ผู้ชื่นชอบ Stable Diffusion ที่หวังว่าเช็กพอยต์ 1.5 ซึ่งกำลังจะมาถึง เป็นรุ่นที่ฝึกเข้มข้นขึ้นและปรับปรุงพารามิเตอร์แล้ว จะยุติความสับสนเรื่องแขนขา อาจต้องผิดหวัง โมเดลใหม่ที่จะเปิดตัวใน อีกประมาณสองสัปดาห์ขณะนี้กำลังให้ทดลองก่อนที่พอร์ทัลเชิงพาณิชย์ของ stability.ai ชื่อ DreamStudioซึ่งใช้ 1.5 เป็นค่าเริ่มต้น และผู้ใช้สามารถเปรียบเทียบผลลัพธ์ใหม่กับภาพที่สร้างจากระบบ 1.4 ในเครื่องหรือที่อื่นได้:

Source: Local 1.4 prepack and https://beta.dreamstudio.ai/

ที่มา: ชุดสำเร็จรูป 1.4 ในเครื่อง และ https://beta.dreamstudio.ai/

Source: Local 1.4 prepack and https://beta.dreamstudio.ai/

ที่มา: ชุดสำเร็จรูป 1.4 ในเครื่อง และ https://beta.dreamstudio.ai/

Source: Local 1.4 prepack and https://beta.dreamstudio.ai/

ที่มา: ชุดสำเร็จรูป 1.4 ในเครื่อง และ https://beta.dreamstudio.ai/

เช่นเดียวกับที่พบกันบ่อย คุณภาพข้อมูลอาจเป็นสาเหตุหลักที่มีส่วนทำให้เกิดปัญหา

ฐานข้อมูลเปิดที่ป้อนให้ระบบสังเคราะห์ภาพอย่าง Stable Diffusion และ DALL-E 2 สามารถให้ป้ายกำกับจำนวนมากทั้งสำหรับบุคคลแต่ละคนและปฏิสัมพันธ์ระหว่างคน ป้ายกำกับเหล่านี้ถูกฝึกควบคู่กับภาพหรือส่วนของภาพที่เกี่ยวข้อง

Stable Diffusion users can explore the concepts trained into the model by querying the LAION-aesthetics dataset, a subset of the larger LAION 5B dataset, which powers the system. The images are ordered not by their alphabetical labels, but by their 'aesthetic score'. Source: https://rom1504.github.io/clip-retrieval/

ผู้ใช้ Stable Diffusion สำรวจแนวคิดที่ถูกฝึกเข้าไปในโมเดลได้โดยค้นชุดข้อมูล LAION-aesthetics ซึ่งเป็นชุดย่อยของ LAION 5B ที่ใหญ่กว่าและใช้ขับเคลื่อนระบบ ภาพไม่ได้เรียงตามตัวอักษรของป้ายกำกับ แต่เรียงตาม “คะแนนความงาม” ที่มา: https://rom1504.github.io/clip-retrieval/

ลำดับชั้นที่ดี ของป้ายกำกับและหมวดหมู่แต่ละส่วนที่ช่วยอธิบายแขนมนุษย์จะมีลักษณะประมาณนี้ body>arm>hand>fingers>[sub digits + thumb]> [digit segments]>Fingernails.

Granular semantic segmentation of the parts of a hand. Even this unusually detailed deconstruction leaves each 'finger' as a sole entity, not accounting for the three sections of a finger and the two sections of a thumb Source: https://athitsos.utasites.cloud/publications/rezaei_petra2021.pdf

การแบ่งส่วนเชิงความหมายของมืออย่างละเอียด แม้การแยกส่วนที่ละเอียดผิดปกติขนาดนี้ก็ยังถือว่า “นิ้ว” แต่ละนิ้วเป็นหน่วยเดียว โดยไม่ได้นับสามปล้องของนิ้วทั่วไปและสองปล้องของนิ้วหัวแม่มือ ที่มา: https://athitsos.utasites.cloud/publications/rezaei_petra2021.pdf

ในความเป็นจริง ภาพต้นทางไม่น่าจะถูกกำกับข้อมูลอย่างสม่ำเสมอเช่นนี้ตลอดทั้งชุดข้อมูล และอัลกอริทึมติดป้ายกำกับแบบไม่มีผู้สอนก็น่าจะหยุดอยู่ที่ระดับที่ สูงกว่า เช่น “มือ” และปล่อยพิกเซลภายใน ซึ่งในทางเทคนิคมีข้อมูล “นิ้ว” อยู่ ให้เป็นกลุ่มพิกเซลที่ไม่มีป้ายกำกับ แล้วสกัดคุณลักษณะออกมาตามอำเภอใจ ซึ่งอาจปรากฏเป็นสิ่งผิดปกติที่สะดุดตาในภาพที่สร้างภายหลัง

How it should be (upper right, if not upper-cut), and how it tends to be (lower right), due to limited resources for labeling, or architectural exploitation of such labels if they do exist in the dataset.

สิ่งที่ควรเป็น (ขวาบน หากไม่ใช่หมัดอัปเปอร์คัต) และสิ่งที่มักเป็น (ขวาล่าง) เนื่องจากทรัพยากรสำหรับติดป้ายกำกับมีจำกัด หรือข้อจำกัดของสถาปัตยกรรมในการใช้ป้ายกำกับเหล่านั้นหากมีอยู่ในชุดข้อมูล

ดังนั้น หากโมเดล latent diffusion สร้างภาพไปถึงแขนได้ ก็แทบแน่นอนว่าจะพยายามสร้างมือที่ปลายแขนนั้นอย่างน้อยหนึ่งครั้ง เพราะ arm>hand คือลำดับชั้นขั้นต่ำที่ต้องมี และอยู่ค่อนข้างสูงในสิ่งที่สถาปัตยกรรมรู้เกี่ยวกับ “กายวิภาคมนุษย์”

หลังจากนั้น “นิ้ว” อาจเป็นหน่วยกลุ่มที่เล็กที่สุด แม้การวาดมือมนุษย์จะยังมีส่วนย่อยของนิ้วและนิ้วหัวแม่มืออีก 14 ส่วนที่ต้องคำนึงถึง

หากทฤษฎีนี้ถูกต้อง ก็ไม่มีทางแก้ที่แท้จริง เนื่องจากทั้งวงการขาดงบสำหรับให้มนุษย์กำกับข้อมูล และยังไม่มีอัลกอริทึมที่มีประสิทธิภาพเพียงพอจะติดป้ายกำกับอัตโนมัติด้วยอัตราผิดพลาดต่ำ ในทางปฏิบัติ โมเดลอาจกำลังอาศัยความสม่ำเสมอของกายวิภาคมนุษย์เพื่อกลบข้อบกพร่องของชุดข้อมูลที่ใช้ฝึก

เหตุผลหนึ่งที่อาจทำให้โมเดล ไม่สามารถ พึ่งพาสิ่งนี้ได้ ซึ่งเพิ่งมีผู้ เสนอ ใน Discord ของ Stable Diffusion คือโมเดลอาจสับสนว่ามือมนุษย์ที่สมจริงควรมีนิ้วกี่นิ้ว เพราะฐานข้อมูลจาก LAION ที่ป้อนให้ระบบมีตัวการ์ตูนที่อาจมีนิ้วน้อยกว่า (ซึ่งตัวมันเองก็เป็น วิธีลัดเพื่อลดงาน)

Two of the potential culprits in 'missing finger' syndrome in Stable Diffusion and similar models. Below, examples of cartoon hands from the LAION-aesthetics dataset powering Stable Diffusion. Source: https://www.youtube.com/watch?v=0QZFQ3gbd6I

สองผู้ต้องสงสัยที่อาจมีส่วนทำให้เกิดอาการ “นิ้วหาย” ใน Stable Diffusion และโมเดลคล้ายกัน ด้านล่างเป็นตัวอย่างมือการ์ตูนจากชุดข้อมูล LAION-aesthetics ที่ใช้ขับเคลื่อน Stable Diffusion ที่มา: https://www.youtube.com/watch?v=0QZFQ3gbd6I

หากเรื่องนี้เป็นจริง ทางออกที่เห็นได้ชัดเพียงอย่างเดียวคือฝึกโมเดลใหม่ โดยไม่นำเนื้อหาที่อิงรูปร่างมนุษย์แต่ไม่สมจริงมาใช้ และทำให้แน่ใจว่ากรณีที่อวัยวะหายจริง เช่น ผู้สูญเสียอวัยวะ ถูกติดป้ายกำกับว่าเป็นข้อยกเว้นอย่างเหมาะสม แค่ในแง่การคัดสรรข้อมูล นี่ก็เป็นความท้าทายอย่างมาก โดยเฉพาะสำหรับชุมชนที่มีทรัพยากรจำกัด

อีกแนวทางหนึ่งคือใช้ตัวกรองไม่ให้เนื้อหาลักษณะนี้ เช่น “มือที่มีสาม/ห้านิ้ว” ปรากฏระหว่างสร้างภาพ คล้ายกับที่ OpenAI ได้ กรอง GPT-3 และ DALL-E 2ในระดับหนึ่ง เพื่อควบคุมผลลัพธ์ได้โดยไม่จำเป็นต้องฝึกโมเดลต้นทางใหม่

For Stable Diffusion, the semantic distinction between digits and even limbs can become horrifically blurred, bringing to mind the 1980s 'body horror' strand of horror movies from the likes of David Cronenberg. Source: https://old.reddit.com/r/StableDiffusion/comments/x6htf6/a_study_of_stable_diffusions_strange_relationship/

สำหรับ Stable Diffusion ความแตกต่างเชิงความหมายระหว่างนิ้ว หรือแม้กระทั่งแขนขา อาจพร่าเลือนจนน่าสยอง ชวนให้นึกถึงภาพยนตร์สยองขวัญแนว “body horror” ในทศวรรษ 1980 ของผู้กำกับอย่าง David Cronenberg ที่มา: https://old.reddit.com/r/StableDiffusion/comments/x6htf6/a_study_of_stable_diffusions_strange_relationship/

อย่างไรก็ตาม อีกครั้งที่ต้องมีป้ายกำกับซึ่งอาจไม่มีอยู่ในภาพที่ได้รับผลกระทบทั้งหมด จึงกลับมาเจอความท้าทายด้านการจัดการและงบประมาณเหมือนเดิม

อาจกล่าวได้ว่าเหลือทางไปต่อสองทาง คือเพิ่มข้อมูลเข้าไปเพื่อแก้ปัญหา และใช้ระบบตีความจากบุคคลภายนอกที่สามารถแทรกแซงเมื่อความผิดพลาดทางกายภาพตามที่กล่าวมาจะถูกนำเสนอแก่ผู้ใช้ปลายทาง อย่างน้อยแนวทางหลังจะทำให้ OpenAI มีวิธีคืนเงินสำหรับภาพแนว “body horror” หากบริษัทต้องการทำเช่นนั้น

3: การปรับแต่ง

ความเป็นไปได้ที่น่าตื่นเต้นที่สุดอย่างหนึ่งสำหรับอนาคตของ Stable Diffusion คือผู้ใช้หรือองค์กรอาจพัฒนาระบบฉบับดัดแปลง ซึ่งทำให้ผสานเนื้อหานอกขอบเขต LAION ที่ใช้ฝึกไว้ล่วงหน้าเข้าไปในระบบได้ โดยอุดมคติคือไม่ต้องเสียค่าใช้จ่ายที่ควบคุมไม่ได้เพื่อฝึกทั้งโมเดลใหม่ หรือรับความเสี่ยงจากการฝึกภาพใหม่จำนวนมากเข้าไปในโมเดลที่พัฒนาเต็มที่และมีความสามารถอยู่แล้ว

เปรียบได้กับนักเรียนที่เรียนอ่อนกว่าสองคนย้ายเข้าห้องเรียนขั้นสูงที่มีนักเรียนสามสิบคน ทั้งสองอาจปรับตัวและตามทัน หรือไม่ผ่านอยู่เพียงสองคน ไม่ว่ากรณีใด ผลการเรียนเฉลี่ยของห้องก็คงไม่เปลี่ยน แต่หากมีนักเรียนที่เรียนอ่อนกว่าย้ายเข้าไป 15 คน การกระจายผลการเรียนของทั้งห้องก็น่าจะแย่ลง

ในทำนองเดียวกัน เครือข่ายความสัมพันธ์ที่ทำงานประสานกันและค่อนข้างละเอียดอ่อน ซึ่งก่อตัวขึ้นจากการฝึกโมเดลอย่างต่อเนื่องและมีราคาแพง อาจเสียหาย หรือบางกรณีถูกทำลายอย่างแท้จริง เพราะข้อมูลใหม่ที่มากเกินไป ทำให้คุณภาพผลลัพธ์ของโมเดลลดลงโดยรวม

เหตุผลหลักที่จะทำเช่นนี้คือเมื่อคุณต้องการยึดความเข้าใจเชิงแนวคิดของโมเดลเกี่ยวกับความสัมพันธ์และสิ่งต่าง ๆ มาใช้ทั้งหมด เพื่อสร้างเฉพาะเนื้อหาที่คล้ายกับข้อมูลเพิ่มเติมที่คุณใส่เข้าไป

ดังนั้น การฝึกเฟรมจำนวน 500,000 เฟรมจาก Simpsons เข้าไปในเช็กพอยต์ Stable Diffusion ที่มีอยู่ ในที่สุดก็น่าจะทำให้ได้ตัวจำลอง Simpsons ที่ดีกว่ารุ่นต้นฉบับ โดยมีเงื่อนไขว่าความสัมพันธ์เชิงความหมายในวงกว้างยังคงเหลือรอดจากกระบวนการนี้มากพอ เช่น Homer Simpson eating a hotdogซึ่งอาจต้องอาศัยข้อมูลเกี่ยวกับฮอตดอกที่ไม่ได้อยู่ในเนื้อหาที่คุณเพิ่ม แต่มีอยู่ในเช็กพอยต์เดิมแล้ว และมีเงื่อนไขว่าคุณไม่ต้องการเปลี่ยนจากเนื้อหา Simpsons ไปสร้าง fabulous landscape by Greg Rutkowski อย่างฉับพลัน เพราะโมเดลที่ฝึกเพิ่มเติมแล้วถูกเบี่ยงเบนความสนใจอย่างมาก และจะทำสิ่งนั้นได้ไม่ดีเหมือนเดิม

ตัวอย่างที่น่าสังเกตคือ waifu-diffusionซึ่งประสบความสำเร็จในการ ฝึกเพิ่มเติมด้วยภาพอนิเมะ 56,000 ภาพ เข้าไปในเช็กพอยต์ Stable Diffusion ที่ฝึกเสร็จแล้ว อย่างไรก็ตาม นี่เป็นเรื่องยากสำหรับผู้ทำเป็นงานอดิเรก เพราะโมเดลต้องใช้ VRAM ขั้นต่ำถึง 30GB สูงกว่าที่คาดว่าจะมีในระดับผู้บริโภคของซีรีส์ NVIDIA 40XX ที่กำลังจะเปิดตัวอย่างมาก

The training of custom content into Stable Diffusion: the model took two weeks of post-training in order to output this level of illustration. The six images on the left show the progress of the model in making subject-coherent output based on the new training data. Source: https://gigazine.net/gsc_news/en/20220121-how-waifu-labs-create/

การฝึกเนื้อหาที่ปรับแต่งเข้าไปใน Stable Diffusion ผ่าน waifu-diffusion: โมเดลใช้เวลาฝึกเพิ่มเติมสองสัปดาห์เพื่อสร้างภาพประกอบได้ในระดับนี้ ภาพทั้งหกด้านซ้ายแสดงความก้าวหน้าระหว่างฝึกในการสร้างผลลัพธ์ที่สอดคล้องกับตัวแบบตามข้อมูลฝึกใหม่ ที่มา: https://gigazine.net/gsc_news/en/20220121-how-waifu-labs-create/

อาจต้องทุ่มเทความพยายามอย่างมากให้กับรุ่นแยกพัฒนาของเช็กพอยต์ Stable Diffusion เหล่านี้ แล้วกลับติดขัดด้วยหนี้ทางเทคนิค นักพัฒนาใน Discord อย่างเป็นทางการระบุแล้วว่าเช็กพอยต์รุ่นถัดไปไม่จำเป็นต้องเข้ากันได้กับรุ่นก่อน แม้แต่ตรรกะของพรอมต์ที่เคยใช้ได้ในรุ่นก่อน เพราะเป้าหมายหลักคือได้โมเดลที่ดีที่สุดเท่าที่เป็นไปได้ แทนการรองรับแอปพลิเคชันและกระบวนการแบบเก่า

ดังนั้น บริษัทหรือบุคคลที่ตัดสินใจแยกเช็กพอยต์ไปทำผลิตภัณฑ์เชิงพาณิชย์จึงแทบไม่มีทางย้อนกลับ รุ่นโมเดลของตนในจุดนั้นจะเป็น “hard fork” และไม่สามารถรับประโยชน์จากการพัฒนาต้นน้ำในรุ่นถัดไปของ stability.ai ได้ ซึ่งเป็นการตัดสินใจผูกมัดที่สำคัญมาก

ความหวังในปัจจุบันที่ดูมีโอกาสมากกว่าสำหรับการปรับแต่ง Stable Diffusion คือ Textual Inversionซึ่งผู้ใช้ฝึกด้วยภาพเพียงไม่กี่ภาพที่จัดแนวสอดคล้องกับ CLIP.

A collaboration between Tel Aviv University and NVIDIA, textual inversion allows for the training-in of discrete and novel entities, without destroying the capabilities of the source model. Source: https://textual-inversion.github.io/

Textual Inversion ซึ่งเป็นผลงานความร่วมมือระหว่างมหาวิทยาลัยเทลอาวีฟกับ NVIDIA ทำให้ฝึกสิ่งใหม่ที่เฉพาะเจาะจงเข้าไปได้ โดยไม่ทำลายความสามารถของโมเดลต้นทาง ที่มา: https://textual-inversion.github.io/

ข้อจำกัดหลักที่เห็นได้ของ Textual Inversion คือคำแนะนำให้ใช้ภาพจำนวนน้อยมาก อาจเพียงห้าภาพ ซึ่งให้ตัวแทนของสิ่งนั้นที่มีขอบเขตจำกัด และอาจเหมาะกับงานถ่ายทอดสไตล์มากกว่าการแทรกวัตถุที่เหมือนภาพถ่ายจริง

อย่างไรก็ตาม ขณะนี้กำลังมีการทดลองในชุมชน Discord ของ Stable Diffusion หลายแห่งโดยใช้ภาพฝึกจำนวนมากกว่านั้นมาก และยังต้องรอดูว่าวิธีนี้จะได้ผลเพียงใด เช่นเดิม เทคนิคนี้ต้องใช้ VRAM เวลา และความอดทนอย่างมาก

ด้วยข้อจำกัดเหล่านี้ เราอาจต้องรออีกระยะจึงจะได้เห็นการทดลอง Textual Inversion ที่ซับซ้อนกว่าจากผู้ชื่นชอบ Stable Diffusion และได้เห็นว่าแนวทางนี้จะ “ใส่คุณลงไปในภาพ” ได้ดีกว่าการตัดแปะด้วย Photoshop หรือไม่ โดยยังคงความสามารถอันน่าทึ่งของเช็กพอยต์อย่างเป็นทางการไว้

 

เผยแพร่ครั้งแรกวันที่ 6 กันยายน 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai