การใช้ประโยชน์จากความสนใจของมนุษย์สามารถปรับปรุงภาพที่สร้างโดย AI ได้

งานวิจัยใหม่จากประเทศจีนได้เสนอวิธีการปรับปรุงคุณภาพของภาพที่สร้างขึ้นโดย แบบจำลองการแพร่กระจายแฝง (LDMs) เช่น Stable Diffusion

วิธีการนี้มุ่งเน้นที่การเพิ่มประสิทธิภาพ ภูมิภาคที่โดดเด่น ของภาพ – พื้นที่ที่น่าจะดึงดูดความสนใจของมนุษย์มากที่สุด

งานวิจัยใหม่พบว่าแผนที่ความโดดเด่น (คอลัมน์ที่สี่จากซ้าย) สามารถใช้เป็นตัวกรองหรือ "หน้ากาก" เพื่อกำหนดทิศทางของจุดสนใจในการลดเสียงรบกวนไปยังบริเวณของภาพที่มนุษย์มีแนวโน้มที่จะให้ความสนใจมากที่สุด แหล่งที่มา: https://arxiv.org/pdf/2410.10257

วิธีการแบบดั้งเดิมเพิ่มประสิทธิภาพ ภาพทั้งหมด อย่างสม่ำเสมอ ในขณะที่แนวทางใหม่ใช้เครื่องตรวจจับความโดดเด่นเพื่อระบุและจัดลำดับความสำคัญของภูมิภาคที่ "สำคัญ" มากกว่า เช่นเดียวกับที่มนุษย์ทำ

ในการทดสอบเชิงปริมาณและเชิงคุณภาพ วิธีการของนักวิจัยสามารถเอาชนะโมเดลการแพร่กระจายก่อนหน้านี้ได้ ทั้งในแง่ของคุณภาพของภาพและความเที่ยงตรงต่อข้อความแจ้งเตือน

แนวทางใหม่นี้ยังได้รับคะแนนดีที่สุดจากการทดลองการรับรู้ของมนุษย์โดยมีผู้เข้าร่วม 100 คน

การคัดเลือกโดยธรรมชาติ

ความโดดเด่น ความสามารถในการจัดลำดับความสำคัญของข้อมูลในโลกแห่งความเป็นจริงและในภาพเป็น ส่วนสำคัญ ของการมองเห็นของมนุษย์

ตัวอย่างง่ายๆ ก็คือความใส่ใจในรายละเอียดที่เพิ่มมากขึ้นซึ่งศิลปะคลาสสิกมอบให้กับส่วนสำคัญของภาพวาด เช่น ใบหน้าในภาพเหมือน หรือเสากระโดงเรือ ในเรื่องราวที่เกี่ยวกับทะเล ในตัวอย่างนี้ ความสนใจของศิลปินจะรวมศูนย์อยู่ที่เรื่องราวหลัก ซึ่งหมายความว่า รายละเอียดกว้างๆ เช่น พื้นหลังภาพเหมือนหรือคลื่นพายุที่อยู่ไกลออกไป มักจะมีลักษณะคร่าวๆ และแสดงภาพได้กว้างกว่ารายละเอียด

จากการศึกษาวิจัยของมนุษย์ วิธีการเรียนรู้ของเครื่องจักรได้เกิดขึ้นในช่วงทศวรรษที่ผ่านมา ซึ่งสามารถจำลองหรืออย่างน้อยที่สุดก็ประมาณตำแหน่งความสนใจของมนุษย์ในภาพใดๆ ได้

การแบ่งส่วนวัตถุ (การแบ่งส่วนทางความหมาย) สามารถเป็นตัวช่วยในการแยกส่วนต่างๆ ของภาพ และพัฒนาแผนที่ความโดดเด่นที่สอดคล้องกัน แหล่งที่มา: https://arxiv.org/pdf/1312.6034

จากเอกสารงานวิจัย เครื่องตรวจจับแผนที่ความโดดเด่นที่ได้รับความนิยมมากที่สุดในช่วง 2016 ปีที่ผ่านมาคือ XNUMX การแมปการเปิดใช้งานคลาสที่มีการไล่ระดับน้ำหนัก (Grad-CAM) ซึ่งต่อมาได้พัฒนาเป็นการปรับปรุง เกรด-CAM++ ระบบรวมถึงรูปแบบและการปรับปรุงอื่นๆ

Grad-CAM ใช้ การเปิดใช้งานการไล่ระดับสี ของโทเค็นความหมาย (เช่น 'สุนัข' หรือ 'แมว') เพื่อสร้างแผนที่ภาพของตำแหน่งที่แนวคิดหรือคำอธิบายประกอบน่าจะถูกแสดงไว้ในรูปภาพ

ตัวอย่างจากเอกสาร Grad-CAM ต้นฉบับ ในคอลัมน์ที่สอง การแพร่กระจายย้อนกลับแบบมีไกด์จะระบุคุณลักษณะที่สนับสนุนทั้งหมด ในคอลัมน์ที่สาม แผนที่ความหมายจะถูกวาดสำหรับแนวคิดสองแนวคิดคือ 'สุนัข' และ 'แมว' คอลัมน์ที่สี่แสดงถึงการเชื่อมโยงกันของอนุมานสองแนวคิดก่อนหน้า คอลัมน์ที่ห้า แผนที่การบดบัง (การปกปิด) ที่สอดคล้องกับอนุมาน และสุดท้ายในคอลัมน์ที่หก Grad-CAM จะแสดงภาพเลเยอร์ ResNet-18 แหล่งที่มา: https://arxiv.org/pdf/1610.02391

การสำรวจมนุษย์เกี่ยวกับผลลัพธ์ที่ได้จากวิธีการเหล่านี้เผยให้เห็นความสอดคล้องระหว่างการแยกทางคณิตศาสตร์ของจุดสนใจหลักในภาพ และความสนใจของมนุษย์ (เมื่อทำการสแกนภาพ)

สกูล

เค้ก กระดาษใหม่ พิจารณาว่าความโดดเด่นสามารถนำมาใช้กับระบบแปลงข้อความเป็นภาพ (และอาจรวมถึงระบบแปลงข้อความเป็นวิดีโอ) เช่น Stable Diffusion และ Flux ได้อย่างไร

เมื่อตีความข้อความแจ้งเตือนของผู้ใช้ Latent Diffusion Models จะสำรวจข้อมูลที่ฝึกมาแล้ว พื้นที่แฝง สำหรับแนวคิดภาพที่เรียนรู้ซึ่งสอดคล้องกับคำหรือวลีที่ใช้ จากนั้นพวกเขาจะวิเคราะห์จุดข้อมูลที่พบเหล่านี้ผ่าน ดีนอยส์ กระบวนการซึ่งสัญญาณรบกวนแบบสุ่มจะค่อย ๆ พัฒนาไปเป็นการตีความเชิงสร้างสรรค์ของข้อความแจ้งเตือนของผู้ใช้

อย่างไรก็ตาม ณ จุดนี้ โมเดลจะให้ ใส่ใจทุกรายละเอียดของภาพอย่างเท่าเทียมกันนับตั้งแต่มีการเผยแพร่โมเดลการแพร่กระจายในปี 2022 ด้วยการเปิดตัว OpenAI ที่พร้อมใช้งาน ดัล-อี เครื่องกำเนิดภาพ และการเปิดซอร์สโค้ดของกรอบงาน Stable Diffusion ของ Stability.ai ในเวลาต่อมา ผู้ใช้พบว่าส่วนที่ "สำคัญ" ของภาพมักไม่ได้รับการบริการเพียงพอ

เมื่อพิจารณาว่าในภาพพรรณนาทั่วไปของมนุษย์ ใบหน้าของบุคคล (ซึ่งเป็นของ ความสำคัญสูงสุด ต่อผู้ชม) มีแนวโน้มที่จะครอบครองไม่เกิน 10-35% ของภาพทั้งหมด วิธีการกระจายความสนใจแบบประชาธิปไตยนี้ขัดต่อทั้งธรรมชาติของการรับรู้ของมนุษย์และประวัติศาสตร์ศิลปะและการถ่ายภาพ

เมื่อกระดุมกางเกงยีนส์ของคนเราได้รับน้ำหนักเท่ากับสายตา การจัดสรรทรัพยากรอาจกล่าวได้ว่าไม่เหมาะสม

ดังนั้นวิธีการใหม่ที่ผู้เขียนเสนอจึงมีชื่อว่า การเพิ่มประสิทธิภาพการแพร่กระจายแฝงตามคำแนะนำของความโดดเด่น (SGOOL) ใช้ตัวสร้างภาพความโดดเด่นเพื่อเพิ่มความสนใจให้กับบริเวณที่ถูกละเลยในภาพ โดยอุทิศทรัพยากรน้อยลงให้กับส่วนต่างๆ ที่น่าจะยังคงอยู่ที่ขอบของความสนใจของผู้ชม

วิธี

กระบวนการ SGOOL ประกอบด้วยการสร้างภาพ การทำแผนที่ความโดดเด่น และการเพิ่มประสิทธิภาพ โดยภาพรวมและภาพที่ผ่านการปรับแต่งความโดดเด่นจะได้รับการประมวลผลร่วมกัน

โครงร่างแนวคิดสำหรับ SGOOL

การฝังแฝงของแบบจำลองการแพร่กระจายได้รับการปรับให้เหมาะสมโดยตรงด้วย ปรับจูนโดยไม่ต้องฝึกอบรมโมเดลเฉพาะใดๆ อีกต่อไป มหาวิทยาลัยสแตนฟอร์ด แบบจำลองการแพร่กระจายแบบลดเสียงรบกวนโดยปริยาย (DDIM) วิธีการสุ่มตัวอย่าง ซึ่งผู้ใช้ Stable Diffusion คุ้นเคย ได้รับการปรับให้เหมาะกับการรวมข้อมูลรองที่ได้รับจากแผนที่ความโดดเด่น

กระดาษระบุ:

'ขั้นแรก เราใช้เครื่องตรวจจับความโดดเด่นเพื่อเลียนแบบระบบความสนใจทางสายตาของมนุษย์และทำเครื่องหมายบริเวณที่เด่นชัด เพื่อหลีกเลี่ยงการฝึกแบบจำลองเพิ่มเติมซ้ำ วิธีของเราจึงปรับค่าแฝงการแพร่กระจายให้เหมาะสมโดยตรง

นอกจากนี้ SGOOL ยังใช้กระบวนการกระจายแบบย้อนกลับได้และมอบข้อดีในการใช้งานหน่วยความจำคงที่ ดังนั้น วิธีของเราจึงกลายเป็นวิธีการปรับแต่งพารามิเตอร์ที่มีประสิทธิภาพและใช้งานได้ทันที มีการทดลองอย่างกว้างขวางโดยใช้ตัวชี้วัดหลายตัวและการประเมินโดยมนุษย์

เนื่องจากวิธีนี้ต้องใช้กระบวนการกำจัดเสียงรบกวนซ้ำหลายครั้ง ผู้เขียนจึงใช้ การเพิ่มประสิทธิภาพโดยตรงของการแพร่กระจายแฝง กรอบงาน (DOODL) ซึ่งจัดให้มี การแพร่กระจายแบบกลับด้านได้ กระบวนการ – แม้ว่าจะยังคงใส่ใจกับภาพรวมทั้งหมดก็ตาม

เพื่อกำหนดขอบเขตความสนใจของมนุษย์ นักวิจัยได้ใช้ 2022 ของมหาวิทยาลัยดันดี กรอบงาน TransalNet.

ตัวอย่างการตรวจจับความโดดเด่นจากโครงการ TransalNet ปี 2022 แหล่งที่มา: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

จากนั้นภูมิภาคที่โดดเด่นที่ประมวลผลโดย TransalNet จะถูกตัดออกเพื่อสร้างส่วนที่โดดเด่นที่ชัดเจนซึ่งมีแนวโน้มว่าจะน่าสนใจที่สุดสำหรับคนจริง

ความแตกต่างระหว่างข้อความของผู้ใช้และรูปภาพจะต้องได้รับการพิจารณาในแง่ของการกำหนด ฟังก์ชั่นการสูญเสีย ที่สามารถระบุได้ว่ากระบวนการทำงานหรือไม่ สำหรับสิ่งนี้ เวอร์ชันของ OpenAI ภาษาที่ตรงกันข้าม–ภาพก่อนการฝึกอบรม (CLIP) – ซึ่งปัจจุบันเป็นเสาหลักของภาคการวิจัยการสังเคราะห์ภาพ – ถูกนำมาใช้ร่วมกับการพิจารณาการประมาณค่า ระยะทางความหมาย ระหว่างข้อความแจ้งเตือนและเอาท์พุตภาพทั่วโลก (ไม่โดดเด่น)

ผู้เขียนยืนยันว่า:

'[ฟังก์ชัน] การสูญเสียขั้นสุดท้ายเกี่ยวข้องกับความสัมพันธ์ระหว่างส่วนที่โดดเด่นและภาพลักษณ์ทั่วโลกพร้อมๆ กัน ซึ่งช่วยให้รักษาสมดุลระหว่างรายละเอียดในพื้นที่และความสอดคล้องทั่วโลกในกระบวนการสร้าง'

'การสูญเสียที่รับรู้ถึงความโดดเด่นนี้ถูกนำมาใช้เพื่อปรับค่าแฝงของภาพให้เหมาะสมที่สุด การไล่ระดับจะถูกคำนวณบนค่าแฝงที่มีสัญญาณรบกวน และถูกนำมาใช้เพื่อปรับปรุงเอฟเฟกต์การปรับสภาพของพรอมต์อินพุตต่อทั้งด้านที่โดดเด่นและทั่วไปของภาพต้นฉบับที่สร้างขึ้น'

ข้อมูลและการทดสอบ

เพื่อทดสอบ SGOOL ผู้เขียนได้ใช้การแจกแจง 'วานิลลา' ของ Stable Diffusion V1.4 (แสดงเป็น 'SD' ในผลการทดสอบ) และ Stable Diffusion พร้อมคำแนะนำ CLIP (แสดงเป็น 'พื้นฐาน' ในผลลัพธ์)

ระบบได้รับการประเมินโดยใช้ชุดข้อมูลสาธารณะสามชุด: กระบวนการทั่วไปของ Syntactic (กสทช.) วาดม้านั่งและ DailyDallE*

ในส่วนหลังประกอบด้วยคำกระตุ้นอย่างละเอียด 99 คำจากศิลปินที่นำเสนอในโพสต์บล็อกของ OpenAI ในขณะที่ DrawBench นำเสนอคำกระตุ้น 200 คำใน 11 หมวดหมู่ CSP ประกอบด้วยคำกระตุ้น 52 คำโดยอิงจากกรณีทางไวยากรณ์ที่แตกต่างกัน XNUMX กรณี

สำหรับ SD, เบสไลน์ และ SGOOL ในการทดสอบ จะใช้โมเดล CLIP วีที/บี-32 เพื่อสร้างการฝังภาพและข้อความ คำสั่งเดียวกันและ เมล็ดพันธุ์สุ่ม ถูกนำมาใช้ ขนาดเอาต์พุตคือ 256×256 และใช้ค่าน้ำหนักและการตั้งค่าเริ่มต้นของ TransalNet

นอกจากเมตริกคะแนน CLIP แล้ว ยังมีการประมาณการ คะแนนความชอบของมนุษย์ (HPS) ถูกนำมาใช้เพิ่มเติมจากการศึกษาในโลกแห่งความเป็นจริงที่มีผู้เข้าร่วม 100 คน

ผลเชิงปริมาณเปรียบเทียบ SGOOL กับการกำหนดค่าก่อนหน้านี้

เมื่อพิจารณาผลเชิงปริมาณที่แสดงในตารางด้านบน เอกสารระบุว่า:

'[โมเดลของเรา] มีประสิทธิภาพเหนือกว่า SD และ Baseline อย่างเห็นได้ชัดในชุดข้อมูลทั้งหมดภายใต้ทั้งคะแนน CLIP และเมตริก HPS ผลลัพธ์เฉลี่ยของโมเดลของเราในคะแนน CLIP และ HPS สูงกว่าอันดับสอง 3.05 และ 0.0029 ตามลำดับ'

ผู้เขียนได้ประเมินแผนภาพกล่องของคะแนน HPS และ CLIP เพิ่มเติมด้วยวิธีการก่อนหน้านี้:

แผนภาพกล่องสำหรับคะแนน HPS และ CLIP ที่ได้จากการทดสอบ

พวกเขาแสดงความคิดเห็น:

'จะเห็นได้ว่าโมเดลของเรามีประสิทธิภาพเหนือกว่าโมเดลอื่นๆ ซึ่งบ่งชี้ว่าโมเดลของเรามีความสามารถในการสร้างภาพที่สอดคล้องกับคำแนะนำได้ดีกว่า'

'อย่างไรก็ตาม ในกราฟกล่องนั้น การเปรียบเทียบจากกราฟกล่องนั้นไม่ใช่เรื่องง่าย เนื่องจากเมตริกการประเมินนี้มีขนาดที่ [0, 1] ดังนั้น เราจึงดำเนินการกราฟแท่งที่สอดคล้องกัน

“จะเห็นได้ว่า SGOOL มีประสิทธิภาพเหนือกว่า SD และ Baseline บนชุดข้อมูลทั้งหมดภายใต้ทั้งคะแนน CLIP และเมตริก HPS ผลเชิงปริมาณแสดงให้เห็นว่าโมเดลของเราสามารถสร้างภาพที่สอดคล้องทางความหมายและตรงตามความต้องการของมนุษย์มากขึ้น”

นักวิจัยสังเกตว่าแม้ว่าโมเดลพื้นฐานจะสามารถปรับปรุงคุณภาพของภาพเอาต์พุตได้ แต่ก็ไม่ได้คำนึงถึงพื้นที่ที่โดดเด่นของภาพ พวกเขาโต้แย้งว่า SGOOL สามารถหาจุดสมดุลระหว่างการประเมินภาพโดยรวมและภาพที่โดดเด่นได้ จึงได้ภาพที่ดีกว่า

ในการเปรียบเทียบเชิงคุณภาพ (อัตโนมัติ) จำนวนการเพิ่มประสิทธิภาพถูกกำหนดเป็น 50 สำหรับ SGOOL และ DOODL

ผลการทดสอบเชิงคุณภาพ โปรดดูเอกสารต้นฉบับเพื่อคำจำกัดความที่ชัดเจนยิ่งขึ้น

ที่นี่ผู้เขียนสังเกต:

'ใน [แถวแรก] หัวข้อของคำกระตุ้นคือ “แมวร้องเพลง” และ “วงบาร์เบอร์ช็อปสี่คน” มีแมวสี่ตัวในภาพที่สร้างโดย SD และเนื้อหาของภาพไม่สอดคล้องกับคำกระตุ้น

'แมวถูกละเว้นในภาพที่สร้างโดย Baseline และมีการขาดรายละเอียดในการแสดงใบหน้าและรายละเอียดในภาพ DOODL พยายามสร้างภาพที่สอดคล้องกับข้อความแจ้ง

'อย่างไรก็ตาม เนื่องจาก DOODL เพิ่มประสิทธิภาพให้กับภาพทั่วไปโดยตรง บุคคลในภาพจึงได้รับการเพิ่มประสิทธิภาพให้สอดคล้องกับแมว'

นอกจากนี้พวกเขายังสังเกตอีกว่า SGOOL ในทางตรงกันข้ามจะสร้างภาพที่สอดคล้องกับข้อความแจ้งเตือนเดิมมากกว่า

ในการทดสอบการรับรู้ของมนุษย์ อาสาสมัคร 100 คนประเมินภาพทดสอบในด้านคุณภาพและความสอดคล้องของความหมาย (เช่น ปฏิบัติตามข้อความแจ้งเตือนต้นฉบับอย่างใกล้ชิดเพียงใด) ผู้เข้าร่วมมีเวลาไม่จำกัดในการเลือกภาพ

ผลการทดสอบการรับรู้ของมนุษย์

ตามที่เอกสารระบุไว้ วิธีการของผู้เขียนได้รับความนิยมมากกว่าวิธีการก่อนหน้านี้มาก

สรุป

ไม่นานหลังจากที่ข้อบกพร่องที่กล่าวถึงในเอกสารนี้ปรากฏชัดในระบบติดตั้ง Stable Diffusion ในพื้นที่ วิธีการสั่งทำพิเศษต่างๆ (เช่น หลังจากทำความสะอาดอย่างละเอียด) เกิดขึ้นเพื่อบังคับให้ระบบใส่ใจเป็นพิเศษกับพื้นที่ที่มีความสำคัญต่อมนุษย์มากกว่า

อย่างไรก็ตาม แนวทางประเภทนี้ต้องใช้ระบบการกระจายแสงที่ต้องผ่านกระบวนการปกติในการให้ความใส่ใจกับทุกส่วนของภาพอย่างเท่าเทียมกันก่อน จากนั้นจึงค่อยเพิ่มงานให้เป็นขั้นตอนพิเศษ

หลักฐานจาก SGOOL แสดงให้เห็นว่าการนำจิตวิทยาพื้นฐานของมนุษย์มาใช้ในการกำหนดลำดับความสำคัญของส่วนต่างๆ ของภาพอาจช่วยเพิ่มการอนุมานเบื้องต้นได้อย่างมากโดยไม่ต้องผ่านขั้นตอนการประมวลผลหลังการประมวลผล

* เอกสารนี้ให้ลิงก์เดียวกันสำหรับสิ่งนี้และ CommonSyntacticProcesses

เผยแพร่ครั้งแรกวันพุธที่ 16 ตุลาคม 2024