การแก้ไขภาพด้วย Gaussian Splatting

การทำงานร่วมกันใหม่ระหว่างนักวิจัยในโปแลนด์และสหราชอาณาจักรเสนอมุมมองของการใช้ Gaussian Splatting เพื่อแก้ไขภาพ โดยการแปลส่วนของภาพที่เลือกเป็นพื้นที่ 3 มิติชั่วคราว ทำให้ผู้ใช้สามารถแก้ไขและจัดการรูปแบบ 3 มิติของภาพได้ จากนั้นจึงนำการเปลี่ยนแปลงไปใช้กับภาพ

การเปลี่ยนมุมของหัวแมว โดยการย้ายส่วนนั้นเข้าสู่พื้นที่ 3 มิติด้วย Gaussian Splatting และจัดการโดยผู้ใช้ การเปลี่ยนแปลงจะถูกนำไปใช้ กระบวนการนี้คล้ายกับเทคนิคการล็อกอินเทอร์เฟซในซอฟต์แวร์ของ Adobe จนกว่าการดำเนินการซับซ้อนจะเสร็จสิ้น Source: https://github.com/waczjoan/MiraGe/

เนื่องจากองค์ประกอบ Gaussian Splatting ถูกแทนที่ด้วยเมชของสามเหลี่ยมชั่วคราว และเข้าสู่ ‘สถานะ CGI’ ชั่วคราว จึงสามารถตีความการเคลื่อนไหวตามธรรมชาติได้ ไม่ว่าจะเป็นการเปลี่ยนสถานะของวัตถุหรือการสร้างแอนิเมชัน

ระบบ MiraGe ใหม่ที่มีเครื่องยนต์ฟิสิกส์สามารถตีความการเคลื่อนไหวทางกายภาพตามธรรมชาติได้ ไม่ว่าจะเป็นการสร้างแอนิเมชันหรือการเปลี่ยนแปลงภาพนิ่ง

ไม่มีการใช้ AI ที่สร้างขึ้นในกระบวนการนี้ ซึ่งหมายความว่าไม่มีการใช้ Latent Diffusion Models (LDMs) ซึ่งไม่เหมือนกับระบบ Firefly ของ Adobe ที่ได้รับการฝึกอบรมจาก Adobe Stock (เดิมคือ Fotolia)

ระบบที่เรียกว่า MiraGe ตีความการเลือกเป็นพื้นที่ 3 มิติและอนุมานเรขาคณิตโดยการสร้าง ภาพสะท้อน ของการเลือก และการประมาณพิกัด 3 มิติที่สามารถแสดงเป็น Splat ซึ่งจะตีความภาพเป็นเมช

คลิกเพื่อเล่นตัวอย่างเพิ่มเติมขององค์ประกอบที่ถูกเปลี่ยนแปลงโดยผู้ใช้ของระบบ MiraGe หรือได้รับผลกระทบจากการเปลี่ยนแปลงตามหลักฟิสิกส์

ผู้เขียนเปรียบเทียบระบบ MiraGe กับแนวทางก่อนหน้านี้ และพบว่าระบบนี้สามารถบรรลุผลลัพธ์ที่ดีที่สุดในงานที่กำหนด

ผู้ใช้ระบบ zBrush จะคุ้นเคยกับกระบวนการนี้ เนื่องจากระบบ zBrush ช่วยให้ผู้ใช้สามารถ ‘แบน’ โมเดล 3 มิติและเพิ่มรายละเอียด 2 มิติได้ ในขณะเดียวกันก็รักษาเมชที่อยู่ภายใต้ และตีความรายละเอียดใหม่เข้าไปในเมช – ‘การแช่แข็ง’ ที่ตรงกันข้ามกับวิธีการ MiraGe ซึ่งทำงานเหมือนกับการจัดการแบบ Firefly หรือเทคนิคการเปลี่ยนแปลง 3 มิติอื่นๆ ในซอฟต์แวร์ Photoshop

Gaussian Splats ที่มีพารามิเตอร์ทำให้ MiraGe สามารถสร้างภาพที่มีคุณภาพสูงของพื้นที่ที่เลือกในภาพ 2 มิติ และใช้ฟิสิกส์ของวัตถุอ่อนให้กับการเลือกที่อยู่ใน 3 มิติชั่วคราว

เอกสารระบุว่า:

‘[เรา] เสนอโมเดลที่เข้ารหัสภาพ 2 มิติโดยการจำลองการรับรู้ของมนุษย์ โดยเฉพาะโมเดลของเราตีความภาพ 2 มิติเหมือนกับที่มนุษย์มองภาพหรือกระดาษ ซึ่งถือเป็นวัตถุแบนในพื้นที่ 3 มิติ ‘

‘แนวทางนี้ช่วยให้สามารถแก้ไขภาพได้อย่าง直观และยืดหยุ่น โดยจับข้อมูลเชิงลึกของการรับรู้ของมนุษย์ ในขณะเดียวกันก็ช่วยให้สามารถเปลี่ยนแปลงที่ซับซ้อนได้’

เอกสารใหม่ ใหม่ มีชื่อว่า MiraGe: แก้ไขภาพ 2 มิติ โดยใช้ Gaussian Splatting และมาจากผู้เขียนสี่คนจากมหาวิทยาลัย Jagiellonian ที่ Kraków และมหาวิทยาลัย Cambridge โค้ดที่สมบูรณ์ของระบบได้รับการเผยแพร่บน GitHub

มาดูกันว่านักวิจัยจัดการกับความท้าทายได้อย่างไร

วิธีการ

แนวทาง MiraGe ใช้ Gaussian Mesh Splatting (GaMeS) พารามิเตอร์ ซึ่งเป็นเทคนิคที่พัฒนาโดยกลุ่มที่รวมถึงสองในผู้เขียนของเอกสารใหม่ GaMeS ช่วยให้ Gaussian Splats สามารถตีความเป็นเมช CGI แบบดั้งเดิม และสามารถเปลี่ยนแปลงได้ตามเทคนิคที่พัฒนาโดยชุมชน CGI ในช่วงหลายทศวรรษที่ผ่านมา

MiraGe ตีความ ‘Gaussians ที่แบน’ ในพื้นที่ 2 มิติ และใช้ GaMeS เพื่อ ‘ดึง’ เนื้อหาสู่พื้นที่ 3 มิติที่ใช้ GSplat ชั่วคราว

แต่ละ Gaussian ที่แบนจะแสดงเป็นสามจุดในเมฆของสามเหลี่ยมที่เรียกว่า ‘ซุปสามเหลี่ยม’ ซึ่งเปิดให้การเปลี่ยนแปลงของภาพที่อนุมาน Source: https://arxiv.org/pdf/2410.01521

เราสามารถเห็นได้ในมุมล่างซ้ายของภาพด้านบนว่า MiraGe สร้าง ‘ภาพสะท้อน’ ของส่วนของภาพที่จะถูกตีความ

ผู้เขียนระบุว่า:

‘[เรา] ใช้แนวทางใหม่ที่ใช้กล้องสองตัวที่ตั้งไว้ตามแกน Y ซึ่งจัดเรียงสมมาตรรอบจุดกำเนิดและหันหน้าเข้าหากัน กล้องตัวแรกมีหน้าที่ในการสร้างภาพดั้งเดิม ในขณะที่กล้องตัวที่สองสร้างภาพสะท้อน ‘

‘ภาพถูกตีความเป็นแผ่นกระดาษที่มีความโปร่งใสซึ่งฝังอยู่ในบริบทพื้นที่ 3 มิติ การสะท้อนสามารถแสดงได้โดยการพลิกภาพตามแนวนอน ‘

เอกสารระบุว่าเมื่อการแยกส่วนนี้เสร็จสิ้น การปรับเปลี่ยนมุมมองซึ่งปกติจะท้าทายสามารถเข้าถึงได้โดยตรงผ่านการแก้ไขใน 3 มิติ ในตัวอย่างด้านล่าง เราจะเห็นการเลือกภาพของหญิงที่ครอบคลุมเฉพาะแขนของเธอ ในกรณีนี้ ผู้ใช้ได้เอียงมือลงในลักษณะที่สมเหตุสมผล ซึ่งจะเป็นงานที่ท้าทายหากต้องดันพิกเซลไปรอบๆ

ตัวอย่างเทคนิคการแก้ไข MiraGe

การพยายามทำเช่นนี้โดยใช้เครื่องมือ Firefly ใน Photoshop จะหมายถึงว่ามือจะถูกแทนที่ด้วยมือที่สังเคราะห์ขึ้นโดยการแพร่กระจาย ซึ่งจะทำลายความถูกต้องของการแก้ไข แม้แต่ระบบที่มีความสามารถมากกว่า เช่น ControlNet ซึ่งเป็นระบบเสริมสำหรับ Stable Diffusion และ Latent Diffusion Models อื่นๆ เช่น Flux ก็ยังต้องดิ้นรนเพื่อให้ได้การแก้ไขดังกล่าวในกระบวนการภาพต่อภาพ

การไล่ตามนี้ได้รับการครอบงำโดยวิธีการที่ใช้การแสดงผลเชิง 암시 (INRs) เช่น SIREN และ WIRE ความแตกต่างระหว่างวิธีการแสดงผลเชิง 암示และเชิงชัดเจนคือพิกัดของโมเดลไม่สามารถเข้าถึงได้โดยตรงใน INRs ซึ่งใช้ ฟังก์ชันแบบต่อเนื่อง

ในทางตรงกันข้าม Gaussian Splatting เสนอพิกัด X/Y/Z แบบคาร์ทีเซียนที่ชัดเจนและเข้าถึงได้ แม้ว่าจะใช้วงรีของ Gaussian มากกว่า คาร์ทีเซียน หรือวิธีการอื่นๆ ในการแสดงเนื้อหาทาง 3 มิติ

แนวคิดในการใช้ GSplat ในพื้นที่ 2 มิติได้รับการนำเสนออย่างเด่นชัดที่สุดในความร่วมมือทางวิชาการของจีนในปี 2024 GaussianImage ซึ่งเสนอเวอร์ชัน 2 มิติของ Gaussian Splatting ทำให้สามารถอนุมานเฟรมเรทได้ที่ 1000fps อย่างไรก็ตาม โมเดลนี้ไม่มีการใช้งานที่เกี่ยวข้องกับการแก้ไขภาพ

หลังจากที่ GaMeS พารามิเตอร์ถูกดึงออกจากพื้นที่ที่เลือกเป็นตัวแทน Gaussian/mesh แล้ว ภาพจะถูกสร้างขึ้นใหม่โดยใช้เทคนิค Material Points Method (MPM) ซึ่งถูกอธิบายไว้ใน เอกสาร CSAIL ปี 2018

ใน MiraGe ระหว่างกระบวนการเปลี่ยนแปลง Gaussian Splat จะมีอยู่เป็นตัวแทนแบบตัวแทนสำหรับเวอร์ชันเมชที่เทียบเท่า เช่นเดียวกับ 3DMM CGI models ที่ใช้บ่อยๆ เป็นวิธีการจัดระเบียบสำหรับเทคนิคการแสดงผลเชิง 암示อย่าง Neural Radiance Fields (NeRF)

ในกระบวนการนี้ วัตถุ 2 มิติจะถูกสร้างแบบ 3 มิติ และส่วนของภาพที่ไม่ได้รับผลกระทบจะไม่ปรากฏให้ผู้ใช้เห็น เพื่อให้ผลกระทบของการเปลี่ยนแปลงไม่ชัดเจนจนกว่าการดำเนินการจะเสร็จสิ้น

MiraGe สามารถรวมเข้ากับโปรแกรม 3 มิติแบบโอเพ่นซอร์ส Blender ซึ่งปัจจุบันใช้บ่อยๆ ในการทำงานที่รวม AI สำหรับการทำงานภาพต่อภาพเป็นหลัก

กระบวนการทำงาน MiraGe ใน Blender ซึ่งเกี่ยวข้องกับการย้ายแขนของตัวละครในภาพ 2 มิติ

ผู้เขียนเสนอวิธีการเปลี่ยนแปลงสองวิธีโดยใช้ Gaussian Splatting – Amorphous และ Graphite

วิธีการ Amorphous ใช้ GaMeS โดยตรง และช่วยให้การเลือก 2 มิติที่ถูกดึงออกมาเคลื่อนไหวได้อย่างอิสระในพื้นที่ 3 มิติ ในขณะที่วิธีการ Graphite จะจำกัด Gaussian ในพื้นที่ 2 มิติระหว่างการเริ่มต้นและฝึกอบรม

นักวิจัยพบว่าแม้ว่าวิธีการ Amorphous อาจจัดการรูปทรงที่ซับซ้อนได้ดีกว่า Graphite แต่ ‘รอยแตก’ หรือรอยแยกก็ปรากฏชัดเจนยิ่งขึ้น โดยที่ขอบของการเปลี่ยนแปลงสอดคล้องกับส่วนของภาพที่ไม่ได้รับผลกระทบ

ดังนั้นพวกเขาจึงพัฒนา ‘ระบบภาพสะท้อน’ ที่กล่าวถึงข้างต้น:

‘[เรา] ใช้แนวทางใหม่ที่ใช้กล้องสองตัวที่ตั้งไว้ตามแกน Y ซึ่งจัดเรียงสมมาตรรอบจุดกำเนิดและหันหน้าเข้าหากัน กล้องตัวแรกมีหน้าที่ในการสร้างภาพดั้งเดิม ในขณะที่กล้องตัวที่สองสร้างภาพสะท้อน ‘

‘ภาพถูกตีความเป็นแผ่นกระดาษที่มีความโปร่งใสซึ่งฝังอยู่ในบริบทพื้นที่ 3 มิติ การสะท้อนสามารถแสดงได้โดยการพลิกภาพตามแนวนอน ‘

‘การกำหนดค่ากล้องสะท้อนแบบนี้ช่วยเพิ่มความถูกต้องของการสะท้อนที่สร้างขึ้น โดยให้คำตอบที่มั่นคงสำหรับการจับภาพองค์ประกอบภาพ’

เอกสารระบุว่า MiraGe สามารถใช้เครื่องยนต์ฟิสิกส์ภายนอก เช่น ที่มีอยู่ใน Blender หรือใน Taichi_Elements

ข้อมูลและทดสอบ

สำหรับการประเมินคุณภาพภาพในการทดสอบ MiraGe ที่ดำเนินการ ผู้วิจัยใช้ อัตราส่วนสัญญาณต่อเสียงรบกวน (SNR) และ MS-SIM เป็นตัวชี้วัด

ชุดข้อมูลที่ใช้ ได้แก่ Kodak Lossless True Color Image Suite และ DIV2K ชุดตรวจสอบ ความละเอียดของชุดข้อมูลเหล่านี้เหมาะสมสำหรับการเปรียบเทียบกับผลงานก่อนหน้าที่ใกล้ที่สุด คือ Gaussian Image ระบบที่เป็นคู่แข่งที่ถูกทดสอบ ได้แก่ SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP) และ NeuRBF

การทดสอบดำเนินการบนแล็ปท็อป NVIDIA GEFORCE RTX 4070 และ NVIDIA RTX 2080

MiraGe เสนอผลลัพธ์ที่ดีที่สุดเมื่อเปรียบเทียบกับระบบก่อนหน้าตามผลลัพธ์ที่นำเสนอในเอกสารใหม่

เกี่ยวกับผลลัพธ์เหล่านี้ ผู้เขียนระบุว่า:

‘เราเห็นว่าข้อเสนอของเราทำให้ได้ผลลัพธ์ที่ดีกว่าโซลูชันก่อนหน้าทั้งหมดทั้งในสองชุดข้อมูล คุณภาพที่วัดจากทั้งสองตัวชี้วัดแสดงถึงการปรับปรุงที่สำคัญเมื่อเทียบกับแนวทางก่อนหน้าทั้งหมด’

สรุป

การปรับใช้ Gaussian Splatting 2 มิติของ MiraGe เป็นการเริ่มต้นที่น่าสนใจและอาจเป็นทางเลือกที่น่าสนใจสำหรับการแก้ไขภาพโดยไม่ต้องใช้โมเดลการแพร่กระจายเพื่อสร้างการเปลี่ยนแปลง (เช่น Firefly และวิธีการ API การแพร่กระจายอื่นๆ และสถาปัตยกรรมโอเพ่นซอร์ส เช่น Stable Diffusion และ Flux)

แม้ว่าจะมีโมเดลการแพร่กระจายหลายรูปแบบที่สามารถสร้างการเปลี่ยนแปลงเล็กๆ น้อยๆ ในภาพได้ แต่ LDMs มีข้อจำกัดด้วยแนวทางเชิงอัตนัยและบ่อยครั้ง ‘จินตนาการมากเกินไป’ ต่อคำขอการเปลี่ยนแปลงตามข้อความของผู้ใช้

ดังนั้น ความสามารถในการดึงส่วนหนึ่งของภาพเข้าสู่พื้นที่ 3 มิติชั่วคราว จัดการ และเปลี่ยนกลับเข้าไปในภาพ โดยใช้เฉพาะภาพต้นฉบับเป็นข้อมูลอ้างอิง ดูเหมือนจะเป็นงานที่ Gaussian Splatting อาจเหมาะสมในอนาคต

* มีความสับสนในเอกสาร โดยที่ ‘Amorphous-Mirage’ ถูกอ้างถึงว่าเป็นวิธีการที่มีประสิทธิภาพและสามารถใช้ได้มากที่สุด แม้ว่าจะมีแนวโน้มที่จะสร้าง Gaussian ที่ไม่ต้องการ (รอยแยก) ในขณะที่ ‘Graphite-Mirage’ มีความยืดหยุ่นมากกว่า ดูเหมือนว่า Amorphous-Mirage จะได้รับรายละเอียดที่ดีที่สุด และ Graphite-Mirage จะได้รับความยืดหยุ่นที่ดีที่สุด เนื่องจากทั้งสองวิธีนี้ถูกนำเสนอในเอกสารพร้อมกับความแข็งแกร่งและความอ่อนแอที่หลากหลาย ความชอบของผู้เขียน หากมี ไม่ชัดเจนในขณะนี้

เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 3 ตุลาคม 2024