นำภาพที่สร้างด้วย AI มาสู่ยุค HDR

ภาพและวิดีโอที่สร้างด้วย AI อาจน่าประทับใจ แต่ก็ไม่ได้ถึงมาตรฐาน “มืออาชีพ” – ปัญหาที่โครงการวิจัยใหม่พยายามแก้ไข

ในชุมชนโปรเฟสชั่นแนลออดิโอวิชวล หนึ่งในข้อคัดค้านที่พบบ่อยที่สุดต่อการเข้ามาของ AI คือ การขาดมาตรฐานมืออาชีพ ของการแสดงภาพและวิดีโอ ไม่น้อยที่สุดคือความสามารถในการทำงานกับภาพและวิดีโอ High Dynamic Range (HDR)

ภาพ HDR คือสิ่งที่เทียบเท่ากับเทคนิคการถ่ายภาพในศตวรรษที่ 19/20 ที่เรียกว่า การถ่ายภาพหลายช็อต โดยการถ่ายภาพหลายครั้งด้วยแสงมากขึ้นที่เข้าถึงฟิล์ม:

ด้านบน คือชุดภาพหลายช็อต ในขณะที่ด้านล่าง คือช่วงไดนามิกที่สามารถถูกขยายจากภาพเหล่านี้เป็นภาพเดียว Source

ในงานถ่ายภาพแบบดั้งเดิม สิ่งนี้จะส่งผลให้ได้หลายภาพที่สามารถถูกสร้างขึ้นเป็นภาพเดียวที่มีรายละเอียดจากหลายระดับของการเปิดรับแสง แต่ไม่ใช่กระบวนการที่ง่ายหรือไม่มีความสำคัญ

วันนี้ ‘ชุดภาพหลายช็อตอัตโนมัติ’ สามารถสร้างภาพหลายภาพหรือรวมเป็นภาพ HDR เดียว – โดยมีหลายระดับของการเปิดรับแสงในชุดเดียว ซึ่งสามารถถูกสร้างและปรับให้เหมาะสมโดยใช้ซอฟต์แวร์แก้ไขภาพที่รองรับ HDR เช่น Photoshop

หากคุณสงสัยว่าทำไมคุณควรสนใจหรือวิธีการที่สิ่งนี้ส่งผลกระทบต่อการถ่ายภาพของคุณเอง ภาพประกอบในบทความนี้มีจุดมุ่งหมายเพื่อแสดงให้เห็นในลักษณะที่คุ้นเคย:

ด้านบน ทางซ้าย คือตัวอย่างของภาพ sRGB (เช่น ไม่ใช่ HDR) ภาพ เมื่อเพิ่มความสว่าง (ด้านขวา) จะไม่แสดงสิ่งที่ซ่อนอยู่ในตู้เสื้อผ้า เพราะรายละเอียดนั้นถูกทิ้งไปเมื่อผู้ถ่ายภาพและกระบวนการอัตโนมัติของกล้องตัดสินใจว่าจะจัดลำดับความสำคัญของภาพ:

ด้านล่าง คือการแสดงให้เห็นว่าพื้นหน้าจะ “ซีด” เพียงใด ในขณะถ่ายภาพ เพื่อให้สามารถจับภาพสิ่งที่ซ่อนอยู่ในตู้เสื้อผ้าได้ในภาพที่ไม่ใช่ HDR และ (ทางขวา) ว่าสิ่งที่ซ่อนอยู่ในตู้เสื้อผ้าจะถูกจมลงในความมืดเมื่อการเปิดรับแสงที่เหมาะสมสำหรับพื้นหน้าที่มีแสงสว่าง:

ด้านล่าง เราจะเห็นรายละเอียดที่สามารถ “ช่วยชีวิต” จากภาพ HDR หรือชุดภาพได้ ในกรณีนี้ สิ่งที่ซ่อนอยู่ในตู้เสื้อผ้าถูก “ซ่อน” ในระดับต่ำสุดของชุดภาพ HDR ในระดับที่ส่วนอื่นของเนื้อหาจะถูก “เผา” ไปเป็นใกล้ขาว (ด้านบนซ้าย) โดยการกำหนดให้แสดงช่วงความสว่างที่กว้างในภาพเดียว สามารถสร้างภาพที่มีองค์ประกอบที่ไม่สอดคล้องกัน:

ภาพที่ไม่ใช่ HDR เรียกว่า ภาพอ้างอิงการแสดง และภาพ HDR ที่มีช่วงไดนามิกสูงเรียกว่า ภาพอ้างอิงฉาก

วิดีโอ HDR ก็เป็นสิ่งที่ มีอยู่ และความยืดหยุ่นของโทนัลนี้ทำให้ผู้สร้างภาพยนตร์มีความยืดหยุ่นในการช่วยชีวิต การจัดระดับ และตีความฟุตเทจในหลายวิธีสร้างสรรค์และสอดคล้องกัน ไม่น่าแปลกใจที่ผู้สร้างสรรค์ไม่เต็มใจที่จะทำงานกับเอาต์พุต sRGB ที่ “แบน” ทั่วไปของเฟรมเวิร์กการสร้างที่ใช้ AI ส่วนใหญ่

HDR ใน AI

โดยธรรมชาติแล้ว สิ่งที่น่าสนใจคือการนำเฟรมเวิร์กการสร้างที่ใช้ AI มาสู่ยุค HDR อย่างไรก็ตาม สิ่งนี้ไม่ใช่เรื่องง่าย ทั้งเนื่องจากสถาปัตยกรรมพื้นฐานของระบบการสร้างแบบกระจายและเพราะว่าข้อมูล HDR ที่ดีใช้พื้นที่ดิสก์มาก ทำให้ไม่มีข้อมูลที่เหมาะสมสำหรับงานนี้

อย่างไรก็ตาม การร่วมมือระหว่างมหาวิทยาลัยในประเทศสิงคโปร์และ Adobe Research ได้เสนอวิธีการสร้างชุดภาพ HDR ที่สามารถใช้กับวิดีโอและภาพนิ่งได้:

จากเว็บไซต์โครงการสำหรับผลงานใหม่ ตัวอย่างของ ‘ชุดภาพหลายช็อต’ ที่สร้างจากข้อความ-ถึง-ภาพ Source

ระบบใหม่นี้สร้างหลายเวอร์ชันของภาพเดียวกันที่ระดับความสว่างต่างกันและเรียนรู้ว่าฉากนั้นสว่างแค่ไหน จึงรวมเข้าเป็นผลลัพธ์เดียวที่รักษารายละเอียดทั้งในเงาและไฮไลท์ ทำให้การแก้ไขการเปิดรับแสงหรือสีในภายหลังคล้ายกับการปรับแต่งการถ่ายภาพจริงมากกว่าการปรับแต่งภาพที่ถูกประมวลผลแล้ว:

ระบบนี้ใช้โมเดลที่หลากหลายสำหรับงานนี้ รวมถึงรูปแบบของ Qwen และ Flux :

ตัวอย่างจากเอกสารใหม่ โดยแสดงว่าระบบสามารถสร้างหลายเวอร์ชันของการเปิดรับแสงสำหรับฉากเดียวกัน ในขณะที่รักษาความสม่ำเสมอของโครงสร้าง Source

ผู้เขียนระบุว่า:

‘การสร้างภาพเชิงเส้นเป็นเรื่องที่ท้าทาย เนื่องจากโมเดลการกระจายแบบพรีเทรนในโมเดลการสร้างแบบกระจายมีปัญหาในการรักษาไฮไลท์และเงาที่รุนแรงพร้อมกันเนื่องจากช่วงไดนามิกที่สูงและความลึกของบิต’

‘ดังนั้น เราแสดงภาพเชิงเส้นเป็นชุดของการเปิดรับแสง และเสนอสถาปัตยกรรมแบบ DiT-based flow-matching สำหรับการสร้างการเปิดรับแสงตามข้อความ-ถึง-ภาพ’

‘นอกจากนี้ เรายังแสดงให้เห็นถึงการประยุกต์ใช้ลงสู่สิ่งปฏิบัติ รวมถึงการแก้ไขภาพเชิงเส้นตามข้อความและการสร้างตามโครงสร้างผ่าน ControlNet’

งานใหม่นี้มีชื่อว่า การสร้างภาพเชิงเส้นโดยการสร้างการเปิดรับแสง และมาจากผู้เขียนสี่คนจาก S-Lab ที่ Nanyang Technological University, Adobe NextCam และ Adobe Research นอกเหนือจากเว็บไซต์โครงการและวิดีโอ YouTube ที่มาพร้อมกับการเปิดตัว ยังมี GitHub repo ที่ (ปัจจุบัน) ว่างเปล่า และมีการสัญญาว่าจะปล่อยข้อมูลชุดข้อมูล

แม้ว่าผู้เขียนจะให้ตัวอย่างหลายตัวอย่างจากเอาต์พุตของระบบที่เว็บไซต์โครงการ แต่ผู้อ่านจะต้องมีจอแสดงผล HDR จึงจะสามารถแยกแยะลักษณะของเอาต์พุต HDR ที่นำเสนอได้ อย่างไรก็ตาม โปรดดูวิดีโอที่ให้มาโดยผู้วิจัยที่สิ้นสุดของบทความนี้ – แต่โปรดทราบว่าความแตกต่างระหว่างตัวอย่างที่แสดงอาจไม่ชัดเจนบนจอแสดงผลที่ไม่ใช่ HDR

วิธีการและข้อมูล

ผู้เขียนเน้นย้ำถึงขอบเขตที่ข้อมูลมีความท้าทายในความพยายามนี้:

‘การรวบรวมภาพเชิงเส้นจำนวนมากเป็นเรื่องที่ท้าทายมากในทางปฏิบัติ นอกจากนี้ ชุดข้อมูล HDR สาธารณะส่วนใหญ่จะไม่ครอบคลุมหรือไม่ได้ให้ภาพเชิงเส้นจริง ทำให้ไม่เหมาะสมสำหรับวัตถุประสงค์ของเรา’

‘ดังนั้น เราใช้ชุดข้อมูลภาพ RAW เป็นพื้นฐานสำหรับการฝึกอบรม’

นักวิจัยใช้ประโยชน์จากตัวเลือกที่มีอยู่ โดยใช้ชุดข้อมูล RAISE เป็นข้อมูลฝึกอบรมที่แท้จริง และชุดข้อมูล MIT-Adobe FiveK เป็นข้อมูล ทดสอบ*

เพื่อสร้างข้อมูลฝึกอบรม HDR ที่ใช้งานได้ นักวิจัยรันไฟล์กล้อง RAW ผ่านพายพ์ไลน์ที่มาตรฐานเพื่อกำจัดความแปรปรวนเฉพาะของกล้อง และแปลงภาพเป็นรูปแบบเชิงเส้นแบบอ้างอิงฉากที่สม่ำเสมอ:

สคีมาของกระบวนการของผู้เขียน: ระบบเริ่มต้นจากสัญญาณรบกวนแสดงการเปิดรับแสง 4 ระดับของฉากเดียวกัน พร้อมกับข้อความและโทเค็นความสว่าง และประมวลผลผ่านบล็อกทรานส์ฟอร์เมอร์ที่ซ้อนกันซึ่งรักษาการเปิดรับแสงให้เข้ากันในขณะที่ปรับให้เหมาะสมกับการเปิดรับแสง จากนั้นจึงคาดการณ์ภาพการเปิดรับแสงและมาตราส่วนความสว่างโดยรวม และท้ายที่สุดก็ถอดรหัสและรวมเข้าด้วยกันเป็นภาพอ้างอิงฉากที่รักษารายละเอียดทั้งในเงาและไฮไลท์

สิ่งนี้เกี่ยวข้องกับการสร้าง RGB เต็มรูปแบบจากข้อมูลเซ็นเซอร์ การปรับแก้ความสม่ำเสมอของสี การปรับเทียบการปรับสมดุลของสีขาว และการเคลื่อนย้ายอย่างรวดเร็วไปยัง พื้นที่สีที่รับรู้ สำหรับการลดรอยเส้น และกลับไปยังสัญญาณเชิงเส้นที่สะอาดอีกครั้ง ความสว่างที่แท้จริงในฉากถูกกู้คืนโดยใช้การตั้งค่าการเปิดรับแสงกล้อง เพื่อให้แต่ละพิกเซลสะท้อนถึงความสว่างที่แท้จริงมากกว่าการแสดงผลที่พร้อมแสดง:

เนื่องจากค่าเหล่านี้สามารถแตกต่างกันอย่างกว้างขวาง ข้อมูลจึงถูกทำให้เสถียรโดยการปรับขนาดภาพแต่ละภาพตามการกระจายความสว่างของมัน โดยใช้ข้อมูลไฮไลท์และมิดเรนจ์ในการหลีกเลี่ยงภาพที่ซีดและไฮไลท์ที่ถูกเผา ทำให้ได้ภาพเชิงเส้นแบบอ้างอิงฉากที่รักษาช่วงความสว่างที่แท้จริงของฉากในขณะที่ยังคงเสถียรพอที่จะฝึกอบรม:

ป้ายกำกับข้อความสำหรับภาพถูกสร้างขึ้นด้วยโมเดล Qwen2.5-VL 7B โดยมีการสร้างข้อความที่ตรงกับคุณลักษณะของโมเดล Flux ที่จะใช้ในการสร้าง:

แต่ละภาพถูกแบ่งออกเป็น “ชิ้น” ของการเปิดรับแสงและผ่าน VAE encoder ที่ใช้ร่วมกัน ซึ่งแปลงการเปิดรับแสงทั้งหมดเป็นพื้นที่ ลัตเทนต์ ที่ออกแบบมาเพื่อรักษาช่วงความสว่างที่เต็มที่ ลัตเทนต์ถูกปรับให้ละเอียดจากสัญญาณรบกวนและถอดรหัสกลับเป็นภาพ ทำให้สามารถสร้างภาพที่สม่ำเสมอทั้งในพื้นที่มืดและสว่างโดยไม่ล่มหรือสร้างเนื้อหาที่ไม่ซ้ำกันเมื่อการเปิดรับแสงเปลี่ยนแปลง:

LoRA finetuning ถูกใช้เพื่อปรับโมเดล Flux ที่พรีเทรนให้เหมาะสมกับข้อมูลภาพเชิงเส้นโดยใช้พารามิเตอร์เสริมน้อย ทำให้โมเดล Single-Diffusion Transformers (single-DiT) มีเสถียรภาพแม้การเปิดรับแสงจะเปลี่ยนแปลงไปตามการเปิดรับแสง:

การดูแลการเปิดรับแสงแบบตนเอง (คอลัมน์กลางในภาพสคีมาข้างต้น) ถูกนำมาใช้เพื่อประมวลผลการเปิดรับแสงทั้งหมด โดยให้ความสามารถในการปรับระดับความสว่างต่อการเปิดรับแสงโดยรักษาโครงสร้างและรายละเอียดที่ละเอียดให้เข้ากัน:

3D Rotary Positional Embedding (3D-R[o]PE) ถูกใช้เพื่อเข้ารหัสทั้งตำแหน่งเชิงพื้นที่และอัตลักษณ์การเปิดรับแสง เพื่อให้โมเดลสามารถแยกแยะการเปิดรับแสงใดที่โทเค็นแต่ละตัวมาจากในขณะที่รักษาความสม่ำเสมอเชิงพื้นที่:

ภาพรวมของชุดข้อมูลที่ใช้ในการศึกษา โดยแสดงการกระจายภาพตามประเภทเนื้อหาและฉากในและนอกอาคาร พร้อมกับการกระจายค่าความสว่างในข้อมูลที่ประมวลผลแล้ว

3D-RoPE แยก ที่ไหน คุณลักษณะและ ‘การเปิดรับแสงใดที่มาจาก’ ออกเป็นสัญญาณที่แยกจากกัน เพื่อให้การปรับระดับความสว่างสามารถปรับได้อย่างอิสระโดยไม่ทำลายรายละเอียดเชิงพื้นที่

การทดสอบ

นักวิจัยใช้ Flux-dev เป็นเฟรมเวิร์กการสร้าง โดยมีการฝึกอบรมบน 4 GPU ของ NVIDIA A100 แต่ละตัวมี VRAM 80GB ขนาด แบตช์ ถูกตั้งค่าไว้ที่ 4 (ต่อ GPU) ใน 10,000 ไอเทอร์เรชัน

LoRA fine-tuning ใช้ อันดับ 64 โมเดล AdamW ถูกใช้กับอัตราการเรียนรู้ 2×10² (สำหรับด้านการปรับระดับความสว่าง)

ผู้เขียนสังเกตว่าในขณะที่มีงานก่อนหน้าที่คล้ายกันสองงาน แต่ไม่มีงานใดที่เป็นตัวเปรียบเทียบโดยตรงในการทดสอบ เนื่องจาก GlowGAN ที่นำโดย Max Planck ในปี 2022 มีข้อจำกัดในการสร้างภาพในหมวดหมู่เฉพาะ ในขณะที่ Bracket Diffusion ในปี 2025 (นำโดย Max Planck Institute อีกครั้ง) สามารถสร้างภาพ HDR ได้เพียง 256x256px และใช้เวลาหลายนาทีในการทำ:

จากเอกสาร GlowGAN ต้นฉบับ ภาพ LDR ทั่วไปจะเสียรายละเอียดในเงาและไฮไลท์ ในขณะที่โมเดลเรียนรู้ที่จะสร้างภาพ HDR ที่รักษารายละเอียดทั่วระดับความสว่างและช่วยให้สามารถกู้คืนพื้นที่ที่อิ่มตัวผ่านการทำอินเวอร์สโทนแมป Source

ดังนั้น ในการขาดตัวเปรียบเทียบโดยตรง ผู้เขียนจึงเปรียบเทียบวิธีการของตนเองกับเวอร์ชันที่ปรับให้เหมาะสมของโมเดลที่มีอยู่:

ชุดหนึ่งของการทดลอง (‘T2I Fine-Tuning’) ปรับโมเดลการกระจายภาพจากข้อความ Flux โดยใช้ LoRA และฝึกอบรมให้สร้างภาพเชิงเส้นโดยตรง และประเมินว่าโมเดล T2I ที่มีคุณภาพสูงสามารถปรับให้เหมาะสมกับโดเมนนี้ได้ดีเพียงใด:

การเปรียบเทียบครั้งที่สอง (‘T2V fine-tuning’) ใช้โมเดล Wan 2.1 สำหรับการสร้างวิดีโอจากข้อความ ซึ่ง VAE ของมันบีบอัดหลายเฟรมเข้าไปในลัตเทนต์ที่ใช้ร่วมกัน ในการตั้งค่านี้ การเปิดรับแสง 4 ช็อตถูกเข้ารหัสเป็นลัตเทนต์แบบเดียวกัน และถอดรหัสกลับเพื่อทดสอบว่าพายพ์ไลน์แบบวิดีโอกำลังสร้างแบบจำลองการเปิดรับแสงได้ดีหรือไม่:

ชุดการทดลองที่สาม (‘T2I Model Inflation’) เปรียบเทียบกับ CameraCtrl และ Generative Photography ซึ่งทั้งสองแบบขยายโมเดลการกระจายภาพโดยใช้โมดูลเชิงเวลาเพื่อสร้างเอาต์พุตหลายเฟรม:

เมตริกที่ใช้ ได้แก่ Fréchet Inception Distance (FID); คะแนนสุนทรีย์ (AS); Naturalness Image Quality Evaluator (NIQUE); คะแนน CLIP Sim; และความคล้ายคลึงกันของความสว่าง (LS):

การเปรียบเทียบวิธีการของผู้เขียนกับแบบจำลองฐานที่ปรับให้เหมาะสมหลายแบบสำหรับการสร้างภาพเชิงเส้นแบบอ้างอิงฉาก

เกี่ยวกับผลลัพธ์เหล่านี้ ผู้เขียนระบุว่า:

‘การปรับโมเดล T2I โดยตรงบนข้อมูลเชิงเส้นทำให้ยากที่จะสร้างสมดุลระหว่างรายละเอียดเงาและไฮไลท์ วิธีการ T2I Model Inflation มีปัญหาในการรักษาช่วงไดนามิกและความเสื่อมสภาพของภาพอย่างมีนัยสำคัญ’

‘สำหรับ T2V Fine-Tuning การลดขนาดเวลา 4x ของ Wan 2.1 ทำให้การเปิดรับแสง 4 ช็อตถูกบีบอัดเข้าไปในลัตเทนต์แบบเดียวกัน ทำให้เกิดความไม่ตรงกันของการกระจายที่ไม่สามารถแก้ไขได้ด้วยการปรับให้เหมาะสมเพียงอย่างเดียว’

‘โดยการสร้างแบบจำลองคุณสมบัติอ้างอิงฉากโดยตรงโดยใช้การเปิดรับแสง วิธีการของเรามีคุณภาพการแสดงภาพและช่วงไดนามิกที่เหนือกว่าแบบจำลองฐานทั้งหมด’

การเปรียบเทียบกับ Flux และ Wan 2.1 ที่ปรับให้เหมาะสมด้วย LoRA โดยแสดงให้เห็นว่าแต่ละวิธีการจัดการการเปลี่ยนแปลงการเปิดรับแสงตลอดฉากเดียวกัน

กรุณาเยี่ยมชมส่วนการทดลองเพิ่มเติมและวัสดุเพิ่มเติมของเอกสารต้นฉบับสำหรับการทดสอบเพิ่มเติม

สรุป

สำหรับมืออาชีพสื่อ เช่น ผู้ที่ทำงานในอุตสาหกรรมภาพยนตร์และโทรทัศน์ เอาต์พุตที่ได้รับความสนใจ (และความไม่พอใจที่เพิ่มขึ้น) ของโลกนั้นได้ทิ้งพวกเขาไว้โดยไม่มีอารมณ์ใดๆ เนื่องจากแทบจะทุกกระบวนการของพวกเขาต้องอาศัยการบันทึก HDR

ดังนั้น นี่จึงเป็นโครงการที่เหมาะสม ซึ่งแสดงถึงคุณสมบัติที่หวังว่าจะกลายเป็นมาตรฐานที่ไม่จำเป็นในเฟรมเวิร์กใหม่ๆ – แม้ว่าจะมั่นใจได้ว่าจะเพิ่มเวลาในการเรนเดอร์เป็นสองเท่า และชัดเจนว่าความหน่วงจะต้องได้รับการแก้ไขอย่างจริงจังหากเนื้อหาที่สร้างด้วย AI ไม่ถูกจัดให้อยู่ในหมวดหมู่ ‘หลังการผลิต’ มากกว่า ‘ในกล้อง’

https://arxiv.org/pdf/1706.08500.pdf

* ปกติเราจะแสดงตัวอย่าง แต่เนื่องจากผู้อ่านอาจไม่มีจอแสดงผล HDR เราจึงไม่แสดงตัวอย่างในกรณีนี้

เผยแพร่ครั้งแรกวันอาทิตย์ที่ 26 เมษายน 2026