การใช้ AI เพื่อจำลองเม็ดฟิล์ม

ทำให้อเมริกามีเม็ดฟิล์มอีกครั้ง: เครื่องมือ AI ใหม่สามารถลบเม็ดฟิล์มออกจากวิดีโอดั้งเดิม ลดขนาดวิดีโอลงเหลือเศษเสี้ยวของขนาดเดิม แล้วใส่เม็ดฟิล์มกลับเข้าไปอีกครั้ง เพื่อให้ผู้ชมไม่สังเกตเห็น มันทำงานร่วมกับมาตรฐานวิดีโอที่มีอยู่แล้ว และลดแบนด์วิธลงได้มากถึง 90% ในขณะเดียวกันก็รักษาหน้าตาสไตล์ย้อนยุค

สำหรับหลายๆ คน ที่ดูหนังหรือรายการโทรทัศน์เก่าๆ “เสียงกรอบ” ของเม็ดฟิล์มเป็นสิ่งที่ให้ความมั่นใจ แม้ว่าเราจะไม่ได้ตระหนักถึงมันอย่างชัดเจน เม็ดฟิล์มบอกเราว่าสิ่งที่เรากำลังดูถูกสร้างขึ้นโดยใช้เคมี ไม่ใช่โค้ด และเชื่อมโยงประสบการณ์กับโลกแห่งความเป็นจริง: การเลือกสต็อก การตั้งค่าแสง การประมวลผลในแล็บ และยุคสมัยที่ล่วงเลยไป:

แนวทางของฮอลลีวูดในการใช้เม็ดฟิล์มเปลี่ยนแปลงไปพร้อมกับการเปลี่ยนแปลงทางวัฒนธรรมและวิธีการผลิต ในช่วงปี 1960 การพัฒนาฟิล์มและเทคนิคการถ่ายภาพทำให้ได้ลักษณะการมองเห็นที่แตกต่าง ในเวลาต่อมา ผู้กำกับที่ทำงานดิจิทัลเริ่มนำเม็ดฟิล์มกลับเข้ามาโดยเจตนา ในช่วงกลางทศวรรษ 1980 ผู้กำกับ James Cameron เลือกฟิล์ม Kodak ที่มีขนาดเม็ดฟิล์มใหญ่สำหรับภาพยนตร์ Aliens (1986, ด้านล่างขวาในภาพด้านบน) อาจเพื่อเพิ่มบรรยากาศและช่วยซ่อนเส้นลวดจากงานวิชวลเอฟเฟกต์แบบมินิเจอร์ Source: https://archive.is/3ZSjN (บทความล่าสุดของฉันเกี่ยวกับหัวข้อนี้)

เนื้อเท็กซ์เชอร์แบบแอนะล็อกมาจากยุคที่การผลิตสื่อมีค่าใช้จ่ายจริงๆ การเข้าถึงมีจำกัด และมีความรู้สึกว่าเฉพาะผู้ที่มีความสามารถหรือมุ่งมั่นมากๆ เท่านั้นที่จะผ่านพ้นไปได้ ซึ่งแสดงถึงความจริงใจและความน่าเชื่อถือ – และเมื่อเทคโนโลยีการจับภาพความละเอียดสูงกำจัดเม็ดฟิล์มออกไป ความหลงใหลในอดีต ก็เกิดขึ้น

Christopher Nolan ไม่เคยเปลี่ยน แม้ว่าอุตสาหกรรมส่วนใหญ่จะยอมรับการถ่ายดิจิทัลสำหรับความเร็วและความยืดหยุ่น แต่ผู้กำกับชื่อดังคนนี้ยังคงยึดมั่นในฟิล์มเซลลูโลสเป็นหลักการและเป็นรูปแบบศิลปะ

Denis Villeneuve ซึ่งทำงานอยู่ในสายการผลิตดิจิทัล ยังคงใช้กระบวนการทางเคมีในการประมวลผลฟุตเทจสำหรับภาพยนตร์ ดюн ที่ถ่ายด้วยกล้องดิจิทัล ฟุตเทจถูกพิมพ์ลงบนฟิล์มแล้ว สแกนกลับเป็นดิจิทัล เพียงเพื่อสร้างบรรยากาศและผลกระทบเท่านั้น

เม็ดฟิล์มเทียม

ผู้ชื่นชอบคุณภาพของภาพยนตร์และโทรทัศน์เชื่อมโยงเม็ดฟิล์มที่มองเห็นได้กับความละเอียดสูง โดยที่ อัตราบิต (ปริมาณข้อมูลที่ถูกส่งเข้าในแต่ละเฟรม) มีค่าสูงมากจนแม้แต่รายละเอียดเล็กๆ เช่น เม็ดฟิล์มฮาไลด์ก็ถูกเก็บไว้

อย่างไรก็ตาม หากเครือข่ายสตรีมมิงให้แบนด์วิธในระดับนั้นจริงๆ มันจะทำให้ความจุของเครือข่ายมีปัญหา และอาจทำให้เกิดการบัฟเฟอริ่งและกระตุก ดังนั้นแพลตฟอร์ม เช่น Netflix สร้างเวอร์ชัน AV1 ที่ได้รับการปรับให้เหมาะสม ของเนื้อหาของตน และใช้ความสามารถของโค้ดค AV1 ในการ เพิ่มเม็ดฟิล์ม ให้กับภาพยนตร์หรือตอนในลักษณะที่ฉลาดและเหมาะสม ซึ่ง ช่วยประหยัดแบนด์วิธได้ 30% ในกระบวนการ

AV1 ได้รับการออกแบบมาเพื่อรวมเม็ดฟิล์มเทียม เช่นในตัวอย่างเหล่านี้ Source: https://waveletbeam.com/index.php/av1-film-grain-synthesis

‘การหลงใหลในเม็ดฟิล์ม’ เป็นเทรนด์ดิจิทัลที่แปลกและน่าสนใจ ซึ่งยากที่จะอธิบาย และยากที่จะบอกได้ว่ามันถูกใช้โดยผู้สตรีมเพื่อให้วิดีโอที่ได้รับการปรับให้เหมาะสมมากๆ ดูเหมือน ‘วิดีโอดั้งเดิม’ ที่มีราคาแพงมากๆ (สำหรับผู้ชมที่มีความสัมพันธ์ไม่สมัครใจกับคุณลักษณะเหล่านั้น) ทำให้ดูเหมือนว่าแบนด์วิธสูงกว่าที่เป็นจริง; หรือเพื่อเบี่ยงเบนการลดลงของคุณภาพการรับชมที่รายการโทรทัศน์เก่าๆ จะมีเมื่อผู้ให้บริการสตรีมมิง ตัดมันให้เหมาะกับอัตราส่วนภาพกว้าง; หรือเพียงเพื่อเอาใจสไตล์ ‘โนแลน’ ย้อนยุคโดยทั่วไป

เม็ดฟิล์มแยกออก

ปัญหาคือ เม็ดฟิล์มก็เป็นเสียงรบกวนเช่นกัน ระบบดิจิทัลไม่ชอบเสียงรบกวน และโค้ดคสตรีมมิง เช่น AV1 จะลบมันออกเพื่อประหยัดแบนด์วิธ เว้นแต่การตั้งค่าเม็ดฟิล์มจะถูกกำหนดไว้โดยเฉพาะ เครื่องมือ AI ที่เพิ่มความละเอียด เช่น ซีรีส์ Topaz Gigapixel ถือเม็ดฟิล์มเป็นข้อบกพร่องที่ต้องแก้ไข

ในด้านสังเคราะห์ภาพโดยการกระจายตัว การสร้างเม็ดฟิล์มเป็นเรื่องที่ท้าทายมาก เนื่องจากมันแสดงถึง รายละเอียดสูงมาก และโดยปกติจะปรากฏเฉพาะในโมเดลที่ มีการปรับให้เหมาะสมมาก เนื่องจากโครงสร้างโมเดลการกระจายตัวทั้งหมด (LDM) ถูกออกแบบมาเพื่อแยกเสียงรบกวน (เช่น เม็ดฟิล์ม) ออกเป็นภาพที่ชัดเจน ไม่ใช่การรักษาเม็ดฟิล์มเป็นคุณสมบัติที่ซ่อนอยู่ในเนื้อหา

ดังนั้น การสร้างเม็ดฟิล์มที่น่าเชื่อถือโดยใช้การเรียนรู้ของเครื่องจึงเป็นเรื่องที่ท้าทาย และแม้ว่าจะทำได้ การแสดงผลกลับเข้าไปในวิดีโอที่ได้รับการปรับให้เหมาะสมก็จะทำให้ขนาดไฟล์วิดีโอบวมขึ้นอีกครั้ง

เนื่องจากข้อจำกัดด้านลอจิสติกส์นี้ โค้ดควิดีโอที่ทันสมัย เช่น Versatile Video Coding (VVC) มีบริการ ‘เม็ดฟิล์ม’ เป็น ‘บริการเสริม’

VVC จะบีบอัดวิดีโอที่ไม่มีเม็ดฟิล์มและทิ้งเม็ดฟิล์มไป แทนที่จะเสียเวลาและข้อมูลในการเก็บเม็ดฟิล์มที่ไม่คาดเดาได้ มันจะวิเคราะห์เม็ดฟิล์ม แยกออก และเข้ารหัสชุดพารามิเตอร์ขนาดเล็ก (เช่น อะมพลิจูด ความถี่ และโหมดผสม) ที่อธิบายวิธีการสร้างเม็ดฟิล์มที่เหมือนกันในช่วงการเล่น

พารามิเตอร์เหล่านี้ถูกเก็บไว้ใน FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) สตรีม ซึ่งเดินทางไปพร้อมกับสตรีมหลัก หลังจากการถอดรหัส โมดูลสังเคราะห์จะใช้คำแนะนำเหล่านี้เพื่อใช้เม็ดฟิล์มสังเคราะห์ที่เลียนแบบเม็ดฟิล์มเดิม

สิ่งนี้ช่วยรักษา ‘ลักษณะ’ ของวิดีโอที่มีแบนด์วิธสูงและเม็ดฟิล์มที่อุดมไปด้วย ในขณะเดียวกันก็รักษาแบนด์วิธที่ต่ำ เนื่องจากเครื่องเข้ารหัสไม่จำเป็นต้องใช้ทรัพยากรในการเก็บเสียงรบกวนที่ไม่คาดเดาได้

นอกจากนี้ เช่นเดียวกับไฟล์คำบรรยายที่แยกออกมา ‘เนื้อหาสังเคราะห์เม็ดฟิล์ม’ นี้เฉพาะกับวิดีโอที่เกี่ยวข้อง การใช้ฟิลเตอร์เม็ดฟิล์มทั่วไปในแพลตฟอร์ม เช่น Photoshop หรือ After Effects หรือในสายการประมวลผลอัตโนมัติ จะไม่ส่งผลให้ได้เม็ดฟิล์มที่ ‘เหมาะสม’ แต่จะเป็นเสียงรบกวนที่ไม่เกี่ยวข้องซ้อนกัน:

ซ้าย: ภาพดั้งเดิม กลาง: ฟิลเตอร์เม็ดฟิล์มของ Photoshop Camera Raw ที่ใช้กับช่องทั้งหมดโดยสม่ำเสมอ ขวา: ฟิลเตอร์เม็ดฟิล์มเดียวกันใช้กับช่องแต่ละช่องต่อเนื่องกัน Source image (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (จากบทความก่อนหน้าของฉัน)

ฟิลเตอร์ ‘เม็ดฟิล์ม’ ของ Photoshop เพิ่มเสียงรบกวนแบบสุ่ม แต่เม็ดฟิล์มของฟิล์มจริงๆ มาจาก ผลึกฮาไลด์ที่มีขนาดแตกต่างกัน การใช้ฟิลเตอร์นี้กับช่องแต่ละช่องแยกกัน (ดูภาพด้านบน) จะทำให้เกิดความวุ่นวายมากขึ้น ไม่ใช่ความจริง เม็ดฟิล์มที่แท้จริงสะท้อนถึงวิธีที่แสงกระทบชั้นเอ็มัลชั่น ในขณะถ่ายภาพ การจำลองสิ่งนี้ต้องการการประมาณการว่าพื้นที่ต่างๆ ของภาพจะกระตุ้นชั้นฮาไลด์แต่ละชั้นอย่างไร ไม่ใช่แค่การแบ่งผลกระทบไปทั่วช่อง RGB

FGA-NN

เข้ามาในความพยายามที่น่าสงสัยนี้ มีบทความวิจัยใหม่จากฝรั่งเศส – การเดินทางสั้นๆ แต่น่าสนใจที่นำเสนอวิธีการวิเคราะห์และสร้างเม็ดฟิล์มที่เหนือกว่า:

การเปรียบเทียบระหว่างเม็ดฟิล์มที่แท้จริงและผลลัพธ์จากวิธีการวิเคราะห์และสังเคราะห์ต่างๆ Source: https://arxiv.org/pdf/2506.14350

ระบบใหม่นี้ชื่อ FGA-NN ไม่ได้หันเหจากการใช้การสร้างเม็ดฟิล์มแบบเก่าตามมาตรฐาน VVC ที่รองรับ การสร้างเม็ดฟิล์มแบบเกาส์เซียน ผ่านวิธีการ Versatile Film Grain Synthesis (VFGS) สิ่งที่ระบบเปลี่ยนแปลงคือ การวิเคราะห์ โดยใช้เครือข่ายประสาทเพื่อประมาณพารามิเตอร์การสังเคราะห์ได้แม่นยำยิ่งขึ้น

ดังนั้น เม็ดฟิล์มสุดท้ายยังคงถูกสังเคราะห์โดยใช้แบบจำลองเกาส์เซียนแบบเดียวกัน – แต่เครือข่ายจะให้ข้อมูลที่ดีกว่าเข้าไปในตัวสร้างแบบเกณฑ์มาตรฐาน ทำให้ได้แบบจำลองที่ทันสมัย

บทความใหม่ นี้ มีชื่อเรื่องว่า FGA-NN: Film Grain Analysis Neural Network และมาจากนักวิจัยสามคนจาก InterDigital R&D, Cesson-Sévigné แม้ว่าบทความจะไม่ยาว แต่เรามาดูบางแง่มุมหลักของความก้าวหน้าที่วิธีการใหม่นี้นำเสนอ

วิธีการ

เพื่อสรุป: ระบบ FGA-NN จะรับวิดีโอที่มีเม็ดฟิล์มเป็นข้อมูลเข้า และแยกข้อมูลที่กระชับของเม็ดฟิล์มออกมา โดยส่งพารามิเตอร์ออกมาในรูปแบบ FGC-SEI ที่เป็นมาตรฐานซึ่งใช้ในโค้ดคต่างๆ เหล่านี้ถูกส่งไปพร้อมกับวิดีโอ ทำให้เครื่องถอดรหัสสามารถสร้างเม็ดฟิล์มขึ้นมาใหม่ได้โดยใช้ VFGS แทนที่จะเข้ารหัสเม็ดฟิล์มโดยตรง

สเคมาสำหรับการวิเคราะห์และใช้เม็ดฟิล์มในกระบวนการกระจายวิดีโอ โดยใช้ FGA-NN สำหรับการถอดพารามิเตอร์และ VFGS สำหรับการสังเคราะห์

ในการฝึกเครือข่าย ผู้วิจัยต้องการคู่ของวิดีโอที่มีเม็ดฟิล์มและเมตาดาต้า FGC-SEI ที่เกี่ยวข้อง เนื่องจากวิดีโอส่วนใหญ่ที่มีเม็ดฟิล์มไม่มีเมตาดาต้าเหล่านี้ ผู้วิจัยจึงสร้างชุดข้อมูลของตนเองโดยการสร้างพารามิเตอร์ FGC-SEI และใช้เม็ดฟิล์มสังเคราะห์ไปกับวิดีโอที่ไม่มีเม็ดฟิล์ม

ข้อมูลฝึกอบรมสำหรับ FGA-NN ถูกสร้างขึ้นโดยการนำเม็ดฟิล์มสังเคราะห์ไปใช้กับวิดีโอที่ไม่มีเม็ดฟิล์มจากชุดข้อมูล BVI-DVC และ DIV2K พารามิเตอร์ FGC-SEI ที่สุ่มขึ้นถูกสร้างและใช้กับเครื่องมือสังเคราะห์ VFGS ทำให้แต่ละวิดีโอที่มีเม็ดฟิล์มสามารถจับคู่กับเมตาดาต้าที่ทราบ

ชุดข้อมูลฝึกอบรมสำหรับการรวบรวมใหม่นี้ถูกสร้างขึ้นโดยการนำเม็ดฟิล์มสังเคราะห์ไปใช้กับวิดีโอที่ไม่มีเม็ดฟิล์มจากชุดข้อมูล BVI-DVC และ DIV2K พารามิเตอร์ FGC-SEI ที่สุ่มขึ้นถูกสร้างและใช้กับเครื่องมือสังเคราะห์ Versatile Film Grain Synthesis (VFGS) ทำให้แต่ละวิดีโอที่มีเม็ดฟิล์มสามารถจับคู่กับเมตาดาต้าที่ทราบ

ภาพรวมของช่วงพารามิเตอร์ FGC-SEI ที่สุ่มขึ้นสำหรับการฝึกอบรม โดยใช้กับวิดีโอที่ไม่มีเม็ดฟิล์มจากชุดข้อมูล BVI-DVC และ DIV2K พารามิเตอร์ถูกจำกัดเพื่อรักษาความสมเหตุสมผลทางภาพทั้งในช่องลูม่าและโครมา

โมเดลการกรองความถี่เป็นโมเดลเดียวที่รองรับในปัจจุบันในโค้ดคต่างๆ เช่น VVC Test Model (VTM) ถูกใช้ทั่วทั้งกระบวนการ พารามิเตอร์ถูกจำกัดเพื่อรักษาความสมเหตุสมผลทางภาพทั้งในช่อง ลูม่าและโครมา

ผลกระทบของเครือข่าย

FGA-NN มีโมเดลสองตัวที่ทำงานร่วมกัน สำหรับลูม่าและโครมา โดยแต่ละตัวถูกออกแบบมาเพื่อคาดการณ์พารามิเตอร์ที่จำเป็นในการสร้างเม็ดฟิล์มที่สมจริง

สำหรับภาพเข้าแต่ละภาพ ระบบจะคาดการณ์ชุดของช่วงความเข้ม สเกลแฟกเตอร์ที่เชื่อมโยงกับช่วงแต่ละช่วง ความถี่ตัดขอบแนวนอนและแนวตั้ง และการปรับขนาดทั่วไปที่เรียกว่า Log2Scale factor เพื่อจัดการสิ่งนี้ โมเดลจะใช้ตัวแยกคุณลักษณะที่ใช้ร่วมกันในการประมวลผลภาพเข้าที่มีเม็ดฟิล์มและให้ผลลัพธ์ไปยังสาขาออกที่แยกจากกันสี่สาขา แต่ละสาขาเป็นหน้าที่ในการทำนายที่แตกต่างกัน:

สถาปัตยกรรมของโมเดลลูม่าของ FGA-NN ตัวแยกคุณลักษณะที่ใช้ร่วมกันจะแยกคุณลักษณะจากภาพเข้าที่มีเม็ดฟิล์ม ตามด้วยสาขาออกที่แยกจากกันสี่สาขา ซึ่งออกแบบมาเพื่อทำนายงานที่แตกต่างกัน: ขอบเขตช่วง ระยะสเกลแฟกเตอร์ ความถี่ตัดขอบ และ Log2Scale ทั่วไป โมเดลโครมาใช้โครงสร้างเดียวกัน แต่มีขนาดและขนาดการเข้า/ออกที่ปรับให้เหมาะสม

ขอบเขตช่วงถูกทำนายโดยใช้ การถดถอยเชิงเส้น ในขณะที่สเกลแฟกเตอร์ ความถี่ตัดขอบ และการปรับขนาดทั่วไปถูกมองว่าเป็น ปัญหาการจำแนกประเภท

สถาปัตยกรรมถูกปรับให้เหมาะสมตามความซับซ้อนของแต่ละงาน โดยใช้ชั้นภายในขนาดใหญ่สำหรับการทำนายที่ละเอียดมากขึ้น โดยเฉพาะโมเดลโครมาจะสะท้อนโครงสร้างของโมเดลลูม่า แต่ปรับให้เหมาะสมกับคุณลักษณะของข้อมูลสี

การฝึกอบรมและการทดสอบ

FGA-NN ถูกฝึกอบรมโดยใช้ฟังก์ชันการทำงานเป้าหมายสี่ฟังก์ชัน แต่ละฟังก์ชันสอดคล้องกับงานทำนายของมัน สำหรับการออกผลลัพธ์ประเภทการจำแนกประเภท ฟังก์ชันการทำงานข้ามเอนโทรปีแบบคาทีจะถูกใช้เพื่อลดช่องว่างระหว่างป้ายกำกับทำนายและข้อมูลจริง

ขอบเขตช่วงถูกปรับให้มาตรฐานในช่วง 0 ถึง 1 และได้รับการปรับปรุงโดยใช้การรวมขาดที่มีการปรับขนาดแบบเอกซ์โพเนนเชียล (L1 ขาด (expL1)) ที่ลงโทษข้อผิดพลาดขนาดใหญ่มากขึ้น และการลงโทษแบบโมโนโทนิกที่ไม่ส่งเสริมแนวโน้มที่ลดลง การสูญเสียทั้งสี่ถูกผสมเข้าด้วยกัน โดยมีน้ำหนักที่สูงสำหรับความถี่ตัดขอบและระยะสเกลแฟกเตอร์ ในขณะที่ขอบเขตช่วงและ Log2Scale ถูกกำหนดให้เป็น 1 และ 0.1

การฝึกอบรมถูกดำเนินการภายใต้ Adam ตัวเพิ่มประสิทธิภาพที่อัตราการเรียนรู้ 5e-4 ตลอด 10,000 ครั้งการวนซ้ำ โดยมีขนาดชุดข้อมูล 64

เครื่องมือที่เทียบเท่าเพียงอย่างเดียวที่เหมาะสมสำหรับการทดสอบเปรียบเทียบคือ FGA-CONVENT ซึ่งสร้างค่าในรูปแบบ FGC-SEI และใช้สำหรับการประมวลผลเม็ดฟิล์ม ทั้งสองระบบถูกทดสอบในลำดับ UHD จากชุดข้อมูล JVET subjective evaluation set โดยใช้วิดีโอที่มีเม็ดฟิล์มจริง

เส้นประที่ตัดขวางแนวตั้งแสดงขอบเขตช่วงความเข้ม ในขณะที่การปรับขนาด Log2Scale ถูกบันทึกไว้ในป้ายกำกับแกน

ในภาพด้านบน เราจะเห็นเฟรมที่ถูกตัดออกมาเหมือนกันที่สร้างโดย VFGS โดยใช้พารามิเตอร์จากวิธีการทั้งสอง และเปรียบเทียบกับภาพดั้งเดิม ค่าลูม่าของแต่ละวิธีถูกวางแผนบนกราฟที่มีระดับความเข้มของพิกเซลบนแกน X (0-255) สเกลแฟกเตอร์บนแกน Y สีน้ำเงิน (0-255) และความถี่ตัดขอบบนแกน Y สีเขียว (2-14)

ผู้เขียนระบุว่า:

‘สามารถสังเกตได้ว่า FGA-NN จับแนวโน้มโดยรวมของลวดลายเม็ดฟิล์มและความเข้มของเม็ดฟิล์มที่แท้จริงได้อย่างแม่นยำ ซึ่งส่งผลให้ได้ภาพสังเคราะห์ที่มีลักษณะเม็ดฟิล์มที่เหมือนกับภาพที่แท้จริง’

‘ในทางกลับกัน FGA-CONVENT คาดการณ์สเกลแฟกเตอร์ที่ต่ำกว่า ซึ่งถูกชดเชยด้วยการปรับขนาด Log2Scale ที่ต่ำกว่าตามมา เนื่องจากการออกแบบของมัน และมีแนวโน้มที่จะสร้างลวดลายเม็ดฟิล์มที่หยาบกว่าเมื่อเทียบกับอ้างอิง ซึ่งส่งผลให้ได้ลักษณะที่แตกต่างแต่สม่ำเสมอ’

พวกเขาระบุว่าการเปรียบเทียบโดยตรงกับพารามิเตอร์เม็ดฟิล์มที่แท้จริงนั้นไม่น่าเชื่อถือ เนื่องจากสเกลแฟกเตอร์และ Log2Scale สามารถชดเชยซึ่งกันและกัน และข้อผิดพลาดเล็กๆ น้อยๆ มักจะมีผลกระทบทางภาพน้อย

การทดสอบความเชื่อถือ

ความซื่อสัตย์ของเม็ดฟิล์มถูกทดสอบผ่านกระบวนการทำงานสี่กระบวนการ: FGA-NN พร้อมกับ VFGS; FGA-CONVENT บวก VFGS; Style-FG; และ 3R-INN การทดสอบใช้ทั้งชุดข้อมูล FGC-SEI และ FilmGrainStyle740k โดยเปรียบเทียบผลลัพธ์กับภาพที่แท้จริงโดยใช้ Learned Perceptual Similarity Metrics (LPIPS); JSD-NSS; และ Kullback–Leibler (KL) divergence

ผลการทดสอบบนชุดข้อมูล FilmGrainStyle740k Style-FG และ 3R-INN มีผลลัพธ์ที่ดีกว่าเนื่องจากถูกฝึกอบรมบนชุดข้อมูลนี้ ในขณะที่ FGA-NN ติดตามอย่างใกล้ชิด FGA-CONVENT มีประสิทธิภาพต่ำกว่า เนื่องจากพึ่งพาการวิเคราะห์หลายเฟรมและพื้นที่ที่เป็นเนื้อเดียวกัน – สภาพที่ไม่ได้รับการตอบสนองในกรณีนี้

เกี่ยวกับผลลัพธ์เหล่านี้ ผู้เขียนระบุว่า:

‘บนชุดข้อมูลทดสอบ FilmGrainStyle740k Style-FG และ 3R-INN มีผลลัพธ์ที่ดีที่สุด เนื่องจากวิธีการเหล่านี้ถูกฝึกอบรมบนชุดข้อมูลนี้ โดยมี FGA-NN ติดตามอย่างใกล้ชิด FGA-CONVENT มีประสิทธิภาพต่ำกว่าบนชุดข้อมูลทดสอบทั้งสองชุด’

‘สิ่งนี้เกิดขึ้นเพียงเพราะว่าการวิเคราะห์ขึ้นอยู่กับพื้นที่ที่เป็นเนื้อเดียวกันและใช้ข้อมูลจากหลายเฟรมในกรณีการวิเคราะห์เม็ดฟิล์มจริง ในขณะที่ในกรณีการประเมินนี้ การวิเคราะห์ถูกให้ไปพร้อมกับภาพเดียวที่มีขนาดเล็ก (256×256 ถึง 768×512) ซึ่งมักจะมีเนื้อหาที่มีขนาดใหญ่’

‘สิ่งนี้ทำให้การวิเคราะห์แบบเดิมๆ ยากที่จะใช้ได้ และทำให้ไม่สามารถใช้ FGA-CONVENT กับภาพขนาดเล็กๆ เหล่านี้ได้’

สุดท้าย ผู้เขียนชี้ว่าแม้ว่าวิธีการที่ใช้การเรียนรู้ เช่น 3R-INN และ Style-FG จะให้ผลลัพธ์ภาพที่แข็งแกร่งบนชุดข้อมูลที่เลือกมา แต่ต้นทุนการคำนวณที่สูงทำให้ไม่เหมาะสมที่จะนำไปใช้กับอุปกรณ์ปลายทาง

การเปรียบเทียบเฟรมที่มีแบนด์วิธต่ำที่ได้รับการปรับปรุงโดยใช้กระบวนการวิเคราะห์และสังเคราะห์ต่างๆ (คอลัมน์ที่สามถึงคอลัมน์สุดท้าย)

เมื่อเปรียบเทียบกัน วิธีการที่เสนอในบทความใหม่นี้จับคู่โมดูลการวิเคราะห์ FGA-NN ที่เบากับวิธีการสังเคราะห์ VFGS ที่มีประสิทธิภาพของฮาร์ดแวร์ ซึ่งผู้เขียนอธิบายว่าเป็นวิธีแก้ปัญหาที่เหมาะสมและสามารถใช้งานได้สำหรับการนำเม็ดฟิล์มกลับเข้ามาในวิดีโอที่ถูกบีบอัด

พวกเขาระบุว่าประโยชน์ของ FGA-NN มีศักยภาพที่จะส่งผลกระทบอย่างมาก:

‘การเข้ารหัสวิดีโอ UHD ที่มีเม็ดฟิล์มด้วยอัตราบิตกลางถึงต่ำโดยใช้กระบวนการวิเคราะห์และสังเคราะห์เม็ดฟิล์มของเราสามารถช่วยประหยัดแบนด์วิธได้มากถึง 90% เมื่อเทียบกับการเข้ารหัสที่มีอัตราบิตสูง’

สรุป

ความหลงใหลในเม็ดฟิล์มเป็นหนึ่งในความหลงใหลที่แปลกและน่าสนใจที่สุดในยุคหลังแอนะล็อก และเป็นเรื่องที่น่าสนใจที่จะสังเกตว่าสิ่งที่เคยถูกมองว่าเป็นข้อจำกัดของสื่อนั้นได้กลายเป็นสัญลักษณ์ของความสมจริงและความถูกต้องแม่นยำในตัวมันเอง – แม้กระทั่งสำหรับคนรุ่นใหม่ที่เกิดหลังจากการเสื่อมถอยของการถ่ายภาพด้วยฟิล์ม

ควรทราบว่าไม่มีวิธีการสร้างเม็ดฟิล์มที่ทันสมัย รวมถึงนวัตกรรมล่าสุดนี้ ที่สามารถจับผลกระทบของแสงบนชั้นฮาไลด์ในกระบวนการถ่ายภาพเคมีได้อย่างแม่นยำ ในหลายๆ สภาพ ในช่วงแรก การหลีกเลี่ยงเม็ดฟิล์มในแสงอ่อน

เผยแพร่ครั้งแรกวันพุธที่ 18 มิถุนายน 2025