มุมมองของ Anderson

การกู้คืนภาพถ่ายที่ถูกเปลี่ยนแปลงโดย AI ก่อนที่จะถูกบันทึก

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
AI-generated image (GPT-2). A photographer examines an open DSLR as a stream of colorful fantasy creatures and glowing imagery bursts out, while he reacts with focused, subdued surprise in a studio setting.

เราจะป้องกันภาพถ่ายที่ไม่ถูกต้องจากอิทธิพลของ AI ได้อย่างไร เมื่อภาพถ่ายถูกประมวลผลโดยอัตโนมัติด้วย AI ภายในกล้องแล้ว วิธีการใหม่ๆ กำลังถูกพัฒนาขึ้นเพื่อกู้คืนข้อมูลเซ็นเซอร์ ‘แท้จริง’ – โดยใช้ AI เช่นกัน!

 

ความน่าเชื่อถือของภาพถ่ายที่สร้างโดย AI เพิ่มขึ้นในช่วงหนึ่งปีที่ผ่านมา ทำให้หลายกลุ่มและบุคคลต่อต้าน การกัดเซาะความน่าเชื่อถือ ในการถ่ายภาพ.

ในช่วงเวลาเดียวกัน โคอาลิชันสำหรับเนื้อหาที่มีหลักฐานและความถูกต้อง (C2PA) ได้พยายามเผยแพร่มาตรฐานครึ่งเข้ารหัสที่ แนบข้อมูลหลักฐาน ถึงภาพจากช่วงเวลาที่ถูกบันทึกโดยกล้องหรืออุปกรณ์ที่รองรับ หวังว่าจะเปิดเผยการใช้ AI ที่สร้างขึ้นในภาพ ‘ดั้งเดิม’ เหล่านี้:

แผนภาพของหลักฐานในระบบ C2PA ซึ่งข้อมูลที่เขียนไว้ตั้งแต่ช่วงเวลาที่ถ่ายภาพสามารถเพิ่มได้เหมือนบันทึกประจำวัน โดยอนุญาตให้ทำการปรับแต่งตามปกติ เช่น ความสว่างและคอนทราสต์ แต่บันทึกการปรับแต่งที่สำคัญๆ เพื่อให้ภาพที่ถูกเปลี่ยนแปลงโดย AI จะปรากฏในสถานะที่ถูกต้องในสถานประกอบการที่รองรับระบบนี้.

แผนภาพของหลักฐานในระบบ C2PA ซึ่งข้อมูลที่เขียนไว้ตั้งแต่ช่วงเวลาที่ถ่ายภาพสามารถเพิ่มได้เหมือนบันทึกประจำวัน โดยอนุญาตให้ทำการปรับแต่งตามปกติ เช่น ความสว่างและคอนทราสต์ แต่บันทึกการปรับแต่งที่สำคัญๆ เพื่อให้ภาพที่ถูกเปลี่ยนแปลงโดย AI จะปรากฏในสถานะที่ถูกต้องในสถานประกอบการที่รองรับระบบนี้. แหล่งที่มา

การนำมาตรฐานนี้ไปใช้ไม่ได้รับการตอบรับอย่างกว้างขวางเท่าที่คาดไว้ และปัจจุบัน มีกล้องเพียง 14 ตัว ที่รองรับการบันทึกข้อมูลความถูกต้องภายในกล้อง.

สิ่งที่น่าสนใจเกี่ยวกับแนวคิดของ C2PA ในการให้ ‘พาสปอร์ต’ แก่ภาพถ่ายตั้งแต่ช่วงเวลาที่ถูกสร้างขึ้น คือว่า ณ ช่วงเวลานั้น อาจจะสายเกินไปแล้ว – เนื่องจากผู้ผลิตกล้องกำลังรวมการประมวลผล AI เข้ากับการสร้างภาพ:

จากเอกสารปี 2024 'การสนับสนุนการตรวจสอบระดับพิกเซลของภาพถ่ายที่ถูกบันทึก': ภาพแสดงวิธีการที่กล้องสมาร์ทโฟนสร้างเนื้อหาที่ไม่มีอยู่จริงในช่วงเวลาที่ถ่ายภาพ และวิธีการที่ข้อมูลการตรวจสอบระดับพิกเซลเปิดเผยสิ่งนี้ ใน (A) ภาพจากเซ็นเซอร์สมาร์ทโฟนถูกประมวลผลโดย ISP ซึ่งโมดูล AI สามารถสร้างรายละเอียดระหว่างการซูมดิจิทัลหรือการแก้ไขแสง ทำให้ได้ภาพที่มีลักษณะสมจริงพร้อมกับข้อผิดพลาด เช่น ตัวอักษรที่อ่านไม่ถูกต้อง ใน (B) มาสก์ตรวจสอบถูกฝังเป็นข้อมูลและแสดงออกมาเพื่อเปิดเผยพื้นที่ที่ไม่ถูกต้อง ทำให้ผู้ใช้สามารถแยกแยะระหว่างข้อมูลดั้งเดิมและพิกเซลที่ถูกเปลี่ยนแปลงโดย AI.

จากเอกสารปี 2024 ‘การสนับสนุนการตรวจสอบระดับพิกเซลของภาพถ่ายที่ถูกบันทึก’: ภาพแสดงวิธีการที่กล้องสมาร์ทโฟนสร้างเนื้อหาที่ไม่มีอยู่จริงในช่วงเวลาที่ถ่ายภาพ และวิธีการที่ข้อมูลการตรวจสอบระดับพิกเซลเปิดเผยสิ่งนี้ ใน (A) ภาพจากเซ็นเซอร์สมาร์ทโฟนถูกประมวลผลโดย ISP ซึ่งโมดูล AI สามารถสร้างรายละเอียดระหว่างการซูมดิจิทัลหรือการแก้ไขแสง ทำให้ได้ภาพที่มีลักษณะสมจริงพร้อมกับข้อผิดพลาด เช่น ตัวอักษรที่อ่านไม่ถูกต้อง ใน (B) มาสก์ตรวจสอบถูกฝังเป็นข้อมูลและแสดงออกมาเพื่อเปิดเผยพื้นที่ที่ไม่ถูกต้อง ทำให้ผู้ใช้สามารถแยกแยะระหว่างข้อมูลดั้งเดิมและพิกเซลที่ถูกเปลี่ยนแปลงโดย AI. แหล่งที่มา

ในความเป็นจริง การแทรกแซง AI นี้ในการจับภาพข้อมูลดั้งเดิมจากเซ็นเซอร์กล้องอาจกลายเป็น กระบวนการหลักที่ควบคุม:

การประมวลผลหลังการถ่ายภาพนี้ไม่เหมือนกับการเปลี่ยนแปลงภาพถ่ายในกล้อง ซึ่งแอปหรือกล้องอนุญาตให้ผู้ใช้ปรับเปลี่ยนภาพถ่ายก่อนที่จะถูกดาวน์โหลดจากอุปกรณ์:

แต่การประมวลผลนี้เกิดขึ้นใน ‘กล่องดำ’ ใน Image Signal Processor (ISP) ของกล้อง ซึ่งโดยทั่วไปแล้วจะไม่เปิดเผยหรือทำให้ข้อมูลดั้งเดิมจากเซ็นเซอร์กล้องเข้าถึงได้ (และพิจารณาว่า รูปแบบ RAW ของกล้อง ไม่ใช่ ‘ดั้งเดิม’ จริงๆ)

ดังนั้น เมื่อคุณสามารถเห็นภาพถ่ายได้แล้ว มันอาจถูกประมวลผลโดย AI แล้ว เช่น การเพิ่มความสว่างในพื้นที่มืด การซูมดิจิทัล หรือแม้กระทั่ง การเปลี่ยนดวงจันทร์:

ในหลายกรณี สิ่งนี้อาจนำไปสู่การสร้างภาพที่ไม่ถูกต้อง เช่น การสร้างข้อความที่ไม่ถูกต้อง ซึ่งอาจทำให้การใช้ภาพถ่ายเหล่านี้ไม่เหมาะสมสำหรับการใช้เป็นหลักฐาน เนื่องจากภาพ ‘ดั้งเดิม’ จริงๆ ไม่มีอยู่:

จากเอกสารใหม่ - ภาพจากเซ็นเซอร์ RAW ถูกประมวลผลโดย ISP ที่มี GenAI เพื่อสร้างเอาต์พุต sRGB ที่ดูชัดเจนกว่า แต่อาจมีรายละเอียดที่ถูกสร้างขึ้น เช่น ในตัวอย่างของป้ายทะเบียนที่ตัวอักษรถูกสร้างขึ้นไม่ถูกต้องระหว่างการซูมดิจิทัล ภาพจริงซึ่งไม่สามารถเข้าถึงได้ในทางปฏิบัติแตกต่างจากเอาต์พุตที่ได้รับการปรับปรุงโดย AI และภาพดั้งเดิมก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง วิธีการที่เสนอช่วยให้สามารถกู้คืนภาพก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยกู้คืนภาพที่กล้องจับได้จริงก่อนที่จะถูกเปลี่ยนแปลงโดยการปรับปรุงของ AI.

จากเอกสารใหม่ – ภาพจากเซ็นเซอร์ RAW ถูกประมวลผลโดย ISP ที่มี GenAI เพื่อสร้างเอาต์พุต sRGB ที่ดูชัดเจนกว่า แต่อาจมีรายละเอียดที่ถูกสร้างขึ้น เช่น ในตัวอย่างของป้ายทะเบียนที่ตัวอักษรถูกสร้างขึ้นไม่ถูกต้องระหว่างการซูมดิจิทัล ภาพจริงซึ่งไม่สามารถเข้าถึงได้ในทางปฏิบัติแตกต่างจากเอาต์พุตที่ได้รับการปรับปรุงโดย AI และภาพดั้งเดิมก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง วิธีการที่เสนอช่วยให้สามารถกู้คืนภาพก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยกู้คืนภาพที่กล้องจับได้จริงก่อนที่จะถูกเปลี่ยนแปลงโดยการปรับปรุงของ AI. แหล่งที่มา

ตัวอย่างเหล่านี้มาจากเอกสารวิจัยใหม่ที่ให้วิธีการแก้ปัญหา ‘ภาพถ่ายดั้งเดิม’ โดยใช้กระบวนการ AI ที่แตกต่างเพื่อสร้างภาพดั้งเดิมที่ไม่ถูกต้องจากภาพที่ถูกประมวลผล:

ผู้เขียนระบุว่า:

‘เมื่อโมเดล AI ที่ฝึกฝนด้วยการขาดหรือการสูญเสียการรับรู้ถูกใช้ใน ISP พวกมันจะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง ซึ่งอาจเปลี่ยนแปลงความหมายของภาพ การใช้ GenAI ในฮาร์ดแวร์กล้องเป็นการเปลี่ยนแปลงรูปแบบใหม่ในการมองภาพถ่าย และท้าทายมุมมองดั้งเดิมที่ว่าภาพถ่ายที่ถูกบันทึกโดยกล้องนั้นเชื่อถือได้โดยธรรมชาติ.’

‘การใช้ GenAI ในฮาร์ดแวร์กล้องเป็นการเปลี่ยนแปลงรูปแบบใหม่ในการมองภาพถ่าย และท้าทายมุมมองดั้งเดิมที่ว่าภาพถ่ายที่ถูกบันทึกโดยกล้องนั้นเชื่อถือได้โดยธรรมชาติ.’

งานวิจัยใหม่นี้ใช้เครื่องบันทึกที่เบาและ MLP ที่สามารถรวมเข้ากับภาพได้ โดยมีน้ำหนักเพียง 180kb วัตถุประสงค์คือการสร้างระบบการเข้ารหัสที่เร็วพอที่จะกู้คืนภาพดั้งเดิมในเวลาจริง:

จากเอกสารใหม่ - การซูมดิจิทัลที่ใช้ GenAI ภายใน ISP ของกล้องสามารถเปลี่ยนแปลงลักษณะใบหน้าได้ โดยการเปลี่ยนแปลงมุมมองหรือรูปร่างของปาก ทำให้ภาพดูแตกต่างจากภาพดั้งเดิม ในตัวอย่างของ QR code การปรับปรุงภาพทำให้ภาพดูสวยงามขึ้น แต่ทำให้ไม่สามารถอ่านโค้ดได้ วิธีการนี้ช่วยให้สามารถกู้คืนภาพดั้งเดิมก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยกู้คืนลักษณะใบหน้าและโค้ดที่สามารถอ่านได้.

จากเอกสารใหม่ – การซูมดิจิทัลที่ใช้ GenAI ภายใน ISP ของกล้องสามารถเปลี่ยนแปลงลักษณะใบหน้าได้ โดยการเปลี่ยนแปลงมุมมองหรือรูปร่างของปาก ทำให้ภาพดูแตกต่างจากภาพดั้งเดิม ในตัวอย่างของ QR code การปรับปรุงภาพทำให้ภาพดูสวยงามขึ้น แต่ทำให้ไม่สามารถอ่านโค้ดได้ วิธีการนี้ช่วยให้สามารถกู้คืนภาพดั้งเดิมก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยกู้คืนลักษณะใบหน้าและโค้ดที่สามารถอ่านได้.

อีกทางหนึ่ง ผู้ผลิตกล้องอาจให้ผู้ใช้เข้าถึงข้อมูลดั้งเดิมจากเซ็นเซอร์โดยไม่ผ่านการประมวลผล; แต่นี่อาจจำกัดอยู่เฉพาะอุปกรณ์ระดับสูง ในส่วนของกล้องมือถือและผู้บริโภคทั่วไป การเข้าถึงภาพถ่ายที่ไม่ผ่านการประมวลผลอาจถือเป็นเรื่องที่ ‘เฉพาะกลุ่ม’ หรือไม่สำคัญ:

ในขณะที่กล้องมือถือมีการใช้การประมวลผลหลังการถ่ายภาพมาโดยตลอด แต่ก่อนที่จะมีการใช้ AI ในการประมวลผลนี้ อัลกอริทึมที่ใช้ไม่ได้มีการตีความมากนัก และไม่น่าจะเปลี่ยนแปลงเนื้อหาของภาพถ่ายในลักษณะเดียวกับที่วิธีการ AI ปัจจุบันสามารถทำได้:

สิ่งที่น่าสนใจคือ เมื่อพิจารณาจากวิธีการ ‘การเปลี่ยนดวงจันทร์’ ของซัมซุงซึ่งถูกวิพากษ์วิจารณ์จากสาธารณชนเมื่อหลายปีที่แล้ว ซัมซุง AI Center ที่โตรอนโตเป็นหนึ่งในผู้เข้าร่วมใน งานวิจัยใหม่นี้ ซึ่งมีชื่อว่า การแก้ไขความถูกต้องของภาพถ่ายเมื่อกล้องใช้ GenAI และได้รับการสนับสนุนจากนักวิจัย 5 คนจากมหาวิทยาลัยโตรอนโต

วิธีการ

ผู้เขียนใช้โครงการอื่นๆ ที่พยายามแก้ไขปัญหาการรบกวนโดยการออกแบบ:

ด้านขวามือ มาสก์ 'ความถูกต้อง' จากเอกสารปี 2024 เปิดเผยพื้นที่ของท้องฟ้าที่ถูกเปลี่ยนแปลงโดยกระบวนการ 'การทำให้เรียบ' ของ AI ในกล้อง.

ด้านขวามือ มาสก์ ‘ความถูกต้อง’ จากเอกสารปี 2024 เปิดเผยพื้นที่ของท้องฟ้าที่ถูกเปลี่ยนแปลงโดยกระบวนการ ‘การทำให้เรียบ’ ของ AI ในกล้อง.

ระบบไม่ได้ให้วิธีการในการกู้คืนภาพ ‘แท้จริง’ ซึ่งงานวิจัยใหม่นี้ได้พัฒนา:

วัตถุประสงค์ของงานวิจัยใหม่นี้คือการทำให้ผู้ใช้สามารถกู้คืนภาพที่ใกล้เคียงกับภาพที่กล้องจับได้จริงก่อนที่จะถูกประมวลผล:

ภาพรวมของวิธีการที่เสนอ ใน (A) ณ ช่วงเวลาที่ถ่ายภาพ ภาพเอาต์พุตจาก ISP ที่มี 'การสร้างรายละเอียด' ถูกส่งผ่านเครื่องบันทึกที่ถูกฝึกฝนล่วงหน้า และคุณลักษณะที่ซ่อนอยู่ถูกผสมเข้ากับพิกัดพื้นที่และถูกส่งเข้าไปใน MLP เพื่อทำการคาดการณ์ภาพที่ไม่มีการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยการฝึกฝนโดยใช้ข้อมูลที่ถูกต้อง วิธีการนี้ช่วยให้สามารถกู้คืนภาพที่ใกล้เคียงกับภาพที่กล้องจับได้จริงก่อนที่จะถูกประมวลผล:

ภาพรวมของวิธีการที่เสนอ ใน (A) ณ ช่วงเวลาที่ถ่ายภาพ ภาพเอาต์พุตจาก ISP ที่มี ‘การสร้างรายละเอียด’ ถูกส่งผ่านเครื่องบันทึกที่ถูกฝึกฝนล่วงหน้า และคุณลักษณะที่ซ่อนอยู่ถูกผสมเข้ากับพิกัดพื้นที่และถูกส่งเข้าไปใน MLP เพื่อทำการคาดการณ์ภาพที่ไม่มีการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยการฝึกฝนโดยใช้ข้อมูลที่ถูกต้อง วิธีการนี้ช่วยให้สามารถกู้คืนภาพที่ใกล้เคียงกับภาพที่กล้องจับได้จริงก่อนที่จะถูกประมวลผล:

ณ ช่วงเวลาที่ถ่ายภาพ วิธีการใหม่นี้ส่งภาพที่ถูกประมวลผลผ่านเครื่องบันทึกที่ถูก ‘แช่แข็ง’ ซึ่งแปลงภาพเป็น การแสดงผลที่ซ่อนอยู่ ที่มีขนาดกะทัดรัด:

จากนั้น พิกัดพื้นที่ที่เกี่ยวข้องจะถูกผสมเข้ากับคุณลักษณะเหล่านี้และถูกส่งเข้าไปใน MLP ที่ทำงานในระดับพิกเซล เพื่อคาดการณ์เนื้อหาของภาพดั้งเดิม – โดยการเรียนรู้ที่จะลบส่วนประกอบที่ไม่มีอยู่จริงออกไปโดยใช้ การกู้คืนข้อมูล โดยใช้ข้อมูลที่ถูกต้อง:

เครื่องบันทึกและ MLP ถูกฝึกฝนล่วงหน้าโดยใช้ข้อมูลที่จับคู่กันของภาพดั้งเดิมและภาพที่มีการสร้างรายละเอียดที่ไม่มีอยู่จริง จากนั้นจึงถูกปรับให้เหมาะสมสำหรับภาพที่ถูกบันทึกแต่ละภาพ โดยมีน้ำหนักถูกบันทึกเป็นข้อมูลร่วมกับภาพถ่ายเอง โดยเพิ่มน้ำหนักขนาดเพียงเล็กน้อย:

เมื่อเวลาแสดงภาพ น้ำหนักที่ถูกบันทึกเหล่านี้จะถูกดึงออกมาและนำมาใช้ใหม่เพื่อทำงานเครื่องบันทึกและ MLP เดียวกัน ทำให้สามารถกู้คืนภาพที่ใกล้เคียงกับภาพที่กล้องจับได้จริงก่อนที่จะถูกประมวลผลโดยไม่สร้างเนื้อหาที่ไม่มีอยู่จริง:

ข้อมูลและการทดสอบ

ผู้เขียนทดสอบวิธีการใหม่นี้โดยใช้สองงานหลักที่ใช้การประมวลผลหลังการถ่ายภาพของ ISP: การซูมดิจิทัล (SR) และการถ่ายภาพในพื้นที่มืด:

สำหรับส่วนการทดสอบ SR ทั่วไป (‘ภาพธรรมชาติ’) มีตัวอย่างหลายรูปที่มีข้อความที่รวมอยู่ในข้อมูล เนื่องจากการซูมดิจิทัลของ ISP มักจะเปลี่ยนแปลงข้อความ (เช่น ตัวอักษรบนป้ายทะเบียนรถ แต่ดูตัวอย่างก่อนหน้านี้ในบทความ):

ข้อมูลที่กล่าวถึงก่อนหน้านี้ถูกใช้สำหรับการฝึกเครื่องบันทึกสำหรับโหมดที่แตกต่างกันทั้งสองโหมดที่ทดสอบ และแต่ละโหมดถูกเลือกตามว่าโมดูล AI ของ ISP ใดที่มีแนวโน้มว่าจะถูกใช้ในช่วงเวลาที่ถ่ายภาพ (เช่น โหมด ‘มืด’ ในสภาพแวดล้อมที่มืด):

ผู้เขียนใช้ ชุดข้อมูล DIV2K สำหรับการฝึกการซูมดิจิทัล โดยใช้เครือข่าย RealESRGAN ที่ได้รับความนิยม:

สำหรับส่วนการทดสอบการซูมดิจิทัลข้อความ ผู้เขียนใช้ แบบจำลอง MARCONet ปี 2023:

จากเอกสาร MARCONet ปี 2023 - ตัวอย่างของข้อความที่มีความละเอียดต่ำและข้อความที่เทียบเท่าที่ถูกซูมขึ้น

จากเอกสาร MARCONet ปี 2023 – ตัวอย่างของข้อความที่มีความละเอียดต่ำและข้อความที่เทียบเท่าที่ถูกซูมขึ้น แหล่งที่มา

เพื่อสร้างข้อมูลที่จับคู่กันในกรณีนี้ ผู้วิจัยใช้ภาพดั้งเดิมผ่าน MARCONet โดยสร้างภาพ 2,000 รูปจากโค้ดต้นฉบับ โดยมี 200 รูปสำหรับการตรวจสอบและอีก 200 รูปสำหรับการทดสอบ:

สำหรับการทดสอบในพื้นที่มืด ผู้วิจัยใช้ ชุดข้อมูล LOL (LOL) จากเอกสารจีนปี 2018:

จากชุดข้อมูล LOL ของจีนปี 2018 - ตัวอย่างของภาพเดียวกันที่มีการเปิดรับและความเสื่อมสภาพที่แตกต่างกัน

จากชุดข้อมูล LOL ของจีนปี 2018 – ตัวอย่างของภาพเดียวกันที่มีการเปิดรับและความเสื่อมสภาพที่แตกต่างกัน แหล่งที่มา

โครงสร้างที่แข่งขันกัน

เพื่อประเมินวิธีการใหม่นี้ ผู้เขียนได้ทำการเปรียบเทียบกับโครงสร้างที่แตกต่างกันสามแบบที่ถูกฝึกฝนในเงื่อนไขที่ตรงกัน:

แรก SIREN และ NeRF ถูกฝึกฝนล่วงหน้าโดยใช้ภาพดั้งเดิมและภาพที่มีการสร้างรายละเอียดที่ไม่มีอยู่จริง จากนั้นจึงถูกปรับให้เหมาะสมในช่วงเวลาที่ถ่ายภาพเป็นเวลาเท่ากันกับวิธีการที่เสนอ:

ที่สอง MLP ที่มีการเข้ารหัสที่เรียนรู้โดยใช้วิธีการ ‘hashgrid’ จาก Instant-NGP ถูกใช้ โดยที่รายการในตารางแฮชและ MLP ถูกปรับให้เหมาะสมร่วมกัน:

ขนาดการฝังและความจุของเครือข่ายถูกตรงกับเครื่องบันทึกและ MLP เป้าหมาย โดยทดลองทั้งการปรับให้เหมาะสมสำหรับภาพแต่ละภาพและฝึกฝนล่วงหน้าตามด้วยการปรับให้เหมาะสม:

ที่สาม โครงสร้างการแปลภาพที่ไม่ทราบเป้าหมายถูกใช้โดยใช้ NAFNet ขนาด 64MB ที่ถูกฝึกฝนเป็นระบบการถอดรหัสแบบต่อพิกเซลโดยไม่มีการเข้าถึงข้อมูล:

ในการฝึก ผู้เขียนใช้ ตัวปรับให้เหมาะสม Adam ใน PyTorch ทั้งสำหรับการฝึกฝนล่วงหน้าและปรับให้เหมาะสม:

เครื่องบันทึกและ MLP ถูกฝึกฝนเป็นเวลา 50,000 รอบการฝึก โดยมีขนาดชุดข้อมูล 32 โดยมีการฝึกฝนแบบเฉพาะสำหรับแต่ละงาน (เช่น SR, การซูมดิจิทัลข้อความ, พื้นที่มืด):

การปรับให้เหมาะสมใช้เวลาประมาณ สามวินาที บน GPU V100 ของ NVIDIA ที่มี VRAM 32GB ผู้เขียนระบุว่าในขณะที่การปรับให้เหมาะสมบนอุปกรณ์เป็นเป้าหมาย แต่ไม่สมจริงที่จะนำไปใช้กับโครงสร้างทั้งหมด และดังนั้นการทดสอบทั้งหมดจึงดำเนินการใน môi trườngเดสก์ท็อป:

การเปรียบเทียบประสิทธิภาพกับโครงสร้างที่ใช้ MLP ที่มีการช่วยเหลือจากข้อมูล โดยรวมถึง SIREN, NeRF และวิธีการ 'hash-grid' พร้อมกับการกู้คืนแบบไม่ทราบเป้าหมายโดยใช้ NAFNet

การเปรียบเทียบประสิทธิภาพกับโครงสร้างที่ใช้ MLP ที่มีการช่วยเหลือจากข้อมูล โดยรวมถึง SIREN, NeRF และวิธีการ ‘hash-grid’ พร้อมกับการกู้คืนแบบไม่ทราบเป้าหมายโดยใช้ NAFNet

สำหรับโครงสร้างที่ใช้ MLP ประสิทธิภาพขึ้นอยู่กับการแสดงข้อมูลเข้า โดยที่โมเดลที่ฝึกฝนด้วยพิกัดพื้นที่เพียงอย่างเดียวต้องดิ้นรนในการฝึกฝนล่วงหน้าและล้มเหลวในการปรับปรุงในช่วงการปรับให้เหมาะสมที่จำกัด การเพิ่มสีทำให้ได้ผลลัพธ์ที่ดีกว่า:

การกู้คืนแบบไม่ทราบเป้าหมายโดยใช้ NAFNet ทำงานได้ดีใน DIV2K โดยที่การแมปกันระหว่างภาพที่เสื่อมและภาพที่ดีขึ้นนั้นค่อนข้างมีเสถียรภาพ แต่ล้มเหลวใน MARCONet และ LOL โดยที่มีการสร้างภาพที่เป็นไปได้หลายแบบและโมเดลไม่มีข้อมูลที่จำเป็นในการแก้ไขความไม่แน่นอนนี้:

ผลกระทบนี้เห็นได้ชัดเจนที่สุดในพื้นที่มืด โดยที่ความสว่างเดิมของภาพไม่สามารถอนุมานได้อย่างน่าเชื่อถือจากภาพที่ถูกประมวลผลเพียงอย่างเดียว:

ผู้เขียนระบุว่า:

‘ในข้อมูลที่สังเคราะห์จาก MARCONet ภาพที่มีความเข้มข้นต่างๆ ล้วนแมปกับภาพที่มีการสร้างรายละเอียดที่ไม่มีอยู่จริงเหมือนกัน จากผลลัพธ์จะเห็นได้ว่าวิธีการที่เราเสนอให้ทำได้ดีกว่าโครงสร้างอื่นๆ ทั้งหมดในฐานข้อมูลทั้งหมด.’

ในตารางเปรียบเทียบด้านบน เราจะเห็นได้ว่าวิธีการต่างๆ ทำงานได้ดีเพียงใดขึ้นอยู่กับเวลาที่ใช้ในการประมวลผลเมื่อถ่ายภาพ การฝึกโมเดลจากต้นจนจบสามารถให้ผลลัพธ์ที่ดี เช่น ที่เห็นใน SIREN, NeRF และวิธีการ ‘hash-grid’ – แต่นี่ใช้เวลานานเกินไปที่จะนำไปใช้ภายในกล้อง:

แทนผู้เขียนใช้วิธีการที่ทำการฝึกฝนล่วงหน้าและปรับให้เหมาะสมในช่วงเวลาที่ถ่ายภาพ ทำให้สามารถให้ผลลัพธ์ที่ดีกว่าภายในข้อจำกัดของเวลา (3, 5 หรือ 10 วินาที):

การเปรียบเทียบประสิทธิภาพกับโครงสร้างที่ใช้ MLP ที่มีการช่วยเหลือจากข้อมูล โดยรวมถึง SIREN, NeRF และวิธีการ 'hash-grid' พร้อมกับการกู้คืนแบบไม่ทราบเป้าหมายโดยใช้ NAFNet

การเปรียบเทียบประสิทธิภาพกับโครงสร้างที่ใช้ MLP ที่มีการช่วยเหลือจากข้อมูล โดยรวมถึง SIREN, NeRF และวิธีการ ‘hash-grid’ พร้อมกับการกู้คืนแบบไม่ทราบเป้าหมายโดยใช้ NAFNet

ด้านบนแสดงผลลัพธ์เชิงคุณภาพใน DIV2K โดยที่วิธีการปรับปรุงภาพทำให้เกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง การซูมดิจิทัลที่ใช้โมเดล GAN เปลี่ยนสีของดวงตา และการกู้คืนแบบไม่ทราบเป้าหมายดิ้นรนในการสร้างภาพดั้งเดิม NeRF และวิธีการ ‘hash-grid’ สร้างสิ่งบังตาที่มีโครงสร้าง เช่น หน้าต่างและข้อความ ในขณะที่วิธีการที่เสนอให้ผลลัพธ์ที่ใกล้เคียงกับภาพดั้งเดิมมากกว่า:

สุดท้าย ในรูปด้านบน เราจะเห็นผลลัพธ์จากชุดข้อมูล LOL โดยมีการปรับขนาดความสว่างสำหรับการแสดงผล:

การกู้คืนแบบไม่ทราบเป้าหมายไม่สามารถแก้ไขความไม่แน่นอนของความสว่างได้ ในขณะที่วิธีการที่เสนอให้สามารถสร้างข้อความและรายละเอียดที่ถูกต้องได้ เช่น การเปลี่ยน ‘1’ กลับเป็น ‘i’ โดยไม่เพิ่มสิ่งบังตาที่ไม่จำเป็น:

สรุป

ไม่ควรโต้แย้งหรือเคยโต้แย้งมาก่อนว่า ‘กล้องไม่เคยโกหก’ การตัดสินใจถ่ายภาพและนำเสนอภาพนั้นเป็นการตัดสินใจที่มีลักษณะทางสังคมหรือการเมือง:

แม้ว่าการประมวลผลหลังการถ่ายภาพแบบดั้งเดิม เช่น การ ‘ดอดจ์’ และ ‘เบิร์น’ (ซึ่งถูกย้ายไปยังเครื่องมือของ Photoshop) เป็นการกระทำที่มีการตีความสูงและเป็นเรื่องของความชอบส่วนบุคคล:

อย่างไรก็ตาม ไม่มีเหตุผลที่จะละทิ้งความพยายามในการจับภาพที่ ‘เป็นกลาง’ และดูเหมือนว่าจะสมเหตุสมผลที่ผู้บริโภคโดยเฉลี่ยควรได้รับอนุญาตให้เข้าถึงข้อมูลดั้งเดิมจากเซ็นเซอร์ ‘ที่ไม่ถูกบิดเบือน’ ของภาพถ่ายที่พวกเขาทำได้ หากพวกเขาปรารถนา; หรืออย่างน้อยก็ควรได้รับอนุญาตให้จำกัดการประมวลผลหลังการถ่ายภาพของ ISP ให้ใช้เฉพาะอัลกอริทึมที่ไม่ใช้ AI ตามที่พวกเขาต้องการ:

 

เผยแพร่ครั้งแรกวันศุกร์ที่ 24 เมษายน 2026

นักเขียนเกี่ยวกับการเรียนรู้ของเครื่องจักร และผู้เชี่ยวชาญด้านสังเคราะห์ภาพมนุษย์ อดีตหัวหน้าเนื้อหาวิจัยที่ Metaphysic.ai จนกระทั่งถูกยุบเข้ากับ Brahma.ai ของ DNEG
พอร์ตโฟลิโอ: martinanderson.ai
ติดต่อ: [email protected]