กู้คืนสิ่งที่กล้องบันทึกไว้ก่อนถูก AI เปลี่ยนแปลง

เราจะปกป้องความบริสุทธิ์ของภาพถ่ายดิบจากการแทรกแซงของ AI ได้อย่างไร เมื่อภาพถ่ายถูกประมวลผลโดยอัตโนมัติด้วย AI ภายในกล้องแล้ว วิธีการใหม่ๆ กำลังถูกพัฒนาขึ้นเพื่อกู้คืนข้อมูลเซ็นเซอร์ ‘แท้จริง’ – โดยใช้ AI เช่นกัน!

ภาพที่สร้างโดย AI มีความสมจริงเพิ่มขึ้นในช่วงหนึ่งปีที่ผ่านมา ทำให้หลายกลุ่มและบุคคลลุกขึ้นต่อต้านการบั่นทอนความเชื่อมั่นในภาพถ่ายที่เกิดขึ้นตามมา

ในช่วงเวลาเดียวกัน แนวร่วมเพื่อแหล่งที่มาและความแท้จริงของเนื้อหา (C2PA) ได้พยายามเผยแพร่มาตรฐานครึ่งเข้ารหัสที่ แนบข้อมูลแหล่งที่มาตามเมทาดาทา ถึงภาพจากช่วงเวลาที่ถูกบันทึกโดยกล้องหรืออุปกรณ์ที่รองรับ หวังว่าจะเปิดเผยการใช้ AI เชิงกำเนิดภายหลังกับภาพ ‘ดั้งเดิม’ เหล่านี้:

แผนภาพแหล่งที่มาในระบบ C2PA ซึ่งข้อมูลที่เขียนไว้ตั้งแต่ช่วงเวลาที่ถ่ายภาพสามารถเพิ่มได้เหมือนบันทึกประจำวัน โดยอนุญาตให้ทำการปรับแต่งตามปกติ เช่น ความสว่างและคอนทราสต์ แต่บันทึกการปรับแต่งที่สำคัญๆ เพื่อให้ภาพที่ถูกเปลี่ยนแปลงโดย AI จะปรากฏในสถานะที่ถูกต้องในสื่อที่รองรับระบบนี้. แหล่งที่มา

การนำมาตรฐานนี้ไปใช้ยังไม่แพร่หลายเท่าที่แนวร่วมคาดหวัง และปัจจุบันมีกล้องเพียง 14 รุ่น ที่รองรับการบันทึกข้อมูลความถูกต้องภายในกล้อง.

สิ่งที่น่าสนใจเกี่ยวกับแนวคิดของ C2PA ในการให้ ‘พาสปอร์ต’ แก่ภาพถ่ายตั้งแต่ช่วงเวลาที่ถูกสร้างขึ้น คือว่า ณ ช่วงเวลานั้น อาจจะสายเกินไปแล้ว – เนื่องจากผู้ผลิตกล้องกำลังรวมการประมวลผล AI เข้ากับการสร้างภาพ:

จากเอกสารปี 2024 ‘การสนับสนุนการตรวจสอบระดับพิกเซลของภาพถ่ายที่ถูกบันทึก’: ภาพแสดงวิธีการที่กล้องสมาร์ทโฟนสร้างเนื้อหาที่ไม่มีอยู่จริงในช่วงเวลาที่ถ่ายภาพ และวิธีการที่ข้อมูลการตรวจสอบระดับพิกเซลเปิดเผยสิ่งนี้ ใน (A) ภาพจากเซ็นเซอร์สมาร์ทโฟนถูกประมวลผลโดย ISP ซึ่งโมดูล AI สามารถสร้างรายละเอียดระหว่างการซูมดิจิทัลหรือการแก้ไขแสง ทำให้ได้ภาพที่มีลักษณะสมจริงพร้อมกับข้อผิดพลาด เช่น ตัวเลขป้ายทะเบียนที่อ่านผิด ใน (B) มาสก์ตรวจสอบถูกฝังเป็นข้อมูลและแสดงออกมาเพื่อเปิดเผยพื้นที่ที่ไม่ถูกต้อง ทำให้ผู้ใช้สามารถแยกแยะระหว่างข้อมูลดั้งเดิมและพิกเซลที่ถูกเปลี่ยนแปลงโดย AI. แหล่งที่มา

ในความเป็นจริง การแทรกแซงของ AI ในการเก็บข้อมูลดิบจากเซ็นเซอร์กล้องนี้อาจถึงขั้นกลายเป็นกระบวนการหลักในที่สุด

การประมวลผลหลังการถ่ายภาพนี้ไม่เหมือนกับการแก้ไขภาพถ่ายในกล้อง ซึ่งแอปหรือกล้องอนุญาตให้ผู้ใช้ปรับเปลี่ยนภาพถ่ายก่อนที่จะถูกดาวน์โหลดจากอุปกรณ์:

แต่การประมวลผลนี้เกิดขึ้นใน ‘กล่องดำ’ ใน Image Signal Processor (ISP) ของกล้อง ซึ่งโดยทั่วไปแล้วจะไม่เปิดเผยหรือทำให้ข้อมูลดั้งเดิมจากเซ็นเซอร์กล้องเข้าถึงได้ (และพิจารณาว่า รูปแบบ RAW ของกล้อง ก็ไม่ได้ ‘ดิบ’ อย่างแท้จริง)

ดังนั้น เมื่อคุณสามารถเห็นภาพถ่ายได้แล้ว มันอาจถูกประมวลผลโดย AI แล้ว เช่น การปรับปรุงภาพในที่แสงน้อย การซูมดิจิทัล หรือแม้กระทั่ง การเปลี่ยนดวงจันทร์:

ในหลายกรณี สิ่งนี้อาจนำไปสู่การสร้างภาพที่ไม่ถูกต้อง เช่น การสร้างข้อความที่ไม่ถูกต้อง ซึ่งอาจทำให้การใช้ภาพถ่ายเหล่านี้ไม่เหมาะสมสำหรับการใช้เป็นหลักฐาน เนื่องจากภาพ ‘ดั้งเดิม’ จริงๆ ไม่มีอยู่:

จากเอกสารใหม่ – ภาพจากเซ็นเซอร์ RAW ถูกประมวลผลโดย ISP ที่มี GenAI เพื่อสร้างเอาต์พุต sRGB ที่ดูชัดเจนกว่า แต่อาจมีรายละเอียดที่ถูกสร้างขึ้น เช่น ในตัวอย่างของป้ายทะเบียนที่ตัวอักษรถูกสร้างขึ้นไม่ถูกต้องระหว่างการซูมดิจิทัล ภาพจริงซึ่งไม่สามารถเข้าถึงได้ในทางปฏิบัติแตกต่างจากเอาต์พุตที่ได้รับการปรับปรุงโดย AI และภาพดั้งเดิมก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง วิธีการที่เสนอช่วยให้สามารถกู้คืนภาพก่อนที่จะเกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง โดยกู้คืนภาพที่กล้องจับได้จริงก่อนที่จะถูกเปลี่ยนแปลงโดยการปรับปรุงของ AI. แหล่งที่มา

ตัวอย่างเหล่านี้มาจากเอกสารวิจัยใหม่ที่ให้วิธีการแก้ปัญหา ‘ภาพถ่ายดั้งเดิม’ โดยใช้กระบวนการ AI ที่แตกต่างเพื่อประมาณและสร้างภาพดิบที่ยังไม่ถูกเปลี่ยนแปลงขึ้นใหม่จากภาพที่ผ่านการประมวลผล:

ผู้เขียนระบุว่า:

‘เมื่อใช้โมเดล AI ที่ฝึกด้วยฟังก์ชันความสูญเสียเชิงกำเนิดหรือเชิงการรับรู้ใน ISP โมเดลอาจสร้างเนื้อหาที่ไม่มีอยู่จริงและเปลี่ยนความหมายของภาพได้ นั่นหมายความว่าภาพที่ส่งออกจากกล้องโดยตรงอาจมีเนื้อหาปลอม โดยเฉพาะในกล้องสมาร์ทโฟนที่มีการใช้โมดูล AI-ISP เพิ่มขึ้น’

‘การใช้ GenAI ในฮาร์ดแวร์กล้องเป็นการเปลี่ยนแปลงรูปแบบใหม่ในการมองภาพถ่าย และท้าทายมุมมองทางนิติวิทยาศาสตร์แบบดั้งเดิมที่ถือว่าภาพจากกล้องเชื่อถือได้โดยธรรมชาติ.’

งานวิจัยใหม่นี้ใช้ตัวเข้ารหัสที่มีขนาดเล็กและ MLP ตัวถอดรหัส ซึ่งสามารถรวมเข้ากับภาพได้ โดยเพิ่มขนาดไฟล์เพียง 180kb วัตถุประสงค์คือการสร้างระบบการเข้ารหัสที่เร็วพอที่จะกู้คืนภาพดั้งเดิมในเวลาจริง:

จากงานวิจัยใหม่: การเพิ่มความละเอียดด้วย GenAI ภายใน ISP ของกล้องอาจเปลี่ยนรายละเอียดใบหน้าอย่างแนบเนียน ทำให้รูปลักษณ์หรืออัตลักษณ์ที่ผู้ชมรับรู้เปลี่ยนไปผ่านทิศทางสายตาและรูปปาก การปรับปรุงภาพแสงน้อยก็อาจเปลี่ยนเนื้อหาภาพและการตีความได้ แม้คุณภาพทางสายตาจะดีขึ้น ในตัวอย่าง QR code ภาพดูสวยขึ้นแต่โค้ดสแกนไม่ได้ วิธีนี้กู้คืนภาพแท้ก่อนเกิดรายละเอียดหลอน โดยคืนรายละเอียดใบหน้าเดิมและ QR code ที่สแกนได้

อีกทางหนึ่ง ผู้ผลิตกล้องอาจให้ผู้ใช้เข้าถึงข้อมูลดั้งเดิมจากเซ็นเซอร์โดยไม่ผ่านการประมวลผล; แต่นี่อาจจำกัดอยู่เฉพาะอุปกรณ์ระดับสูง ในส่วนของกล้องมือถือและผู้บริโภคทั่วไป การเข้าถึงภาพถ่ายที่ไม่ผ่านการประมวลผลอาจถือเป็นเรื่องที่ ‘เฉพาะกลุ่ม’ หรือไม่สำคัญ:

ในขณะที่กล้องมือถือมีการใช้การประมวลผลหลังการถ่ายภาพมาโดยตลอด แต่ก่อนการมาถึงของเอดจ์ AI อัลกอริทึมที่ใช้ไม่ได้มีการตีความมากนัก และไม่น่าจะเปลี่ยนแปลงเนื้อหาของภาพถ่ายในลักษณะเดียวกับที่วิธีการ AI ปัจจุบันสามารถทำได้:

สิ่งที่น่าสนใจคือ เมื่อพิจารณาจากวิธีการ ‘การเปลี่ยนดวงจันทร์’ ของซัมซุงซึ่งถูกวิพากษ์วิจารณ์จากสาธารณชนเมื่อหลายปีที่แล้ว ซัมซุง AI Center ที่โตรอนโตเป็นหนึ่งในผู้เข้าร่วมใน งานวิจัยใหม่นี้ ซึ่งมีชื่อว่า การแก้ไขความถูกต้องของภาพถ่ายเมื่อกล้องใช้ GenAI และได้รับการสนับสนุนจากนักวิจัย 5 คนจากมหาวิทยาลัยโตรอนโต

วิธีการ

ผู้เขียนอาศัยโครงการอื่นเพียงโครงการเดียวที่จนถึงขณะนี้ดูเหมือนจะจัดการปัญหาการเปลี่ยนภาพซึ่งเกิดจากการออกแบบระบบโดยตรง นั่นคือบทความปี 2024 Advocating Pixel-Level Authentication of Camera-Captured Images ซึ่งเสนอ ‘มาสก์ตรวจสอบความแท้จริงแบบไบนารี’ เพื่อระบุบริเวณที่เปลี่ยนไปจากการประมวลผล AI ในกล้อง

ด้านขวามือ มาสก์ ‘ความถูกต้อง’ จากเอกสารปี 2024 เปิดเผยพื้นที่ของท้องฟ้าที่ถูกเปลี่ยนแปลงโดยกระบวนการ ‘การทำให้เรียบ’ ของ AI ในกล้อง.

ระบบไม่ได้ให้วิธีการในการกู้คืนภาพ ‘แท้จริง’ ซึ่งงานวิจัยใหม่นี้เข้ามาจัดการ พร้อมยอมรับคุณูปการของงานก่อนหน้า

วัตถุประสงค์ของงานวิจัยใหม่นี้คือการทำให้ผู้ใช้สามารถกู้คืนภาพที่ใกล้เคียงกับภาพที่กล้องจับได้จริงก่อนที่จะถูกประมวลผล:

ภาพรวมของวิธีที่เสนอ (A) ขณะถ่ายภาพ ภาพเอาต์พุตของ ISP ที่มีรายละเอียดหลอนถูกส่งผ่านตัวเข้ารหัสที่ฝึกล่วงหน้าและตรึงพารามิเตอร์ไว้ คุณลักษณะแฝงถูกผสานกับพิกัดเชิงพื้นที่และป้อนเข้า MLP ซึ่งทำงานทีละพิกเซลเพื่อทำนายภาพที่ไม่มีรายละเอียดหลอน การฝึกใช้ฟังก์ชันความสูญเสียเทียบกับภาพแท้เป็นตัวกำกับ จากนั้นบันทึกค่าน้ำหนักของตัวเข้ารหัสและ MLP เป็นเมทาดาทาควบคู่กับภาพ (B) ระหว่างการอนุมาน ค่าน้ำหนักถูกดึงจากเมทาดาทามาใช้กับตัวเข้ารหัสและ MLP เพื่อสร้างภาพที่ไม่มีรายละเอียดหลอนขึ้นใหม่

ณ ช่วงเวลาที่ถ่ายภาพ วิธีการใหม่นี้ส่งภาพที่ถูกประมวลผลผ่านตัวเข้ารหัสที่ตรึงพารามิเตอร์ ซึ่งแปลงภาพเป็นตัวแทนแฝงที่มีขนาดกะทัดรัด:

จากนั้น พิกัดพื้นที่ที่เกี่ยวข้องจะถูกผสมเข้ากับคุณลักษณะเหล่านี้และถูกส่งเข้าไปใน MLP ที่ทำงานในระดับพิกเซล เพื่อคาดการณ์เนื้อหาของภาพดั้งเดิม – โดยการเรียนรู้ที่จะลบส่วนประกอบที่ไม่มีอยู่จริงออกไปโดยใช้ ฟังก์ชันความสูญเสียในการสร้างภาพใหม่ โดยใช้ข้อมูลที่ถูกต้อง:

ตัวเข้ารหัสและตัวถอดรหัสได้รับการฝึกล่วงหน้าด้วยคู่ภาพแท้กับภาพที่มีรายละเอียดหลอน จากนั้นจึงปรับละเอียดอย่างรวดเร็วสำหรับแต่ละภาพที่ถ่าย โดยบันทึกค่าน้ำหนักเป็นเมทาดาทาควบคู่กับภาพ ทำให้ขนาดไฟล์เพิ่มขึ้นเพียงเล็กน้อย

เมื่อเวลาแสดงภาพ น้ำหนักที่ถูกบันทึกเหล่านี้จะถูกดึงออกมาและนำมาใช้ใหม่เพื่อทำงานตัวเข้ารหัสและ MLP เดียวกัน ทำให้สามารถกู้คืนภาพที่ใกล้เคียงกับภาพที่กล้องจับได้จริงก่อนที่จะถูกประมวลผลโดยไม่สร้างเนื้อหาที่ไม่มีอยู่จริง:

ข้อมูลและการทดสอบ

ผู้เขียนทดสอบวิธีการใหม่นี้โดยใช้สองงานหลักที่ใช้การประมวลผลหลังการถ่ายภาพของ ISP: การเพิ่มความละเอียดภาพ (SR รวมบริเวณที่ซูม) และการถ่ายภาพในพื้นที่มืด:

สำหรับส่วนการทดสอบ SR ทั่วไป (‘ภาพธรรมชาติ’) มีตัวอย่างหลายรูปที่มีข้อความที่รวมอยู่ในข้อมูล เนื่องจากการซูมดิจิทัลของ ISP มักจะเปลี่ยนแปลงข้อความ (เช่น ตัวอักษรบนป้ายทะเบียนรถ แต่ดูตัวอย่างก่อนหน้านี้ในบทความ) เนื่องจากการบิดเบือนข้อความเป็นปัญหาเฉพาะ จึงแยกเป็นส่วนย่อยของการทดสอบ SR และใช้ข้อมูลเฉพาะ

ข้อมูลที่กล่าวถึงก่อนหน้านี้ถูกใช้สำหรับการฝึกตัวเข้ารหัสสำหรับโหมดที่แตกต่างกันทั้งสองโหมดที่ทดสอบ และแต่ละโหมดถูกเลือกตามว่าโมดูล AI ของ ISP ใดที่มีแนวโน้มว่าจะถูกใช้ในช่วงเวลาที่ถ่ายภาพ (เช่น โหมด ‘มืด’ ในสภาพแวดล้อมที่มืด):

ผู้เขียนใช้ ชุดข้อมูล DIV2K สำหรับการฝึกเพิ่มความละเอียดภาพ โดยใช้เครือข่าย RealESRGAN ที่ได้รับความนิยม เช่นเดียวกับงานปี 2024 เรื่องการแทรกแซงของ ISP ผู้วิจัยสร้างข้อมูลคู่ที่มีทั้งเนื้อหาที่ไม่ถูกเปลี่ยนกับเนื้อหาที่ได้รับผลจากรายละเอียดหลอน

สำหรับส่วนการทดสอบเพิ่มความละเอียดข้อความ ผู้เขียนใช้ แบบจำลอง MARCONet ปี 2023:

จากเอกสาร MARCONet ปี 2023 – ตัวอย่างของข้อความที่มีความละเอียดต่ำและข้อความที่เทียบเท่าที่ถูกซูมขึ้น แหล่งที่มา

เพื่อสร้างข้อมูลที่จับคู่กันในกรณีนี้ ผู้วิจัยใช้ภาพดั้งเดิมผ่าน MARCONet โดยสร้างภาพ 2,000 รูปจากโค้ดต้นฉบับ โดยมี 200 รูปกันไว้สำหรับการตรวจสอบความถูกต้องและอีก 200 รูปสำหรับการทดสอบ:

สำหรับการทดสอบในพื้นที่มืด ผู้วิจัยใช้ ชุดข้อมูล LOL (LOL) จากเอกสารจีนปี 2018

จากชุดข้อมูล LOL ของจีนปี 2018 – ตัวอย่างของภาพเดียวกันที่มีการเปิดรับและความเสื่อมสภาพที่แตกต่างกัน แหล่งที่มา

โครงสร้างที่แข่งขันกัน

เพื่อประเมินวิธีการใหม่นี้ ผู้เขียนเปรียบเทียบกับวิธีอ้างอิงสามแบบที่ฝึกในเงื่อนไขเดียวกัน

แรก SIREN และ NeRF ถูกฝึกฝนล่วงหน้าโดยใช้ภาพดั้งเดิมและภาพที่มีการสร้างรายละเอียดที่ไม่มีอยู่จริง จากนั้นจึงถูกปรับให้เหมาะสมในช่วงเวลาที่ถ่ายภาพเป็นเวลาเท่ากันกับวิธีการที่เสนอ:

ที่สอง MLP ที่มีการเข้ารหัสที่เรียนรู้โดยใช้วิธีการ hashgrid จาก Instant-NGP ถูกใช้ โดยที่รายการในตารางแฮชและ MLP ได้รับการปรับให้เหมาะสมร่วมกัน:

ขนาดการฝังและความจุของเครือข่ายถูกตรงกับตัวเข้ารหัสและ MLP เป้าหมาย โดยทดลองทั้งการปรับให้เหมาะสมสำหรับภาพแต่ละภาพจากศูนย์ และการฝึกล่วงหน้าแล้วจึงปรับละเอียด:

ที่สาม วิธีอ้างอิงการแปลงภาพเป็นภาพโดยไม่ใช้เมทาดาทาถูกใช้โดยใช้ NAFNet ขนาด 64MB ที่ถูกฝึกฝนเป็นระบบการถดถอยจากพิกเซลสู่พิกเซลโดยไม่มีสิทธิ์เข้าถึงเมทาดาทา:

ในการฝึก ผู้เขียนใช้ ตัวปรับให้เหมาะสม Adam ใน PyTorch ทั้งสำหรับการฝึกฝนล่วงหน้าและปรับให้เหมาะสม:

ตัวเข้ารหัสและ MLP ถูกฝึกฝนเป็นเวลา 50,000 รอบการฝึก โดยมีขนาดแบตช์ 32 โดยมีการฝึกฝนแบบเฉพาะสำหรับแต่ละงาน (เช่น SR, การเพิ่มความละเอียดข้อความ, พื้นที่มืด):

การปรับให้เหมาะสมใช้เวลาประมาณ สามวินาที บน GPU V100 ของ NVIDIA ที่มี VRAM 32GB ผู้เขียนระบุว่าในขณะที่การปรับให้เหมาะสมบนอุปกรณ์เป็นเป้าหมาย แต่ไม่สมจริงที่จะนำไปใช้กับโครงสร้างทั้งหมด และดังนั้นการทดสอบทั้งหมดจึงดำเนินการใน สภาพแวดล้อมเดสก์ท็อป:

การเปรียบเทียบประสิทธิภาพกับวิธีอ้างอิงที่ใช้ MLP และเมทาดาทา ได้แก่ SIREN, NeRF และ hash-grid รวมถึงการกู้คืนโดยไม่มีเมทาดาทาด้วย NAFNet ผลรายงานเป็น PSNR หน่วยเดซิเบลสำหรับสามงาน ได้แก่ การเพิ่มความละเอียดภาพธรรมชาติบน DIV2K การเพิ่มความละเอียดข้อความบน MARCONet และการปรับปรุงภาพแสงน้อยบน LOL โดยวิธีที่เสนอได้คะแนนสูงสุดในทุกกรณี

สำหรับโครงสร้างที่ใช้ MLP ประสิทธิภาพขึ้นอยู่กับการแสดงข้อมูลเข้า โดยที่โมเดลที่ฝึกฝนด้วยพิกัดพื้นที่เพียงอย่างเดียวต้องดิ้นรนในการฝึกฝนล่วงหน้าและล้มเหลวในการปรับปรุงในช่วงการปรับให้เหมาะสมที่จำกัด การเพิ่มสีทำให้ได้ผลลัพธ์ที่ดีกว่า:

การกู้คืนโดยไม่ใช้เมทาดาทาโดยใช้ NAFNet ทำงานได้ดีใน DIV2K โดยที่การแมปกันระหว่างภาพที่เสื่อมและภาพที่ดีขึ้นนั้นค่อนข้างมีเสถียรภาพ แต่ล้มเหลวใน MARCONet และ LOL โดยที่มีการสร้างภาพที่เป็นไปได้หลายแบบและโมเดลไม่มีข้อมูลที่จำเป็นในการแก้ไขความไม่แน่นอนนี้:

ผลกระทบนี้เห็นได้ชัดเจนที่สุดในพื้นที่มืด โดยที่ความสว่างเดิมของภาพไม่สามารถอนุมานได้อย่างน่าเชื่อถือจากภาพที่ถูกประมวลผลเพียงอย่างเดียว:

ผู้เขียนระบุว่า:

‘ในข้อมูลที่สังเคราะห์จาก MARCONet ภาพที่มีระดับความเบลอต่างกัน ล้วนแมปกับภาพที่มีการสร้างรายละเอียดที่ไม่มีอยู่จริงเหมือนกัน จากผลลัพธ์จะเห็นได้ว่าวิธีการที่เราเสนอให้ทำได้ดีกว่าโครงสร้างอื่นๆ ทั้งหมดในฐานข้อมูลทั้งหมด.’

ในตารางเปรียบเทียบด้านบน เราจะเห็นได้ว่าวิธีการต่างๆ ทำงานได้ดีเพียงใดขึ้นอยู่กับเวลาที่ใช้ในการประมวลผลเมื่อถ่ายภาพ การฝึกโมเดลจากศูนย์สำหรับภาพแต่ละภาพสามารถให้ผลลัพธ์ที่ดี เช่น ที่เห็นใน SIREN, NeRF และวิธีการ ‘hash-grid’ – แต่นี่ใช้เวลานานเกินไปที่จะนำไปใช้ภายในกล้อง:

แทนผู้เขียนใช้วิธีการที่ทำการฝึกฝนล่วงหน้าและปรับให้เหมาะสมในช่วงเวลาที่ถ่ายภาพ ทำให้สามารถให้ผลลัพธ์ที่ดีกว่าภายในข้อจำกัดของเวลา (3, 5 หรือ 10 วินาที):

การเปรียบเทียบประสิทธิภาพกับวิธีอ้างอิงที่ใช้ MLP และเมทาดาทา ได้แก่ SIREN, NeRF และ hash-grid รวมถึงการกู้คืนโดยไม่มีเมทาดาทาด้วย NAFNet ผลรายงานเป็น PSNR หน่วยเดซิเบลสำหรับสามงาน ได้แก่ การเพิ่มความละเอียดภาพธรรมชาติบน DIV2K การเพิ่มความละเอียดข้อความบน MARCONet และการปรับปรุงภาพแสงน้อยบน LOL โดยวิธีที่เสนอได้คะแนนสูงสุดในทุกกรณี โปรดดูบทความต้นฉบับสำหรับความละเอียดที่ดีขึ้นเล็กน้อย

ด้านบนแสดงผลลัพธ์เชิงคุณภาพใน DIV2K โดยที่วิธีการปรับปรุงภาพทำให้เกิดการสร้างรายละเอียดที่ไม่มีอยู่จริง การเพิ่มความละเอียดที่ใช้โมเดล GAN เปลี่ยนสีของดวงตา และการกู้คืนโดยไม่ใช้เมทาดาทาดิ้นรนในการสร้างภาพดั้งเดิม NeRF และวิธีการ ‘hash-grid’ สร้างอาร์ติแฟกต์ในบริเวณที่มีโครงสร้าง เช่น หน้าต่างและข้อความ ในขณะที่วิธีการที่เสนอให้ผลลัพธ์ที่ใกล้เคียงกับภาพดั้งเดิมมากกว่า:

สุดท้าย ในรูปด้านบน เราจะเห็นผลลัพธ์จากชุดข้อมูล LOL โดยมีการปรับขนาดความสว่างสำหรับการแสดงผล:

การกู้คืนโดยไม่ใช้เมทาดาทาไม่สามารถแก้ไขความไม่แน่นอนของความสว่างได้ ในขณะที่วิธีการที่เสนอให้สามารถสร้างพื้นผิวและคืนอักขระที่ถูกเปลี่ยนได้ เช่น การเปลี่ยน ‘1’ กลับเป็น ‘i’ โดยไม่เพิ่มสิ่งบังตาที่ไม่จำเป็น:

สรุป

ข้ออ้างที่ว่า ‘กล้องไม่เคยโกหก’ อาจไม่สามารถปกป้องได้ และไม่เคยปกป้องได้มาก่อน ทุกการตัดสินใจว่าจะถ่ายอะไร เมื่อใด และจะนำเสนอพร้อมบริบทอย่างไร ล้วนเป็นการตัดสินใจทางการเมืองหรือสังคมโดยเนื้อแท้

แม้ว่าการประมวลผลหลังการถ่ายภาพแบบดั้งเดิม เช่น การดอดจ์และเบิร์น (ซึ่งถูกย้ายไปยังเครื่องมือของ Photoshop) เป็นการกระทำที่มีการตีความสูงและเป็นเรื่องของความชอบส่วนบุคคล:

อย่างไรก็ตาม ไม่มีเหตุผลที่จะละทิ้งความพยายามในการจับภาพที่ ‘เป็นกลาง’ และดูเหมือนว่าจะสมเหตุสมผลที่ผู้บริโภคโดยเฉลี่ยควรได้รับอนุญาต แม้จะมีความยุ่งยากบ้าง ให้เข้าถึงข้อมูลดิบจากเซ็นเซอร์ ‘ที่ไม่ถูกบิดเบือน’ ของภาพถ่ายที่พวกเขาทำได้ หากพวกเขาปรารถนา; หรืออย่างน้อยก็ควรได้รับอนุญาตให้จำกัดการประมวลผลหลังการถ่ายภาพของ ISP ให้ใช้เฉพาะอัลกอริทึมที่ไม่ใช้ AI ตามที่พวกเขาต้องการ:

เผยแพร่ครั้งแรกวันศุกร์ที่ 24 เมษายน 2026