Mengembalikan Apa yang Dikapture Kamera Sebelum AI Mengubahnya

Bagaimana Anda dapat melindungi keaslian foto mentah dari intervensi AI ketika sudah dijalankan secara otomatis di dalam kamera? Penelitian baru berusaha untuk mengembalikan data sensor ‘sebenarnya’ – juga dengan AI!

Peningkatan keaslian gambar AI selama setahun terakhir telah menyebabkan banyak kelompok dan individu menggalang kekuatan melawan erosi kepercayaan dalam fotografi.

Di periode yang sama, Koalisi untuk Provenance dan Keaslian Konten (C2PA) telah berusaha untuk mengembangkan standar semi-kriptografis yang melampirkan informasi provenance berbasis metadata ke gambar, sejak saat itu ditangkap oleh kamera atau perangkat yang didukung, dengan harapan untuk mengungkap penggunaan AI generatif pada gambar ‘asli’ tersebut:

Skema provenance dalam sistem C2PA, di mana metadata yang ditulis pada saat penangkapan dapat ditambahkan seperti diary, memungkinkan penyesuaian biasa seperti kecerahan dan kontras, tetapi merekam penyesuaian besar, sehingga gambar yang banyak diubah oleh AI akan muncul sebagai gambar yang diubah dalam outlet media yang mendukung sistem ini. Sumber

Adopsi standar ini belum sebegitu luas seperti yang diharapkan koalisi, dan saat ini hanya 14 kamera yang mendukung perekaman keaslian informasi di dalam kamera.

Apa yang menarik tentang ide C2PA untuk memberikan ‘paspor’ pada foto sejak saat itu diciptakan, adalah bahwa pada saat itu itu mungkin sudah terlambat – karena produsen kamera sekarang rutin memasukkan pengolahan AI ke dalam penciptaan gambar:

Dari makalah 2024 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: ilustrasi tentang bagaimana pipa kamera modern memperkenalkan konten khayalan pada saat penangkapan dan bagaimana metadata autentikasi tingkat piksel mengungkapkannya. Di (A), gambar sensor smartphone diproses oleh ISP, di mana modul AI dapat mengarang detail selama zoom digital atau koreksi eksposur, menghasilkan gambar yang realistis dengan kesalahan seperti digit plat nomor yang salah dibaca. Di (B), masker autentikasi disematkan sebagai metadata dan kemudian ditumpangkan untuk mengungkap wilayah tidak asli, memungkinkan pengguna untuk membedakan data asli dari piksel yang diubah oleh AI. Sumber

Faktanya, intervensi AI ini dalam penangkapan data mentah dari sensor kamera bisa akhirnya menjadi proses yang mengatur.

Proses ini tidak sama dengan tren saat ini untuk mengubah foto di dalam kamera, di mana aplikasi kamera atau aplikasi ponsel memungkinkan pengguna untuk memikirkan kembali foto dengan santai sebelum diunduh dari perangkat.

Sebaliknya, pengolahan ini terjadi dalam rutinitas ‘black box’ di dalam Pengolah Sinyal Gambar (ISP) kamera, biasanya dalam runtime proprietary yang tidak mengekspos atau membuat data sensor mentah tersedia (dan pertimbangkan bahwa format kamera RAW yang ‘murni’ bukanlah benar-benar ‘murni’).

Oleh karena itu, ketika Anda dapat melihat foto, mungkin sudah diproses dengan bantuan AI, seperti peningkatan cahaya rendah, upsampling, atau bahkan penggantian bulan.

Dalam banyak kasus, ini dapat menyebabkan rekonstruksi yang tidak akurat, misalnya teks, yang mungkin membatalkan penggunaan gambar tersebut sebagai bukti, karena gambar ‘mentah’ yang sebenarnya tidak tersedia:

Dari makalah baru – gambar sensor RAW diproses oleh ISP yang ditenagai GenAI untuk menghasilkan output sRGB akhir yang tampak lebih jelas tetapi mungkin berisi detail khayalan, seperti yang ditunjukkan dalam contoh plat nomor di mana karakter salah ditebak selama zoom digital. Adegan sebenarnya, yang tidak dapat diakses dalam praktek, berbeda dari output yang ditingkatkan oleh AI dan gambar asli sebelum khayalan. Pendekatan yang diusulkan memungkinkan pemulihan gambar ini sebelum khayalan, mengembalikan apa yang ditangkap oleh optik kamera sebelum peningkatan berbasis AI mengubah konten. Sumber

Contoh di atas berasal dari makalah penelitian baru yang menawarkan solusi untuk ‘foto AI asli’, menggunakan proses AI alternatif untuk merekonstruksi gambar mentah dan tidak terganggu dari gambar yang diproses.

Para penulis menyatakan:

‘Ketika model AI yang dilatih dengan kerugian generatif atau perseptual digunakan dalam ISP, mereka rentan mengarang konten, potensial mengubah makna gambar. Implikasinya adalah gambar yang langsung keluar dari kamera mungkin sekarang berisi konten ‘palsu’, terutama pada kamera smartphone di mana modul AI-ISP semakin banyak diadopsi.

‘Penggunaan GenAI dalam perangkat kamera menandai pergeseran paradigma dalam cara kita melihat gambar kamera dan menantang pandangan forensik tradisional tentang gambar yang ditangkap oleh kamera sebagai inheren dapat dipercaya.’

Makalah baru ini menggunakan pengkode yang sangat ringan dan MLP decoder, yang dapat disertakan di dalam gambar dengan biaya bobot hanya 180kb. Tujuannya adalah pengembangan sistem pengkodean yang cukup cepat untuk mengekstrak gambar asli dalam waktu nyata.

Dari makalah baru: super-resolusi berbasis GenAI dalam ISP kamera dapat mengubah fitur wajah, menggeser penampilan atau identitas yang dirasakan melalui perubahan dalam pandangan dan bentuk mulut. Peningkatan cahaya rendah juga dapat mengubah konten gambar, mempengaruhi interpretasi meskipun meningkatkan kualitas visual. Dalam contoh kode QR, peningkatan membuat gambar lebih menarik tetapi membuat kode tidak dapat dibaca. Metode ini memungkinkan pemulihan gambar asli sebelum khayalan, mengembalikan detail wajah asli dan kode QR yang dapat discan.

Sebagai alternatif, produsen kamera bisa memberikan pengguna akses ke dump sensor yang tidak terganggu; namun, ini tampaknya akan terbatas pada peralatan kelas atas. Di ruang konsumen dan populer, sayangnya, akses ke foto yang tidak diproses mungkin dianggap sebagai kegiatan ‘nisbi’ atau marginal.

Sementara kamera konsumen selalu menerapkan beberapa tingkat pengolahan, sebelum munculnya edge AI, algoritma yang digunakan minimally ‘interpretatif’, dan tidak mungkin mengubah konten foto dengan cara yang berarti seperti metode AI saat ini.

Menariknya, mengingat seberapa besar kecaman publik terhadap kebijakan ‘penggantian bulan’ Samsung beberapa tahun lalu, Pusat AI Samsung di Toronto adalah salah satu peserta dalam makalah baru, yang berjudul Addressing Image Authenticity When Cameras Use Generative AI, dan dipimpin oleh kontribusi dari lima peneliti di Universitas Toronto.

Metode

Para penulis menggunakan proyek lain yang secara langsung mengatasi masalah gangguan oleh desain: makalah 2024 Advocating Pixel-Level Authentication of Camera-Captured Images, yang mengusulkan ‘masker autentikasi biner’ yang membatasi area yang diubah oleh proses AI di dalam kamera:

Paling kanan, ‘masker autentikasi’ dari makalah 2024 mengungkap area langit yang terpengaruh oleh proses ‘pemulusan’ AI di dalam kamera.

Namun, sistem tersebut tidak menawarkan metode untuk merekonstruksi gambar ‘sebenarnya’, yang ditangani oleh makalah baru, sambil mengakui utang budi kepada makalah sebelumnya.

Tujuan dari makalah baru ini adalah untuk memungkinkan pengguna merekonstruksi gambar yang sesuai dengan apa yang sebenarnya mengenai sensor sebelum pengolahan terjadi:

Gambaran metode yang diusulkan. Di (A), pada saat penangkapan, gambar output ISP yang berisi khayalan dilewatkan melalui pengkode yang sudah dilatih sebelumnya, dan fitur laten dikombinasikan dengan koordinat spasial dan dimasukkan ke dalam MLP yang beroperasi per piksel untuk memprediksi gambar non-khayalan, dengan pelatihan yang dipandu oleh kerugian terhadap gambar asli. Bobot pengkode dan MLP kemudian disimpan sebagai metadata bersama gambar. Di (B), pada saat inferensi, bobot ini diperoleh dari metadata dan digunakan dengan pengkode dan MLP untuk merekonstruksi gambar non-khayalan.

Pada saat penangkapan, dalam metode baru, gambar yang diproses dilewatkan melalui pengkode yang sudah dilatih sebelumnya yang mengubahnya menjadi representasi laten yang kompak. Selanjutnya, koordinat spasial yang relevan dikombinasikan dengan fitur ini dan dimasukkan ke dalam MLP yang ringan yang beroperasi per piksel, untuk memprediksi konten gambar asli – belajar, secara efektif, untuk menghilangkan elemen khayalan melalui kerugian rekonstruksi, terhadap target asli.

Pengkode dan decoder dilatih sebelumnya pada gambar asli dan khayalan yang berpasangan, kemudian dilatih ulang dengan cepat untuk setiap gambar yang ditangkap, dengan bobot mereka disimpan sebagai metadata bersama gambar itu sendiri, menambahkan hanya sedikit ukuran overhead.

Pada saat tampil, bobot yang disimpan ini diperoleh dan digunakan kembali untuk menjalankan pengkode dan MLP yang sama, memungkinkan pemulihan gambar yang mendekati apa yang sebenarnya ditangkap oleh sensor kamera, tanpa memperkenalkan konten sintetis baru.

Data dan Pengujian

Para penulis menguji metode baru menggunakan dua tugas pengolahan ISP pascapenangkapan yang paling umum: super-resolusi (SR, termasuk untuk area yang diperbesar); dan fotografi cahaya rendah.

Untuk bagian SR ‘gambar alami’ dari pengujian, banyak contoh teks disertakan dalam data, karena rutinitas SR ISP dikenal telah mengubah teks (misalnya, plat nomor mobil, tetapi lihat contoh sebelumnya dalam artikel). Karena distorsi teks adalah masalah diskrit yang terpisah, ini dianggap sebagai subset dari pengujian SR, dengan data khusus.

Pengkode yang disebutkan sebelumnya dilatih untuk masing-masing dari dua modalitas yang diuji, dan masing-masing dipilih berdasarkan modul AI ISP yang kemungkinan akan diaktifkan selama penangkapan (yaitu, modul ‘cahaya rendah’, dalam kondisi gelap).

Para penulis menggunakan dataset DIV2K untuk pelatihan super-resolusi, didukung oleh jaringan RealESRGAN yang populer. Sejalan dengan makalah 2024 tentang gangguan ISP, peneliti menghasilkan data berpasangan yang menampilkan konten yang tidak terpengaruh dan konten yang terpengaruh khayalan.

Untuk bagian SR teks, para penulis menggunakan model MARCONet tahun 2023:

Dari makalah MARCONet 2023, contoh teks resolusi rendah dan teks setara yang diperbesar. Sumber

Untuk membuat data berpasangan dalam kasus ini, peneliti menjalankan gambar non-khayalan melalui MARCONet. Dua ribu gambar dihasilkan dari kode asli proyek, dengan 200 disisihkan untuk validasi, bersama dengan 200 lainnya untuk pengujian.

Untuk pengujian cahaya rendah, dataset LOw-Light (LOL) dari makalah Tiongkok 2018 diadopsi:

Dari dataset LOL Tiongkok 2018, contoh gambar yang sama dengan eksposur dan tingkat kegelapan yang berbeda. Sumber

Kerangka Pesaing

Untuk mengevaluasi metode, perbandingan dilakukan dengan tiga baseline spesifik yang dilatih dalam kondisi yang sesuai. Pertama, SIREN dan NeRF dilatih sebelumnya pada gambar asli dan khayalan yang berpasangan dan kemudian dilatih ulang pada saat penangkapan untuk jangka waktu yang sama dengan pendekatan yang diusulkan, menawarkan perbandingan langsung dengan NeRF.

Kedua, MLP dengan pengkode yang dipelajari berdasarkan metode hashgrid dari Instant-NGP digunakan, dengan entri tabel hash dan MLP dioptimalkan bersama.

Ukuran penyematan dan kapasitas jaringan dicocokkan dengan pengkode dan MLP target, dengan eksperimen yang mencakup optimasi per-gambar dari awal dan pelatihan sebelumnya diikuti dengan pelatihan ulang.

Ketiga, baseline translasi gambar-butu dilaksanakan menggunakan model NAFNet 64MB, yang dilatih sebagai sistem regresi piksel-ke-piksel tanpa akses ke metadata.

Di pelatihan, optimizer Adam digunakan melalui PyTorch, baik untuk pelatihan sebelumnya dan pelatihan ulang. Pengkode dan MLP dilatih selama 50.000 epoch dengan ukuran batch 32, dengan pengkode modality-spesifik dilatih untuk setiap tugas (yaitu, SR, SR teks, cahaya rendah).

Pelatihan ulang berlangsung sekitar tiga detik pada GPU NVIDIA V100 dengan 32GB VRAM. Para penulis mencatat bahwa sementara optimasi di perangkat adalah lingkungan target dan skenario, ini tidak realistis untuk diimplementasikan untuk semua kerangka, dan oleh karena itu semua pengujian dilakukan dalam lingkungan desktop:

Perbandingan kinerja terhadap baseline MLP-berbasis yang dibantu metadata, termasuk SIREN, NeRF, dan metode hash-grid, serta pemulihan buta menggunakan NAFNet. Hasil dilaporkan sebagai PSNR dalam desibel di seluruh tiga tugas: super-resolusi gambar alami pada DIV2K; super-resolusi teks pada MARCONet; dan peningkatan cahaya rendah pada LOL, dengan metode penulis mencapai skor tertinggi dalam setiap kasus.

Untuk pendekatan berbasis MLP, kinerja sangat bergantung pada representasi input, di mana model yang dilatih menggunakan hanya koordinat spasial berjuang selama pelatihan sebelumnya dan gagal membaik selama tahap pelatihan ulang yang terbatas. Menambahkan informasi warna menghasilkan hasil yang lebih kuat.

Pemulihan buta menggunakan NAFNet berkinerja baik pada DIV2K, di mana pemetaan dari gambar yang rusak ke gambar yang bersih relatif stabil, tetapi gagal pada MARCONet dan LOL, di mana beberapa rekonstruksi yang masuk akal ada dan model kekurangan informasi yang dibutuhkan untuk menyelesaikan ketidakpastian ini.

Efek ini paling menonjol dalam peningkatan cahaya rendah, di mana kecerahan asli adegan tidak dapat diinferensi dengan andal dari gambar yang diproses saja.

Para penulis menyatakan:

‘[Dalam] data sintetis MARCONet, gambar dengan kekuatan kabur yang berbeda dipetakan ke gambar khayalan yang sama. Dapat dilihat dari hasil bahwa pendekatan yang kami usulkan outperforms kompetitor di semua dataset.’

Di perbandingan di atas, kita dapat melihat seberapa baik metode yang berbeda berkinerja tergantung pada seberapa lama waktu yang diberikan untuk berjalan pada saat foto diambil. Melatih model dari awal untuk setiap gambar dapat menghasilkan hasil yang kuat, seperti yang terlihat dengan SIREN, NeRF, dan hash-grid – tetapi ini memakan waktu terlalu lama untuk dijalankan di dalam kamera.

Sebaliknya, metode penulis melakukan sebagian besar pekerjaan sebelumnya, dengan penyesuaian cepat pada saat penangkapan, memungkinkan untuk menghasilkan hasil yang lebih baik dalam batas waktu yang ketat (3, 5, atau sepuluh detik).

Perbandingan kinerja terhadap baseline MLP-berbasis yang dibantu metadata, termasuk SIREN, NeRF, dan metode hash-grid, serta pemulihan buta menggunakan NAFNet. Hasil dilaporkan sebagai PSNR dalam desibel di seluruh tiga tugas: super-resolusi gambar alami pada DIV2K; super-resolusi teks pada MARCONet; dan peningkatan cahaya rendah pada LOL, dengan metode penulis mencapai skor tertinggi dalam setiap kasus. Silakan merujuk ke makalah sumber untuk (sedikit) resolusi yang lebih baik.

Di atas ditunjukkan hasil kualitatif pada DIV2K, di mana metode peningkatan mengenalkan khayalan yang terlihat. Model super-resolusi berbasis GAN mengubah warna mata, dan pemulihan buta berjuang untuk merekonstruksi gambar asli. NeRF dan hash-grid menghasilkan artefak di area terstruktur seperti jendela dan teks, sementara metode yang diusulkan lebih dekat dengan gambar asli.

Akhirnya, pada gambar di atas, kita melihat hasil pada dataset LOL, dengan kecerahan skala untuk visualisasi.

Pemulihan buta tidak dapat menyelesaikan skala kecerahan yang tidak diketahui, sementara metode yang diusulkan lebih baik merekonstruksi tekstur dan mengembalikan karakter yang diubah, seperti mengoreksi ‘1’ kembali ke ‘i’, tanpa menambahkan artefak.

Kesimpulan

Mungkin tidak dapat diperdebatkan, atau bahkan pernah diperdebatkan, bahwa ‘kamera tidak pernah berbohong’. Setiap keputusan tentang apa yang akan difoto dan kapan memotret, serta bagaimana mempresentasikan dan mengkontekstualisasikan, pada dasarnya adalah keputusan politik atau sosial.

Even metode pengolahan pascapenangkapan yang paling tua, seperti dodging dan burning (yang telah lama dipindahkan ke alat Photoshop) adalah tindakan subjektif yang sangat artistik dan pilihan.

Namun, itu tidak berarti kita harus menyerah pada tujuan ‘penangkapan gambar objektif’; dan tampaknya masuk akal bahwa konsumen rata-rata seharusnya diizinkan, bahkan dengan sedikit kesulitan, untuk mengakses ‘dump sensor mentah’ dari foto yang diambil, jika mereka mau; atau setidaknya, bahwa mereka diizinkan untuk membatasi pengolahan ISP pascapenangkapan ke algoritma non-AI, seperti yang mereka inginkan.

Dipublikasikan pertama kali pada hari Jumat, 24 April 2026