JPEG AI Memburamkan Batas Antara Gambar Asli dan Sintetik

Pada bulan Februari tahun ini, standar internasional JPEG AI dipublikasikan, setelah beberapa tahun penelitian yang bertujuan untuk menggunakan teknik pembelajaran mesin untuk menghasilkan codec gambar yang lebih kecil dan lebih mudah ditransmisikan dan disimpan, tanpa kehilangan kualitas perseptual.

Dari aliran publikasi resmi untuk JPEG AI, perbandingan antara Peak Signal-to-Noise Ratio (PSNR) dan pendekatan ML-augmented JPEG AI. Sumber: https://jpeg.org/jpegai/documentation.html

Salah satu alasan mengapa kemajuan ini tidak banyak diliput adalah bahwa dokumen PDF inti untuk pengumuman ini tidak tersedia melalui portal akses gratis seperti Arxiv. Namun, Arxiv telah mempublikasikan beberapa studi yang memeriksa signifikansi JPEG AI di berbagai aspek, termasuk artefak kompresi yang tidak biasa dan signifikansinya untuk forensik.

Satu studi membandingkan artefak kompresi, termasuk yang dari draf sebelumnya dari JPEG AI, menemukan bahwa metode baru ini memiliki kecenderungan untuk memburamkan teks – bukan masalah kecil dalam kasus di mana codec mungkin berkontribusi pada rantai bukti. Sumber: https://arxiv.org/pdf/2411.06810

Karena JPEG AI mengubah gambar dengan cara yang menyerupai artefak generator gambar sintetik, alat forensik yang ada sulit membedakan antara gambar asli dan gambar palsu:

Setelah kompresi JPEG AI, algoritma canggih tidak dapat lagi memisahkan konten asli dari daerah yang dimanipulasi dalam peta lokal, menurut makalah terbaru (Maret 2025). Contoh sumber yang terlihat di sebelah kiri adalah gambar palsu, di mana daerah yang dimanipulasi jelas dibatasi dengan teknik forensik standar (gambar tengah). Namun, kompresi JPEG AI memberikan gambar palsu lapisan kredibilitas (gambar paling kanan). Sumber: https://arxiv.org/pdf/2412.03261

Salah satu alasan adalah bahwa JPEG AI dilatih menggunakan arsitektur model yang serupa dengan yang digunakan oleh sistem generatif yang alat forensik coba deteksi:

Makalah baru mengilustrasikan kesamaan antara metodologi kompresi gambar yang digerakkan AI dan gambar yang dihasilkan AI sebenarnya. Sumber: https://arxiv.org/pdf/2504.03191

Karena itu, kedua model mungkin menghasilkan beberapa karakteristik visual yang sama dari sudut pandang forensik.

Kuantisasi

Pertemuan ini terjadi karena kuantisasi, yang umum untuk kedua arsitektur, dan yang digunakan dalam pembelajaran mesin baik sebagai metode untuk mengubah data kontinu menjadi titik data diskrit, dan sebagai teknik optimasi yang dapat secara signifikan mengurangi ukuran file model yang dilatih (penggemar sintesis gambar akan familiar dengan waktu tunggu antara rilis model resmi yang tidak terkompresi, dan versi komunitas yang dikuantisasi yang dapat dijalankan pada perangkat lokal).

Dalam konteks ini, kuantisasi merujuk pada proses mengubah nilai kontinu dalam representasi laten gambar menjadi langkah diskrit yang tetap. JPEG AI menggunakan proses ini untuk mengurangi jumlah data yang dibutuhkan untuk menyimpan atau mengirim gambar dengan menyederhanakan representasi numerik internal.

Meskipun kuantisasi membuat pengkodean lebih efisien, juga memaksakan regularitas struktural yang dapat menyerupai artefak yang ditinggalkan oleh model generatif – halus enough untuk menghindari persepsi, tetapi mengganggu alat forensik.

Sebagai tanggapan, penulis dari karya baru yang berjudul Tiga Petunjuk Forensik untuk Gambar JPEG AI mengusulkan teknik yang dapat diinterpretasikan, non-neural yang mendeteksi kompresi JPEG AI; menentukan apakah gambar telah dikompresi ulang; dan membedakan gambar yang dikompresi dari gambar yang dihasilkan sepenuhnya oleh AI.

Metode

Korelasi Warna

Makalah tersebut mengusulkan tiga ‘petunjuk forensik’ yang disesuaikan untuk gambar JPEG AI: korelasi kanal warna, yang diperkenalkan selama langkah pra-pengolahan JPEG AI; distorsi yang dapat diukur dalam kualitas gambar di seluruh kompresi berulang yang mengungkapkan peristiwa kompresi ulang; dan pola kuantisasi ruang laten yang membantu membedakan antara gambar yang dikompresi oleh JPEG AI dan gambar yang dihasilkan oleh model AI.

Menyangkut pendekatan berbasis korelasi warna, pipeline pra-pengolahan JPEG AI memperkenalkan ketergantungan statistik antara kanal warna gambar, menciptakan tanda tangan yang dapat berfungsi sebagai petunjuk forensik.

JPEG AI mengubah gambar RGB menjadi ruang warna YUV dan melakukan subsampling kroma 4:2:0, yang melibatkan downsampling kanal kroma sebelum kompresi. Proses ini menghasilkan korelasi halus antara residu frekuensi tinggi dari kanal merah, hijau, dan biru – korelasi yang tidak ada dalam gambar yang tidak terkompresi, dan yang berbeda dalam kekuatan dari yang dihasilkan oleh kompresi JPEG tradisional atau generator gambar sintetik.

Perbandingan bagaimana kompresi JPEG AI mengubah korelasi warna dalam gambar..

Di atas kita dapat melihat perbandingan dari makalah yang mengilustrasikan bagaimana kompresi JPEG AI mengubah korelasi warna dalam gambar, menggunakan kanal merah sebagai contoh.

Panel A membandingkan gambar yang tidak terkompresi dengan gambar yang dikompresi JPEG AI, menunjukkan bahwa kompresi secara signifikan meningkatkan korelasi antar kanal; panel B mengisolasi efek dari pra-pengolahan JPEG AI – hanya konversi warna dan subsampling – menunjukkan bahwa bahkan langkah ini saja meningkatkan korelasi secara signifikan; panel C menunjukkan bahwa kompresi JPEG tradisional juga meningkatkan korelasi sedikit, tetapi tidak sebesar itu; dan Panel D memeriksa gambar sintetik, dengan Midjourney-V5 dan Adobe Firefly menampilkan peningkatan korelasi moderat, sementara yang lain tetap dekat dengan tingkat yang tidak terkompresi.

Rate-Distortion

Petunjuk rate-distortion mengidentifikasi kompresi ulang JPEG AI dengan melacak bagaimana kualitas gambar, diukur oleh Peak Signal-to-Noise Ratio (PSNR), menurun dalam pola yang dapat diprediksi di seluruh kompresi berulang.

Penelitian ini berpendapat bahwa mengompresi ulang gambar dengan JPEG AI menghasilkan kerugian kualitas gambar yang progresif, tetapi masih dapat diukur, sebagaimana diukur oleh PSNR, dan bahwa degradasi bertahap ini membentuk dasar petunjuk forensik untuk mendeteksi apakah gambar telah dikompresi ulang.

Tidak seperti JPEG tradisional, di mana metode sebelumnya melacak perubahan dalam blok gambar tertentu, JPEG AI memerlukan pendekatan yang berbeda, karena arsitektur kompresi neural; oleh karena itu, penulis mengusulkan memantau bagaimana bitrate dan PSNR berkembang di seluruh kompresi berulang. Setiap putaran kompresi mengubah gambar kurang dari sebelumnya, dan perubahan yang menurun (ketika diploth melawan bitrate) dapat mengungkapkan apakah gambar telah melalui beberapa tahap kompresi:

Ilustrasi bagaimana kompresi berulang mempengaruhi kualitas gambar di seluruh codec yang berbeda, menampilkan hasil dari JPEG AI dan codec neural yang dikembangkan di https://arxiv.org/pdf/1802.01436; keduanya menampilkan penurunan PSNR yang stabil dengan setiap kompresi tambahan, bahkan pada bitrate yang lebih rendah. Sebaliknya, kompresi JPEG tradisional mempertahankan kualitas yang relatif stabil di seluruh kompresi berulang, kecuali jika bitrate tinggi.

Di gambar di atas, kita dapat melihat kurva rate-distortion untuk JPEG AI; codec AI lain; dan JPEG tradisional, menemukan bahwa JPEG AI dan codec neural menampilkan penurunan PSNR yang konsisten di semua bitrate, sementara kompresi JPEG tradisional hanya menampilkan degradasi yang mencolok pada bitrate yang jauh lebih tinggi. Perilaku ini menyediakan sinyal yang dapat diukur yang dapat digunakan untuk mengidentifikasi gambar JPEG AI yang dikompresi ulang.

Dengan mengekstrak bagaimana bitrate dan kualitas gambar berkembang di seluruh kompresi berulang, penulis juga mengonstruksi tanda tangan yang membantu mengidentifikasi apakah gambar telah dikompresi ulang, menawarkan petunjuk forensik potensial dalam konteks JPEG AI.

Kuantisasi

Seperti yang kita lihat sebelumnya, salah satu masalah forensik yang lebih menantang yang dibangkitkan oleh JPEG AI adalah kesamaan visualnya dengan gambar sintetik yang dihasilkan oleh model difusi. Keduanya menggunakan arsitektur encoder-decoder yang memproses gambar dalam ruang laten yang terkompresi dan sering kali meninggalkan artefak upsampling yang halus.

Ciri-ciri yang sama dapat membingungkan detektor – bahkan mereka yang dilatih ulang pada gambar JPEG AI. Namun, perbedaan struktural kunci tetap ada: JPEG AI menerapkan kuantisasi, langkah yang membulatkan nilai laten ke tingkat diskrit untuk kompresi yang efisien, sementara model generatif biasanya tidak.

Makalah baru menggunakan perbedaan ini untuk merancang petunjuk forensik yang secara tidak langsung menguji kehadiran kuantisasi. Metode menganalisis bagaimana representasi laten dari gambar merespons pembulatan, dengan asumsi bahwa jika gambar telah dikuantisasi sebelumnya, struktur laten akan menampilkan pola yang dapat diukur dari keselarasan dengan nilai yang dibulatkan.

Polanya, meskipun tidak terlihat oleh mata, menghasilkan perbedaan statistik yang dapat membantu memisahkan gambar yang dikompresi dari gambar yang dihasilkan sepenuhnya oleh model AI.

Contoh spektrum Fourier rata-rata menunjukkan bahwa gambar JPEG AI yang dikompresi dan gambar yang dihasilkan oleh model difusi seperti Midjourney-V5 dan Stable Diffusion XL menampilkan pola grid teratur dalam domain frekuensi – artefak yang umumnya terkait dengan upsampling. Sebaliknya, gambar asli tidak menampilkan pola ini. Tumpang tindih struktur spektral ini membantu menjelaskan mengapa alat forensik sering membingungkan gambar yang dikompresi dengan gambar sintetik.

Pentingnya, penulis menunjukkan bahwa petunjuk ini bekerja di seluruh model generatif yang berbeda dan tetap efektif bahkan ketika kompresi cukup kuat untuk menghilangkan seluruh bagian dari ruang laten. Sebaliknya, gambar sintetik menampilkan respons yang jauh lebih lemah terhadap tes pembulatan ini, menawarkan cara praktis untuk membedakan antara keduanya.

Hasilnya dimaksudkan sebagai alat yang ringan dan dapat diinterpretasikan yang menargetkan perbedaan inti antara kompresi dan generasi, bukan bergantung pada artefak permukaan yang rapuh.

Data dan Tes

Kompresi

Untuk mengevaluasi apakah petunjuk korelasi warna dapat mendeteksi kompresi JPEG AI dengan andal (yaitu, lulus pertama dari sumber yang tidak terkompresi), penulis mengujinya pada gambar yang tidak terkompresi dengan kualitas tinggi dari dataset RAISE, mengompresi gambar-gambar tersebut pada berbagai bitrate, menggunakan implementasi referensi JPEG AI.

Mereka melatih hutan acak sederhana pada pola statistik korelasi kanal warna (terutama bagaimana noise residu dalam setiap kanal selaras dengan yang lain) dan membandingkannya dengan ResNet50 yang dilatih langsung pada piksel gambar.

Akurasi deteksi kompresi JPEG AI menggunakan fitur korelasi warna, dibandingkan di seluruh bitrate yang berbeda. Metode ini paling efektif pada bitrate yang lebih rendah, di mana artefak kompresi lebih kuat, dan menunjukkan generalisasi yang lebih baik ke tingkat kompresi yang tidak terlihat daripada model ResNet50 baseline.

Sementara ResNet50 mencapai akurasi yang lebih tinggi ketika data uji sangat mirip dengan kondisi pelatihannya, ia berjuang untuk generalisasi di seluruh tingkat kompresi yang berbeda. Pendekatan berbasis korelasi, meskipun jauh lebih sederhana, terbukti lebih konsisten di seluruh bitrate, terutama pada tingkat kompresi yang lebih rendah di mana pra-pengolahan JPEG AI memiliki efek yang lebih kuat.

Hasil ini menunjukkan bahwa bahkan tanpa pembelajaran dalam, możli untuk mendeteksi kompresi JPEG AI menggunakan petunjuk statistik yang tetap dapat diinterpretasikan dan tahan lama.

Kompresi Ulang

Untuk mengevaluasi apakah kompresi ulang JPEG AI dapat dideteksi dengan andal, peneliti menguji petunjuk rate-distortion pada himpunan gambar yang dikompresi pada bitrate yang berbeda – beberapa hanya sekali dan lainnya dua kali menggunakan JPEG AI.

Metode ini melibatkan mengekstrak vektor fitur 17-dimensi untuk melacak bagaimana bitrate dan PSNR gambar berkembang di seluruh tiga kompresi. Set fitur ini menangkap seberapa banyak kualitas yang hilang pada setiap langkah, dan bagaimana laju laten dan hiperprior berperilaku—metrik yang metode berbasis piksel tradisional tidak dapat diakses dengan mudah.

Peneliti melatih hutan acak pada fitur-fitur ini dan membandingkannya dengan ResNet50 yang dilatih pada patch gambar:

Hasil akurasi klasifikasi dari hutan acak yang dilatih pada fitur rate-distortion untuk mendeteksi apakah gambar JPEG AI telah dikompresi ulang. Metode ini berfungsi paling baik ketika kompresi awal kuat (yaitu, pada bitrate yang lebih rendah), dan kemudian secara konsisten mengungguli ResNet50 – terutama dalam kasus di mana kompresi kedua lebih lembut daripada yang pertama.

Hutan acak terbukti sangat efektif ketika kompresi awal kuat (yaitu, pada bitrate yang lebih rendah), mengungkapkan perbedaan yang jelas antara gambar yang dikompresi sekali dan dua kali. Seperti pada petunjuk sebelumnya, iterasi ResNet50 berjuang untuk generalisasi, terutama ketika diuji pada tingkat kompresi yang tidak terlihat selama pelatihan.

Fitur rate-distortion, di sisi lain, tetap stabil di seluruh skenario yang berbeda. Yang patut dicatat, petunjuk ini bekerja bahkan ketika diterapkan pada codec AI lain, menunjukkan bahwa pendekatan ini generalisasi di luar JPEG AI.

JPEG AI dan Gambar Sintetik

Untuk putaran pengujian terakhir, penulis menguji apakah fitur kuantisasi dapat membedakan antara gambar yang dikompresi JPEG AI dan gambar sintetik yang dihasilkan oleh model seperti Midjourney, Stable Diffusion, DALL-E 2, Glide, dan Adobe Firefly.

Untuk ini, peneliti menggunakan subset dari dataset Synthbuster, mencampurkan foto asli dari database RAISE dengan gambar yang dihasilkan oleh berbagai model difusi dan GAN.

Contoh gambar sintetik dalam Synthbuster, dihasilkan menggunakan prompt teks yang terinspirasi oleh foto alami dari dataset RAISE-1k. Gambar-gambar ini dibuat dengan berbagai model difusi, dengan prompt yang dirancang untuk menghasilkan konten yang realistis dan tekstur daripada render yang stilis atau artistik. Sumber: https://ieeexplore.ieee.org/document/10334046

Gambar asli dikompresi menggunakan JPEG AI pada beberapa tingkat bitrate, dan klasifikasi diposisikan sebagai tugas dua arah: baik JPEG AI versus generator tertentu, atau bitrate tertentu versus Stable Diffusion XL.

Fitur kuantisasi (korelasi yang diekstrak dari representasi laten) dihitung dari wilayah tetap 256×256 dan diberikan kepada klasifikasi hutan acak. Sebagai baseline, ResNet50 dilatih pada patch piksel dari data yang sama.

Akurasi klasifikasi dari hutan acak yang menggunakan fitur kuantisasi untuk memisahkan gambar yang dikompresi JPEG AI dari gambar sintetik.

Di sebagian besar kondisi, pendekatan berbasis kuantisasi mengungguli baseline ResNet50, terutama pada bitrate yang lebih rendah di mana artefak kompresi lebih kuat.

Penulis menyatakan:

‘Baseline ResNet50 berfungsi paling baik untuk gambar Glide dengan akurasi 66,1%, tetapi secara umum generalisasi lebih buruk daripada fitur kuantisasi. Fitur kuantisasi menunjukkan generalisasi yang baik di seluruh kekuatan kompresi dan jenis generator.

‘Pentingnya koefisien yang dikuantisasi menjadi nol ditunjukkan dalam kinerja yang sangat baik dari fitur yang dipotong, yang dalam banyak kasus berfungsi setara dengan klasifikasi ResNet50.

‘Namun, fitur kuantisasi yang menggunakan vektor integer penuh tidak terkompresi masih berfungsi secara signifikan lebih baik. Hasil ini mengonfirmasi bahwa jumlah nol setelah kuantisasi adalah petunjuk penting untuk membedakan antara gambar yang dikompresi AI dan gambar yang dihasilkan AI.

‘Namun, ini juga menunjukkan bahwa faktor lain juga berkontribusi. Akurasi vektor penuh untuk mendeteksi JPEG AI adalah lebih dari 91,0% untuk semua bitrate, dan kompresi yang lebih kuat menghasilkan akurasi yang lebih tinggi.’

Proyeksi ruang fitur menggunakan UMAP menunjukkan pemisahan yang jelas antara gambar JPEG AI dan gambar sintetik, dengan bitrate yang lebih rendah meningkatkan jarak antara kelas. Satu outlier konsisten adalah Glide, yang gambar-gambarnya berkelompok berbeda dan memiliki akurasi deteksi terendah dari semua generator yang diuji.

Visualisasi UMAP dua dimensi dari gambar yang dikompresi JPEG AI dan gambar sintetik, berdasarkan fitur kuantisasi. Plot kiri menunjukkan bahwa bitrate JPEG AI yang lebih rendah menciptakan pemisahan yang lebih besar dari gambar sintetik; plot kanan, bagaimana gambar dari generator yang berbeda berkelompok secara berbeda dalam ruang fitur.

Akhirnya, penulis mengevaluasi seberapa baik fitur-fitur ini bertahan di bawah pengolahan pasca yang biasa, seperti kompresi JPEG ulang atau downsampling. Meskipun kinerja menurun dengan pengolahan yang lebih berat, penurunan tersebut bertahap, menunjukkan bahwa pendekatan ini mempertahankan beberapa ketahanan bahkan dalam kondisi yang merugikan.

Evaluasi ketahanan fitur kuantisasi di bawah pengolahan pasca, termasuk kompresi JPEG ulang (JPG) dan pengubahan ukuran gambar (RS).

Kesimpulan

Tidak ada jaminan bahwa JPEG AI akan diadopsi secara luas. Salah satu hal yang ada adalah infrastruktur yang sudah ada yang dapat memperlambatkan adopsi codec baru; dan bahkan codec ‘konvensional’ dengan reputasi baik dan konsensus luas tentang nilainya, seperti AV1, memiliki waktu yang sulit menggantikan metode yang sudah mapan.

Menyangkut potensi konflik dengan generator AI, ciri-ciri kuantisasi yang khas yang membantu detektor gambar AI saat ini mungkin berkurang atau digantikan oleh jejak yang berbeda dalam sistem yang lebih baru (dengan asumsi bahwa generator AI selalu meninggalkan residu forensik, yang tidak pasti).

Ini berarti bahwa ciri-ciri kuantisasi JPEG AI sendiri, mungkin bersama dengan petunjuk lain yang diidentifikasi oleh makalah baru, mungkin tidak bertabrakan dengan jejak forensik dari sistem generatif AI yang paling efektif.

Jika, bagaimanapun, JPEG AI terus beroperasi sebagai de facto ‘pencuci AI’, secara signifikan memburamkan perbedaan antara gambar asli dan gambar yang dihasilkan, akan sulit untuk membuat kasus yang meyakinkan untuk adopsinya.

Dipublikasikan pertama kali pada hari Selasa, 8 April 2025