JPEG AI Làm Mờ Ranh Giới Giữa Hình Ảnh Thật Và Tổng Hợp

Vào tháng 2 năm nay, tiêu chuẩn quốc tế JPEG AI đã được công bố, sau nhiều năm nghiên cứu nhằm sử dụng các kỹ thuật học máy để sản xuất một codec hình ảnh nhỏ hơn và dễ truyền tải và lưu trữ hơn, mà không mất chất lượng nhận thức.

Từ luồng công bố chính thức của JPEG AI, một so sánh giữa Tỷ Lệ Tín Hiệu Tối Đa (PSNR) và cách tiếp cận tăng cường bằng học máy của JPEG AI. Nguồn: https://jpeg.org/jpegai/documentation.html

Một lý do tại sao sự kiện này không thu hút nhiều tiêu đề là các tệp PDF cốt lõi cho thông báo này không có sẵn thông qua các cổng truy cập miễn phí như Arxiv. Tuy nhiên, Arxiv đã đưa ra một số nghiên cứu về tầm quan trọng của JPEG AI trên nhiều khía cạnh, bao gồm cả các tác phẩm nén không phổ biến và tầm quan trọng đối với pháp y.

Một nghiên cứu so sánh các tác phẩm nén, bao gồm cả một bản thảo sớm của JPEG AI, cho thấy phương pháp mới có xu hướng làm mờ văn bản – không phải là một vấn đề nhỏ trong các trường hợp mà codec có thể đóng góp vào chuỗi bằng chứng. Nguồn: https://arxiv.org/pdf/2411.06810

Bởi vì JPEG AI thay đổi hình ảnh theo cách bắt chước các tác phẩm của các máy tổng hợp hình ảnh tổng hợp, các công cụ pháp y hiện có có khó khăn trong việc phân biệt hình ảnh thực và giả mạo:

Sau khi nén JPEG AI, các thuật toán tiên tiến không thể phân biệt đáng tin cậy giữa nội dung thực và các vùng được thao túng trong các bản đồ định vị, theo một bài báo gần đây (tháng 3 năm 2025). Các ví dụ nguồn ở bên trái là hình ảnh giả mạo, trong đó các vùng bị thao túng được xác định rõ ràng dưới các kỹ thuật pháp y tiêu chuẩn (hình ảnh ở giữa). Tuy nhiên, nén JPEG AI mang lại cho hình ảnh giả mạo một lớp tin cậy (hình ảnh bên phải). Nguồn: https://arxiv.org/pdf/2412.03261

Một lý do là JPEG AI được đào tạo bằng một kiến trúc mô hình tương tự như những mô hình được sử dụng bởi các hệ thống sinh tổng hợp mà các công cụ pháp y nhằm phát hiện:

Bài báo mới minh họa sự tương đồng giữa các phương pháp của nén hình ảnh được thúc đẩy bởi AI và hình ảnh thực sự được tạo ra bởi AI. Nguồn: https://arxiv.org/pdf/2504.03191

Do đó, cả hai mô hình có thể tạo ra một số đặc điểm hình ảnh cơ bản tương tự từ góc độ pháp y.

Quantization

Sự chồng chéo này xảy ra do quantization, chung cho cả hai kiến trúc, và được sử dụng trong học máy cả như một phương pháp chuyển đổi dữ liệu liên tục thành các điểm dữ liệu rời rạc, và như một kỹ thuật tối ưu hóa có thể giảm đáng kể kích thước tệp của một mô hình đã được đào tạo (những người đam mê tổng hợp hình ảnh sẽ quen thuộc với thời gian chờ giữa một phiên bản mô hình chính thức cồng kềnh và một phiên bản được quantized bởi cộng đồng có thể chạy trên phần cứng địa phương).

Trong bối cảnh này, quantization đề cập đến quá trình chuyển đổi các giá trị liên tục trong đại diện tiềm ẩn của hình ảnh thành các bước rời rạc cố định. JPEG AI sử dụng quá trình này để giảm lượng dữ liệu cần thiết để lưu trữ hoặc truyền hình ảnh bằng cách đơn giản hóa đại diện số nội bộ.

Mặc dù quantization làm cho mã hóa hiệu quả hơn, nhưng nó cũng áp đặt các quy tắc cấu trúc có thể giống với các tác phẩm mà các mô hình sinh tổng hợp để lại – tinh vi đến mức tránh được nhận thức, nhưng gây rối loạn cho các công cụ pháp y.

Để đáp lại, các tác giả của một bài báo mới có tiêu đề Three Forensic Cues for JPEG AI Images đề xuất các kỹ thuật có thể giải thích, không phải là các phương pháp thần kinh, để phát hiện nén JPEG AI; xác định xem một hình ảnh đã được nén lại; và phân biệt giữa hình ảnh thực được nén và những hình ảnh được tạo hoàn toàn bởi AI.

Phương Pháp

Correlations Màu

Bài báo đề xuất ba ‘dấu hiệu pháp y’ dành riêng cho hình ảnh JPEG AI: correlations màu kênh, được giới thiệu trong các bước tiền xử lý của JPEG AI; distortion đo lường trong chất lượng hình ảnh trên các nén lặp đi lặp lại, tiết lộ các sự kiện nén lại; và muster quantization trong không gian tiềm ẩn giúp phân biệt giữa hình ảnh được nén bởi JPEG AI và những hình ảnh được tạo bởi các mô hình AI.

Về cách tiếp cận dựa trên mối tương quan màu, pipeline tiền xử lý của JPEG AI giới thiệu các phụ thuộc thống kê giữa các kênh màu của hình ảnh, tạo ra một chữ ký có thể phục vụ như một dấu hiệu pháp y.

JPEG AI chuyển đổi hình ảnh RGB sang không gian màu YUV và thực hiện chroma subsampling 4:2:0, bao gồm việc giảm mẫu các kênh chrominance trước khi nén. Quá trình này dẫn đến các mối tương quan tinh vi giữa các phần dư tần số cao của các kênh đỏ, xanh lá cây và xanh da trời – mối tương quan không có trong hình ảnh không nén, và khác biệt về cường độ so với những gì được tạo ra bởi nén JPEG truyền thống hoặc các máy tổng hợp hình ảnh.

Một so sánh về cách nén JPEG AI thay đổi mối tương quan màu trong hình ảnh..

Ở trên, chúng ta có thể thấy một so sánh từ bài báo minh họa cách nén JPEG AI thay đổi mối tương quan màu trong hình ảnh, sử dụng kênh đỏ làm ví dụ.

Panel A so sánh hình ảnh không nén với hình ảnh nén JPEG AI, cho thấy rằng nén làm tăng đáng kể mối tương quan giữa kênh; panel B cô lập hiệu ứng của tiền xử lý JPEG AI – chỉ chuyển đổi màu và subsampling – cho thấy rằng ngay cả bước này cũng làm tăng mối tương quan một cách đáng chú ý; panel C cho thấy nén JPEG truyền thống cũng làm tăng mối tương quan một chút, nhưng không đến mức độ tương tự; và Panel D kiểm tra hình ảnh tổng hợp, với Midjourney-V5 và Adobe Firefly hiển thị mức tăng mối tương quan vừa phải, trong khi những hình ảnh khác vẫn gần với mức không nén.

Tỷ Lệ Tín Hiệu – Distortion

Dấu hiệu tỷ lệ tín hiệu – distortion xác định nén JPEG AI bằng cách theo dõi cách chất lượng hình ảnh, đo bằng Tỷ Lệ Tín Hiệu Tối Đa (PSNR), giảm theo một mẫu có thể dự đoán được trên nhiều lần nén.

Nghiên cứu cho rằng việc nén lại một hình ảnh bằng JPEG AI dẫn đến sự suy giảm dần dần nhưng vẫn đo lường được về chất lượng hình ảnh, như được lượng hóa bởi PSNR, và rằng sự suy giảm dần dần này tạo thành cơ sở cho một dấu hiệu pháp y để phát hiện xem một hình ảnh đã được nén lại hay chưa.

Không giống như JPEG truyền thống, nơi các phương pháp trước đây theo dõi các thay đổi trong các khối hình ảnh cụ thể, JPEG AI yêu cầu một cách tiếp cận khác do kiến trúc nén thần kinh của nó; do đó, các tác giả đề xuất theo dõi cách bitrate và PSNR tiến化 trên các nén lặp đi lặp lại. Mỗi vòng nén thay đổi hình ảnh ít hơn so với vòng trước, và sự thay đổi giảm dần này (khi được vẽ trên bitrate) có thể tiết lộ xem một hình ảnh đã trải qua nhiều giai đoạn nén:

Một minh họa về cách nén lặp lại ảnh hưởng đến chất lượng hình ảnh trên các codec khác nhau, với kết quả từ JPEG AI và một codec thần kinh được phát triển tại https://arxiv.org/pdf/1802.01436; cả hai đều thể hiện sự suy giảm ổn định của PSNR với mỗi nén thêm, ngay cả ở bitrate thấp. Ngược lại, nén JPEG truyền thống duy trì chất lượng tương đối ổn định trên nhiều nén, trừ khi bitrate cao.

Trong hình ảnh trên, chúng ta thấy các đường cong tỷ lệ tín hiệu – distortion cho JPEG AI; một codec thần kinh khác; và JPEG truyền thống, tìm thấy rằng JPEG AI và codec thần kinh đều thể hiện sự suy giảm PSNR ổn định trên tất cả bitrate, trong khi nén JPEG truyền thống chỉ thể hiện sự suy giảm đáng kể ở bitrate cao. Hành vi này cung cấp một tín hiệu có thể đo lường được để đánh dấu hình ảnh JPEG AI đã được nén lại.

Bằng cách trích xuất cách bitrate và chất lượng hình ảnh tiến hóa trên nhiều vòng nén, các tác giả xây dựng một chữ ký giúp xác định xem một hình ảnh đã được nén lại, cung cấp một dấu hiệu pháp y tiềm năng trong bối cảnh JPEG AI.

Quantization

Như chúng ta đã thấy trước đó, một trong những vấn đề pháp y khó khăn nhất được đặt ra bởi JPEG AI là sự tương đồng về mặt hình ảnh với hình ảnh tổng hợp được tạo bởi các mô hình khuếch tán. Cả hai hệ thống đều sử dụng kiến trúc mã hóa – giải mã xử lý hình ảnh trong không gian tiềm ẩn nén và thường để lại các tác phẩm upsampling tinh vi.

Các đặc điểm chung này có thể làm混 lẫn các bộ phát hiện – ngay cả những bộ được đào tạo lại trên hình ảnh JPEG AI. Tuy nhiên, một sự khác biệt cấu trúc chính vẫn còn:

JPEG AI áp dụng quantization, một bước làm tròn các giá trị tiềm ẩn đến các mức rời rạc cho nén hiệu quả, trong khi các mô hình sinh tổng hợp thường không làm như vậy.

Bài báo mới sử dụng sự khác biệt này để thiết kế một dấu hiệu pháp y gián tiếp kiểm tra sự hiện diện của quantization. Phương pháp phân tích cách đại diện tiềm ẩn của một hình ảnh phản ứng với việc làm tròn, với giả định rằng nếu một hình ảnh đã được quantized, cấu trúc tiềm ẩn của nó sẽ thể hiện một mẫu có thể đo lường được của sự liên kết với các giá trị làm tròn.

Các mẫu này, mặc dù vô hình với mắt, tạo ra các sự khác biệt thống kê có thể giúp phân biệt giữa hình ảnh thực được nén và hình ảnh tổng hợp:

Một ví dụ về phổ Fourier trung bình cho thấy cả hình ảnh JPEG AI và hình ảnh được tạo bởi các mô hình khuếch tán như Midjourney-V5 và Stable Diffusion XL đều thể hiện các mẫu lưới thường xuyên trong miền tần số – các tác phẩm thường liên quan đến upsampling. Ngược lại, hình ảnh thực không có các mẫu này. Sự chồng chéo này trong cấu trúc phổ giúp giải thích tại sao các công cụ pháp y thường nhầm lẫn hình ảnh thực được nén với hình ảnh tổng hợp.

Điều quan trọng là các tác giả chỉ ra rằng dấu hiệu này hoạt động trên nhiều mô hình sinh tổng hợp khác nhau và vẫn hiệu quả ngay cả khi nén đủ mạnh để xóa bỏ toàn bộ các phần của không gian tiềm ẩn. Ngược lại, hình ảnh tổng hợp cho thấy phản ứng yếu hơn với thử nghiệm làm tròn này, cung cấp một cách thực tế để phân biệt giữa hai loại.

Kết quả này được thiết kế như một công cụ nhẹ và có thể giải thích, nhắm vào sự khác biệt cốt lõi giữa nén và sinh tổng hợp, thay vì dựa vào các tác phẩm bề mặt mong manh.

Dữ Liệu và Kiểm Tra

Nén

Để đánh giá liệu dấu hiệu tương quan màu của họ có thể phát hiện đáng tin cậy nén JPEG AI (tức là một lần nén từ nguồn không nén), các tác giả đã kiểm tra nó trên hình ảnh không nén chất lượng cao từ tập dữ liệu RAISE, nén chúng ở nhiều bitrate khác nhau, sử dụng triển khai tham chiếu JPEG AI.

Họ đã đào tạo một rừng ngẫu nhiên trên các mẫu thống kê của mối tương quan màu kênh (đặc biệt là cách nhiễu dư trong mỗi kênh liên kết với các kênh khác) và so sánh nó với một mạng nơ-ron ResNet50 được đào tạo trực tiếp trên các pixel hình ảnh.

Độ chính xác phát hiện nén JPEG AI sử dụng các tính năng tương quan màu, so sánh trên nhiều bitrate. Phương pháp này hiệu quả nhất ở bitrate thấp, nơi các tác phẩm nén mạnh hơn, và cho thấy sự khái quát hóa tốt hơn đến các mức nén không nhìn thấy so với mô hình ResNet50 cơ bản.

Khi ResNet50 đạt được độ chính xác cao hơn khi dữ liệu kiểm tra gần với điều kiện đào tạo của nó, nó gặp khó khăn trong việc khái quát hóa trên các mức nén khác nhau. Phương pháp dựa trên tương quan, mặc dù đơn giản hơn, đã chứng minh sự nhất quán trên nhiều bitrate, đặc biệt là ở bitrate thấp, nơi tiền xử lý của JPEG AI có tác động mạnh hơn.

Những kết quả này cho thấy rằng ngay cả không cần học sâu, cũng có thể phát hiện nén JPEG AI bằng cách sử dụng các dấu hiệu thống kê vẫn có thể giải thích và chống chịu được.

Nén Lại

Để đánh giá liệu nén lại JPEG AI có thể được phát hiện một cách đáng tin cậy, các nhà nghiên cứu đã kiểm tra dấu hiệu tỷ lệ tín hiệu – distortion trên một tập hợp hình ảnh được nén ở nhiều bitrate khác nhau – một số chỉ được nén một lần và những hình ảnh khác được nén lại bằng JPEG AI.

Phương pháp này liên quan đến việc trích xuất một vector tính năng 17 chiều để theo dõi cách bitrate và PSNR của hình ảnh tiến hóa trên ba lần nén. Tập tính năng này nắm bắt được bao nhiêu chất lượng bị mất ở mỗi bước và cách tốc độ tiềm ẩn và hyperprior hành xử – các chỉ số mà các phương pháp dựa trên pixel truyền thống không thể dễ dàng tiếp cận.

Các nhà nghiên cứu đã đào tạo một rừng ngẫu nhiên trên các tính năng này và so sánh hiệu suất của nó với một ResNet50 được đào tạo trên các mảnh hình ảnh:

Kết quả cho độ chính xác phân loại của một rừng ngẫu nhiên được đào tạo trên các tính năng tỷ lệ tín hiệu – distortion để phát hiện xem một hình ảnh JPEG AI đã được nén lại. Phương pháp này hoạt động tốt nhất khi nén ban đầu mạnh (tức là ở bitrate thấp), và sau đó vượt trội so với ResNet50 dựa trên pixel – đặc biệt là trong các trường hợp mà nén thứ hai nhẹ hơn nén đầu tiên.

Rừng ngẫu nhiên đã chứng minh hiệu quả đáng chú ý khi nén ban đầu mạnh (tức là ở bitrate thấp), tiết lộ sự khác biệt rõ ràng giữa hình ảnh được nén một lần và hình ảnh được nén lại. Giống như dấu hiệu trước, ResNet50 gặp khó khăn trong việc khái quát hóa, đặc biệt là khi được kiểm tra trên các mức nén mà nó không nhìn thấy trong quá trình đào tạo.

Tính năng tỷ lệ tín hiệu – distortion, ngược lại, vẫn ổn định trên nhiều kịch bản. Đáng chú ý, dấu hiệu này hoạt động ngay cả khi được áp dụng cho một codec AI dựa trên khác, cho thấy rằng cách tiếp cận này khái quát hóa vượt ra ngoài JPEG AI.

JPEG AI và Hình Ảnh Tổng Hợp

Để kiểm tra cuối cùng, các tác giả đã kiểm tra xem liệu các tính năng quantization của họ có thể phân biệt giữa hình ảnh JPEG AI và hình ảnh tổng hợp được tạo bởi các mô hình như Midjourney, Stable Diffusion, DALL-E 2, Glide, và Adobe Firefly.

Để làm điều này, các nhà nghiên cứu đã sử dụng một tập con của tập dữ liệu Synthbuster, kết hợp hình ảnh thực từ cơ sở dữ liệu RAISE với hình ảnh được tạo bởi các mô hình khuếch tán và GAN.

Ví dụ về hình ảnh tổng hợp trong Synthbuster, được tạo bằng cách sử dụng các lời nhắc văn bản lấy cảm hứng từ các bức ảnh tự nhiên từ tập dữ liệu RAISE-1k. Các hình ảnh được tạo bằng các mô hình khuếch tán khác nhau, với các lời nhắc được thiết kế để tạo ra nội dung và kết cấu photorealistic thay vì các bản trình diễn nghệ thuật hoặc phong cách hóa. Nguồn: https://ieeexplore.ieee.org/document/10334046

Các hình ảnh thực được nén bằng JPEG AI ở nhiều mức bitrate, và phân loại được đặt ra như một nhiệm vụ hai chiều: hoặc JPEG AI so với một máy tổng hợp cụ thể, hoặc một bitrate cụ thể so với Stable Diffusion XL.

Các tính năng quantization (mối tương quan được trích xuất từ các đại diện tiềm ẩn) được tính toán từ một vùng cố định 256×256 và cung cấp cho một phân loại rừng ngẫu nhiên. Như một baseline, một ResNet50 được đào tạo trên các mảnh pixel từ cùng một dữ liệu.

Độ chính xác phân loại của một rừng ngẫu nhiên sử dụng các tính năng quantization để phân biệt giữa hình ảnh JPEG AI và hình ảnh tổng hợp.

Trên hầu hết các điều kiện, cách tiếp cận dựa trên quantization vượt trội so với baseline ResNet50, đặc biệt là ở bitrate thấp, nơi các tác phẩm nén mạnh hơn.

Các tác giả tuyên bố:

‘Baseline ResNet50 hoạt động tốt nhất cho hình ảnh Glide với độ chính xác 66,1%, nhưng nói chung nó khái quát hóa kém hơn so với các tính năng quantization. Các tính năng quantization thể hiện sự khái quát hóa tốt trên nhiều mức nén và loại máy tổng hợp.

‘Tính quan trọng của các hệ số được quantized thành zero được thể hiện trong hiệu suất rất đáng kính của các tính năng bị cắt bớt, những tính năng này trong nhiều trường hợp hoạt động tương đương với phân loại ResNet50.

‘Tuy nhiên, các tính năng quantization sử dụng vector nguyên không bị cắt bớt vẫn hoạt động đáng kể tốt hơn. Những kết quả này xác nhận rằng số lượng zero sau khi quantization là một dấu hiệu quan trọng để phân biệt giữa hình ảnh nén AI và hình ảnh được tạo bởi AI.

‘Tuy nhiên, nó cũng cho thấy rằng các yếu tố khác cũng đóng góp. Độ chính xác của vector đầy đủ cho việc phát hiện JPEG AI là trên 91,0% cho tất cả các bitrate, và nén mạnh hơn dẫn đến độ chính xác cao hơn.’

Một hình chiếu của không gian tính năng sử dụng UMAP cho thấy sự tách biệt rõ ràng giữa hình ảnh JPEG AI và hình ảnh tổng hợp, với bitrate thấp hơn làm tăng khoảng cách giữa các lớp. Một ngoại lệ nhất quán là Glide, hình ảnh của nó tụ tập khác biệt và có độ chính xác phát hiện thấp nhất trong số tất cả các máy tổng hợp được kiểm tra.

Hình ảnh hai chiều UMAP của hình ảnh JPEG AI và hình ảnh tổng hợp, dựa trên các tính năng quantization. Biểu đồ bên trái cho thấy bitrate JPEG AI thấp hơn tạo ra sự tách biệt lớn hơn với hình ảnh tổng hợp; biểu đồ bên phải cho thấy hình ảnh từ các máy tổng hợp khác nhau tụ tập khác nhau trong không gian tính năng.

Cuối cùng, các tác giả đã đánh giá cách các tính năng này giữ vững dưới các xử lý hậu kỳ thông thường, chẳng hạn như nén JPEG lại hoặc thay đổi kích thước. Mặc dù hiệu suất giảm khi xử lý nặng hơn, sự sụt giảm này là dần dần, cho thấy rằng cách tiếp cận này vẫn giữ được một số độ bền ngay cả trong điều kiện suy giảm.

Đánh giá độ bền của các tính năng quantization dưới các xử lý hậu kỳ, bao gồm nén JPEG lại (JPG) và thay đổi kích thước hình ảnh (RS).

Kết Luận

Không có gì đảm bảo rằng JPEG AI sẽ được áp dụng rộng rãi. Một mặt, có đủ nợ nần cơ sở hạ tầng để gây ra ma sát đối với bất kỳ codec mới; và ngay cả một codec ‘truyền thống’ với một di sản tốt và sự đồng thuận rộng rãi về giá trị của nó, như AV1, có một thời gian khó khăn để thay thế các phương pháp đã được thiết lập từ lâu.

Về tiềm năng va chạm của hệ thống này với các máy tổng hợp AI, các tác phẩm quantization đặc trưng giúp các bộ phát hiện AI hiện tại có thể bị giảm hoặc thay thế bằng các dấu vết của một loại khác, trong các hệ thống sau này (giả sử rằng các máy tổng hợp AI sẽ luôn để lại dấu vết pháp y, điều này không chắc chắn).

Điều này có nghĩa là các đặc điểm quantization của JPEG AI, có thể cùng với các dấu hiệu khác được xác định bởi bài báo mới, có thể không va chạm với dấu vết pháp y của các hệ thống AI tổng hợp mới hiệu quả nhất.

Nếu, tuy nhiên, JPEG AI tiếp tục hoạt động như một ‘rửa AI’ de facto, làm mờ đáng kể ranh giới giữa hình ảnh thực và hình ảnh tổng hợp, thì sẽ khó đưa ra một trường hợp thuyết phục cho việc áp dụng nó.

Được xuất bản lần đầu vào thứ ba, ngày 8 tháng 4 năm 2025