Phục hồi những gì máy ảnh của bạn đã chụp trước khi AI thay đổi nó

Làm thế nào bạn có thể bảo vệ sự thuần khiết của một bức ảnh thô khỏi sự can thiệp của AI khi nó đã được tự động chạy qua AI bên trong máy ảnh? Nghiên cứu mới tìm cách phục hồi ‘dữ liệu cảm biến thật’ – cũng với AI!

Sự gia tăng về tính xác thực của hình ảnh AI trong khoảng một năm qua đã khiến nhiều nhóm và cá nhân tuyên truyền chống lại sự xói mòn niềm tin trong nhiếp ảnh.

Trong cùng thời gian, Liên minh về Nguồn gốc và Tính xác thực của Nội dung (C2PA) đã cố gắng phổ biến một tiêu chuẩn bán mã hóa gắn thông tin nguồn gốc dựa trên siêu dữ liệu vào một hình ảnh, từ chính thời điểm nó được chụp bởi một máy ảnh hoặc thiết bị được hỗ trợ, hy vọng sẽ vạch trần bất kỳ sử dụng AI tạo sinh nào sau này trên những ‘hình ảnh gốc’ này:

Sơ đồ nguồn gốc trong hệ thống C2PA, nơi siêu dữ liệu được viết tại thời điểm chụp có thể được thêm vào như một nhật ký, cho phép điều chỉnh thông thường như độ sáng và tương phản, nhưng ghi lại các điều chỉnh lớn, để một hình ảnh bị thay đổi nặng bởi AI sẽ hiển thị như vậy trong các phương tiện truyền thông hỗ trợ hệ thống này. Nguồn

Sự áp dụng tiêu chuẩn này chưa được rộng rãi như liên minh đã hy vọng, và hiện tại chỉ có 14 máy ảnh hỗ trợ việc đóng dấu thông tin xác thực bên trong máy ảnh.

Điều thú vị về ý tưởng của C2PA về việc cấp cho một bức ảnh một ‘hộ chiếu’ ngay khi nó được tạo ra, là rằng vào thời điểm đó đó có thể đã quá muộn – vì các nhà sản xuất máy ảnh hiện nay thường tích hợp xử lý AI vào chính quá trình tạo ra hình ảnh:

Từ bài viết năm 2024 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: một hình minh họa về cách các đường ống máy ảnh hiện đại giới thiệu nội dung bị ảo hóa tại thời điểm chụp và cách xác thực pixel cấp độ xác thực siêu dữ liệu vạch trần nó. Trong (A), một hình ảnh cảm biến điện thoại thông minh được xử lý bởi ISP, nơi các mô-đun AI có thể tạo ra chi tiết trong quá trình thu phóng kỹ thuật số hoặc hiệu chỉnh phơi sáng, tạo ra hình ảnh thực tế với lỗi như chữ số trên biển số xe bị đọc sai. Trong (B), một mặt nạ xác thực được nhúng vào siêu dữ liệu và sau đó được phủ lên để tiết lộ các khu vực không xác thực, cho phép người dùng phân biệt dữ liệu gốc với pixel bị thay đổi bởi AI. Nguồn

Trên thực tế, sự can thiệp của AI này trong việc chụp dữ liệu thô từ cảm biến máy ảnh có thể cuối cùng trở thành quá trình thống trị.

Loại hậu xử lý này không giống như xu hướng hiện tại để thay đổi ảnh trong máy ảnh, trong đó một ứng dụng điện thoại hoặc ứng dụng máy ảnh cho phép người dùng suy nghĩ lại một bức ảnh trong sự thoải mái trước khi nó thậm chí được tải xuống từ thiết bị.

Thay vào đó, quá trình xử lý diễn ra trong một ‘hộp đen’ trong Bộ xử lý tín hiệu hình ảnh (ISP) của máy ảnh, thường trong một thời gian chạy độc quyền không暴 lộ hoặc cung cấp dữ liệu cảm biến thô (và xem xét rằng định dạng ‘thô’ thực sự không phải là ‘thô’).

Vì vậy, vào thời điểm bạn có thể xem bức ảnh, nó có thể đã bị ảnh hưởng bởi các cải tiến AI như cải thiện ánh sáng yếu, nâng cao độ phân giải hoặc thậm chí thay thế mặt trăng.

Trong nhiều trường hợp, điều này có thể dẫn đến việc tái tạo không chính xác, chẳng hạn như văn bản, có thể làm cho việc sử dụng hình ảnh đó để làm bằng chứng không hợp lệ, vì một hình ảnh ‘thô’ thực sự sẽ không có sẵn:

Từ bài viết mới – một hình ảnh cảm biến thô được xử lý bởi một ISP được kích hoạt bởi GenAI để tạo ra một đầu ra sRGB cuối cùng trông rõ ràng hơn nhưng có thể chứa các chi tiết bị ảo hóa, như thể hiện trong ví dụ về biển số xe, nơi các ký tự bị suy luận không chính xác trong quá trình thu phóng kỹ thuật số. Cảnh thực tế, không thể tiếp cận trong thực tế, khác với cả đầu ra được cải tiến bởi AI và hình ảnh xác thực trung gian trước khi bị ảo hóa. Phương pháp đề xuất cho phép phục hồi hình ảnh này trước khi bị ảo hóa, phục hồi những gì máy ảnh quang học ban đầu chụp trước khi các cải tiến dựa trên AI thay đổi nội dung. Nguồn

Các ví dụ trên đến từ một bài viết nghiên cứu mới cung cấp một giải pháp cho ‘hình ảnh AI bản địa’, sử dụng các quá trình AI thay thế để tái tạo hình ảnh thô và không bị thay đổi từ hình ảnh đã xử lý.

Các tác giả tuyên bố:

‘Khi các mô hình AI được đào tạo với tổn thất tạo sinh hoặc nhận thức được sử dụng trong ISP, chúng có xu hướng tạo ra nội dung ảo, có khả năng thay đổi ý nghĩa của hình ảnh. Điều này ngụ ý rằng hình ảnh trực tiếp đầu ra từ máy ảnh có thể chứa nội dung ‘giả’ đặc biệt là trong máy ảnh điện thoại thông minh, nơi các mô-đun AI-ISP đang được áp dụng ngày càng nhiều.

‘Sử dụng GenAI trong phần cứng máy ảnh đánh dấu một sự thay đổi范式 trong cách chúng ta xem hình ảnh máy ảnh và thách thức quan điểm truyền thống về hình ảnh được chụp bởi máy ảnh vốn được coi là đáng tin cậy.’

Bài viết mới này sử dụng một bộ mã hóa rất nhẹ và MLP giải mã, có thể được bao gồm trong hình ảnh với một khoản phạt trọng lượng chỉ 180kb. Mục tiêu là phát triển các hệ thống mã hóa đủ nhanh để trích xuất lại hình ảnh gốc trong thời gian thực.

Từ bài viết mới: siêu phân giải dựa trên GenAI trong ISP máy ảnh có thể thay đổi tinh tế các đặc điểm khuôn mặt, thay đổi ngoại hình hoặc nhận dạng được nhận thức thông qua các thay đổi trong hướng nhìn và hình dạng miệng. Cải thiện ánh sáng yếu cũng có thể thay đổi nội dung hình ảnh, ảnh hưởng đến việc giải thích mặc dù cải thiện chất lượng hình ảnh. Trong ví dụ mã QR, việc cải thiện làm cho hình ảnh trở nên hấp dẫn hơn nhưng khiến mã không thể quét được. Phương pháp này cho phép phục hồi hình ảnh xác thực trước khi bị ảo hóa, phục hồi các chi tiết khuôn mặt ban đầu và một mã QR có thể quét được.

Thay vào đó, các nhà sản xuất máy ảnh có thể cung cấp cho người dùng quyền truy cập vào các bản dump cảm biến thực sự không bị xáo trộn; tuy nhiên, điều này có vẻ sẽ bị hạn chế ở thiết bị cao cấp. Trong không gian tiêu dùng di động và phổ thông, tiếc là việc truy cập vào ảnh không bị xử lý có thể được coi là một ‘ngách’ hoặc theo đuổi biên.

Trong khi máy ảnh tiêu dùng đã áp dụng một số mức độ hậu xử lý, trước khi xuất hiện của AI cạnh, các thuật toán được sử dụng là tối thiểu ‘trình diễn’, và không có khả năng thay đổi nội dung của một bức ảnh theo cách có ý nghĩa như các phương pháp AI hiện tại có thể.

Thật thú vị, xem xét mức độ mà chính sách ‘thay thế mặt trăng’ của Samsung đã phải đối mặt với sự chỉ trích công khai một vài năm trước, Trung tâm AI của Samsung tại Toronto là một trong những người tham gia vào bài viết mới, có tiêu đề Địa chỉ tính xác thực hình ảnh khi máy ảnh sử dụng AI tạo sinh, và được dẫn dắt bởi các đóng góp từ năm nhà nghiên cứu tại Đại học Toronto.

Phương pháp

Các tác giả sử dụng dự án duy nhất khác đến nay dường như đã giải quyết trực tiếp vấn đề về nhiễu loạn theo thiết kế: bài viết năm 2024 Advocating Pixel-Level Authentication of Camera-Captured Images, đã đề xuất một ‘mặt nạ xác thực nhị phân’ phân chia các khu vực được thay đổi bởi các quá trình AI trong máy ảnh:

Phải nhất, mặt nạ xác thực của bài viết năm 2024 tiết lộ các khu vực của bầu trời bị ảnh hưởng bởi các quá trình ‘làm mịn’ AI trong máy ảnh.

Tuy nhiên, hệ thống này không cung cấp phương pháp nào để phục hồi một hình ảnh ‘thật’; điều mà bài viết mới này giải quyết, đồng thời thừa nhận một khoản nợ với bài viết trước đó.

Mục tiêu của bài viết mới là cho phép người dùng phục hồi một hình ảnh gần nhất có thể với những gì thực sự đã đánh vào cảm biến trước khi quá trình xử lý diễn ra:

Tổng quan về phương pháp đề xuất. Trong (A), tại thời điểm chụp, hình ảnh đầu ra ISP chứa ảo hóa được truyền qua một bộ mã hóa được đào tạo trước và các tính năng ẩn của nó được kết hợp với tọa độ không gian và đưa vào một MLP hoạt động theo từng pixel để dự đoán hình ảnh không bị ảo hóa, với hướng dẫn đào tạo bởi một tổn thất so với hình ảnh xác thực. Trọng lượng của bộ mã hóa và MLP sau đó được lưu trữ làm siêu dữ liệu cùng với hình ảnh. Trong (B), tại thời điểm suy luận, những trọng lượng này được lấy từ siêu dữ liệu và sử dụng cùng với bộ mã hóa và MLP để tái tạo hình ảnh không bị ảo hóa.

Vào thời điểm chụp, trong phương pháp mới, hình ảnh đã xử lý được truyền qua một bộ mã hóa được đào tạo trước chuyển đổi nó thành một biểu diễn ẩn kompact. Sau đó, các tọa độ không gian liên quan được kết hợp với các tính năng này và đưa vào một MLP nhẹ hoạt động trên cơ sở từng pixel, để dự đoán nội dung hình ảnh ban đầu – học cách, hiệu quả, để trừ đi các yếu tố ảo hóa thông qua một tổn thất tái tạo, so với các mục tiêu xác thực.

Bộ mã hóa và giải mã được đào tạo trước trên các tập dữ liệu được ghép nối xác thực và ảo hóa, sau đó nhanh chóng đào tạo tinh chỉnh cho mỗi hình ảnh được chụp, với trọng lượng của chúng được lưu trữ làm siêu dữ liệu cùng với hình ảnh chính nó, thêm chỉ một lượng nhỏ dung lượng.

Tại thời điểm xem, những trọng lượng lưu trữ này được trích xuất và sử dụng lại để chạy cùng bộ mã hóa và MLP, cho phép phục hồi một hình ảnh gần giống với những gì máy ảnh cảm biến ban đầu chụp, mà không giới thiệu nội dung tổng hợp mới.

Dữ liệu và Kiểm tra

Các tác giả đã kiểm tra phương pháp mới bằng cách sử dụng hai nhiệm vụ hậu xử lý ISP phổ biến nhất: siêu phân giải (SR, bao gồm cả khu vực được thu phóng); và nhiếp ảnh ánh sáng yếu.

Đối với phần SR (‘hình ảnh tự nhiên’) của các kiểm tra, nhiều ví dụ về văn bản đã được bao gồm trong dữ liệu, vì các quy trình SR của ISP được biết là đã thay đổi văn bản (ví dụ, số biển số xe, nhưng xem các ví dụ trước trong bài viết). Vì sự méo mó văn bản là một vấn đề riêng, nó đã được coi là một tập con của các kiểm tra SR, với dữ liệu chuyên dụng.

Hình ảnh mã hóa được đề xuất đã được đào tạo cho từng một trong hai phương thức được kiểm tra, và mỗi phương thức được chọn dựa trên mô-đun AI ISP nào có khả năng được kích hoạt trong quá trình chụp (ví dụ, một mô-đun ‘ánh sáng yếu’, trong điều kiện tối).

Các tác giả đã sử dụng tập dữ liệu DIV2K để đào tạo siêu phân giải, được hỗ trợ bởi mạng RealESRGAN phổ biến. Theo bài viết năm 2024 về sự can thiệp của ISP, các nhà nghiên cứu đã tạo ra dữ liệu ghép nối có cả nội dung không bị ảo hóa và bị ảo hóa.

Đối với phần SR văn bản, các tác giả đã sử dụng mô hình SR văn bản MARCONet năm 2023:

Từ bài viết MARCONet năm 2023, các ví dụ về văn bản độ phân giải thấp thực tế và văn bản tương đương được nâng cao. Nguồn

Để tạo ra dữ liệu ghép nối trong trường hợp này, các nhà nghiên cứu đã chạy hình ảnh không bị ảo hóa qua MARCONet. Hai nghìn hình ảnh đã được tạo ra từ mã nguồn ban đầu, với 200 được đặt sang một bên cho xác thực, cùng với 200 khác cho kiểm tra.

Đối với các kiểm tra ánh sáng yếu, tập dữ liệu LOL (LOL) từ một bài viết Trung Quốc năm 2018 đã được áp dụng:

Từ tập dữ liệu LOL Trung Quốc năm 2018, các ví dụ được khung về cùng một hình ảnh ở các mức độ phơi sáng và mức độ tối và suy giảm khác nhau. Nguồn

Các Khung Phụ

Để đánh giá phương pháp, các so sánh đã được thực hiện với ba đường cơ sở cụ thể được đào tạo trong điều kiện phù hợp. Đầu tiên, SIREN và NeRF đã được đào tạo trước trên hình ảnh xác thực và ảo hóa ghép nối và sau đó tinh chỉnh tại thời điểm chụp trong cùng khoảng thời gian với phương pháp được đề xuất, cung cấp một so sánh trực tiếp với NeRF.

Thứ hai, một MLP với mã hóa được học dựa trên phương pháp hashgrid từ Instant-NGP đã được sử dụng, với các mục nhập bảng băm và MLP được tối ưu hóa chung.

Kích thước nhúng và khả năng mạng được khớp với bộ mã hóa và MLP mục tiêu, với các thí nghiệm bao gồm cả tối ưu hóa theo hình ảnh từ đầu và tinh chỉnh sau khi đào tạo trước.

Thứ ba, một đường cơ sở dịch hình ảnh mù đã được thực hiện bằng cách sử dụng mô hình NAFNet 64MB, được đào tạo như một hệ thống hồi quy điểm-điểm không có siêu dữ liệu.

Trong đào tạo, bộ tối ưu hóa Adam đã được sử dụng trên PyTorch, cả cho đào tạo trước và tinh chỉnh. Bộ mã hóa và MLP đã được đào tạo trong 50.000 kỳ với kích thước lô 32, với các bộ mã hóa đặc定 cho từng nhiệm vụ (tức là SR, SR văn bản, ánh sáng yếu).

Tinh chỉnh diễn ra trong khoảng ba giây trên một GPU NVIDIA V100 với 32GB VRAM. Các tác giả lưu ý rằng trong khi tối ưu hóa trên thiết bị là môi trường mục tiêu và kịch bản, nó không thực tế để triển khai cho tất cả các khung, và do đó tất cả các kiểm tra đều được thực hiện trong môi trường máy tính để bàn:

So sánh hiệu suất với các đường cơ sở dựa trên MLP được hỗ trợ bởi siêu dữ liệu, bao gồm SIREN, NeRF và phương pháp hash-grid, cùng với phục hồi mù bằng cách sử dụng NAFNet. Kết quả được báo cáo dưới dạng PSNR tính bằng decibel trên ba nhiệm vụ: siêu phân giải hình ảnh tự nhiên trên DIV2K; siêu phân giải văn bản trên MARCONet; và cải thiện ánh sáng yếu trên LOL, với phương pháp của tác giả đạt được điểm số cao nhất trong mỗi trường hợp.

Đối với các phương pháp dựa trên MLP, hiệu suất phụ thuộc mạnh vào biểu diễn đầu vào, nơi các mô hình được đào tạo bằng cách sử dụng chỉ tọa độ không gian gặp khó khăn trong quá trình đào tạo trước và không thể cải thiện trong giai đoạn tinh chỉnh hạn chế. Thêm thông tin màu sắc dẫn đến kết quả mạnh mẽ hơn.

Phục hồi mù bằng cách sử dụng NAFNet hoạt động tốt trên DIV2K, nơi ánh xạ từ hình ảnh bị suy giảm đến hình ảnh sạch tương đối ổn định, nhưng bị phá vỡ trên MARCONet và LOL, nơi có nhiều bản tái tạo khả thi và mô hình thiếu thông tin cần thiết để giải quyết sự mơ hồ này.

Hiệu ứng này được thể hiện rõ nhất trong việc cải thiện ánh sáng yếu, nơi độ sáng ban đầu của cảnh không thể được suy luận một cách đáng tin cậy từ hình ảnh đã xử lý một mình.

Các tác giả tuyên bố:

‘[Trong] dữ liệu tổng hợp MARCONet, hình ảnh với các mức độ mờ khác nhau ánh xạ đến cùng một hình ảnh ảo hóa. Có thể thấy từ kết quả rằng phương pháp được đề xuất của chúng tôi vượt trội so với các đối thủ trên tất cả các tập dữ liệu.’

Trong so sánh trên, chúng ta có thể thấy hiệu suất của các phương pháp khác nhau tùy thuộc vào thời gian chúng được phép chạy tại thời điểm một bức ảnh được chụp. Đào tạo một mô hình từ đầu cho mỗi hình ảnh có thể tạo ra kết quả mạnh mẽ, như được thấy với SIREN, NeRF và hash-grid – nhưng điều này mất quá nhiều thời gian để thực tế trong máy ảnh.

Thay vào đó, phương pháp của các tác giả thực hiện hầu hết công việc trước, với một điều chỉnh nhanh tại thời điểm chụp, cho phép nó cung cấp kết quả tốt hơn trong giới hạn thời gian nghiêm ngặt (3, 5 hoặc mười giây).

So sánh hiệu suất với các đường cơ sở dựa trên MLP được hỗ trợ bởi siêu dữ liệu, bao gồm SIREN, NeRF và phương pháp hash-grid, cùng với phục hồi mù bằng cách sử dụng NAFNet. Kết quả được báo cáo dưới dạng PSNR tính bằng decibel trên ba nhiệm vụ: siêu phân giải hình ảnh tự nhiên trên DIV2K; siêu phân giải văn bản trên MARCONet; và cải thiện ánh sáng yếu trên LOL, với phương pháp được đề xuất đạt được điểm số cao nhất trong mỗi trường hợp. Vui lòng tham khảo bài viết nguồn cho (một chút) độ phân giải tốt hơn.

Trên đây là kết quả định lượng trên DIV2K, nơi các phương pháp cải tiến đã giới thiệu các ảo hóa có thể nhìn thấy. Một mô hình siêu phân giải dựa trên GAN đã thay đổi màu mắt, và phục hồi mù gặp khó khăn trong việc tái tạo hình ảnh ban đầu. NeRF và hash-grid tạo ra các artifact trong các khu vực có cấu trúc như cửa sổ và văn bản, trong khi phương pháp được đề xuất phù hợp hơn với hình ảnh xác thực.

Cuối cùng, trong hình trên, chúng ta thấy kết quả trên tập dữ liệu LOL, với độ sáng được điều chỉnh để hiển thị.

Phục hồi mù không thể giải quyết được độ sáng không xác định, trong khi phương pháp được đề xuất tái tạo tốt hơn các kết cấu và phục hồi các ký tự bị thay đổi, chẳng hạn như sửa đổi một ‘1’ trở lại ‘i’, mà không thêm artifact.

Kết luận

Có lẽ không thể tranh cãi, hay không bao giờ có thể tranh cãi, rằng ‘máy ảnh không bao giờ nói dối’. Mỗi quyết định về việc chụp ảnh gì và khi nào chụp, cùng với cách trình bày và đặt ngữ cảnh cho nó, đều là một quyết định chính trị hoặc xã hội.

Ngay cả các phương pháp hậu xử lý cũ nhất, chẳng hạn như điều chỉnh và cháy (đã được chuyển sang các công cụ Photoshop) là các hành động chủ quan của quyết định nghệ thuật và sở thích.

Tuy nhiên, đó không phải là lý do để từ bỏ ít nhất mục tiêu của việc chụp ảnh ‘khách quan’; và dường như hợp lý rằng người tiêu dùng trung bình nên được phép, thậm chí với một số khó khăn, truy cập vào các bản dump cảm biến ‘không bị xáo trộn’ của ảnh họ chụp, nếu họ muốn; hoặc ít nhất, họ nên được phép hạn chế hậu xử lý ISP sang các thuật toán không phải AI, như họ có thể thích.

Đăng lần đầu vào thứ Sáu, ngày 24 tháng 4 năm 2026