Trí tuệ nhân tạo có thể xếp hạng hình ảnh bí mật theo thương hiệu thiết bị, không phải nội dung

Nghiên cứu mới cho thấy rằng các hệ thống trí tuệ nhân tạo tập trung vào hình ảnh không chỉ xem xét nội dung của hình ảnh, mà còn phát hiện ra cách hình ảnh được chụp. Các chi tiết ẩn như loại máy ảnh hoặc chất lượng hình ảnh có thể ảnh hưởng đến kết quả của trí tuệ nhân tạo – chỉ vì hình ảnh đến từ một thiết bị khác.

Vào năm 2012, nó đã được tiết lộ rằng một trang web du lịch thường xuyên hiển thị giá cao hơn cho người dùng mà họ có thể suy luận là đang duyệt trên thiết bị Apple, đồng nhất thương hiệu Apple (AAPL ) với sức mua cao hơn. Cuộc điều tra sau đó kết luận rằng việc “ngửi ví” tập trung vào thiết bị này đã trở thành gần như thường xuyên cho các trang web thương mại điện tử.

Tương tự, loại điện thoại thông minh hoặc thiết bị chụp nào đã chụp một bức ảnh cụ thể có thể được xác định bằng phương pháp pháp y, dựa trên các đặc điểm đã biết của một số lượng有限 các ống kính trong các mẫu. Trong những trường hợp như vậy, mẫu của thiết bị chụp thường được ước tính bởi đường dẫn trực quan; và, giống như vụ việc năm 2012, việc biết loại máy ảnh nào đã chụp một hình ảnh là một đặc điểm có thể được khai thác.

Mặc dù thiết bị chụp thường nhúng siêu dữ liệu đáng kể vào hình ảnh, tính năng này thường có thể được tắt bởi người dùng; thậm chí khi nó được bật, các nền tảng phân phối như mạng xã hội có thể loại bỏ một số hoặc tất cả siêu dữ liệu, vì lý do hậu cần hoặc bảo mật, hoặc cả hai.

Tuy nhiên, siêu dữ liệu trong hình ảnh được người dùng tải lên thường được ghi lại hoặc giải thích lại (thay vì bị xóa) hoặc để nguyên vẹn, như một nguồn thông tin thứ cấp không về nội dung của hình ảnh, mà về cách hình ảnh được chụp. Như trường hợp năm 2012 đã tiết lộ, thông tin loại này có thể có giá trị – không chỉ đối với các nền tảng thương mại, mà còn đối với các hacker và những người có hành vi xấu.

Hai quan điểm song song

Một sự hợp tác nghiên cứu mới giữa Nhật Bản và Cộng hòa Séc đã phát hiện ra rằng các dấu vết còn lại bởi phần cứng máy ảnh và xử lý hình ảnh (như chất lượng JPEG hoặc làm sắc nét ống kính) không chỉ có thể phát hiện được bằng các công cụ pháp y mà còn được mã hóa im lặng trong ‘sự hiểu biết toàn cầu’ của các mô hình tầm nhìn trí tuệ nhân tạo hàng đầu.

Điều này bao gồm CLIP và các bộ mã hóa trực quan lớn khác, được sử dụng rộng rãi trong mọi thứ từ công cụ tìm kiếm đến quản lý nội dung. Công việc mới chứng minh rằng những mô hình này không chỉ giải thích nội dung của hình ảnh, mà còn có thể học cách hình ảnh được tạo ra; và tín hiệu ẩn này đôi khi có thể vượt qua nội dung nhìn thấy được.

Ví dụ về các cặp hình ảnh từ tập dữ liệu PairCams của các tác giả, được tạo để kiểm tra cách loại máy ảnh ảnh hưởng đến mô hình hình ảnh trí tuệ nhân tạo. Mỗi cặp hiển thị cùng một đối tượng hoặc cảnh được chụp vào cùng một thời điểm sử dụng máy ảnh không phải điện thoại thông minh (bên trái) và điện thoại thông minh (bên phải). Nguồn: https://arxiv.org/pdf/2508.10637

Nghiên cứu khẳng định rằng ngay cả khi các mô hình trí tuệ nhân tạo được cung cấp các phiên bản đã được che đi hoặc cắt xén của hình ảnh, chúng vẫn có thể đoán loại và mẫu máy ảnh với độ chính xác đáng ngạc nhiên. Điều này có nghĩa là không gian biểu diễn mà các hệ thống này sử dụng để đánh giá sự tương tự của hình ảnh có thể trở nên gắn liền với các yếu tố không liên quan, chẳng hạn như thiết bị của người dùng, với các hậu quả không thể đoán trước.

Chẳng hạn, trong các nhiệm vụ hạ nguồn như phân loại hoặc tìm kiếm hình ảnh, sự “trọng số” không mong muốn này có thể khiến hệ thống ưu tiên các loại máy ảnh nhất định, bất kể hình ảnh thực sự hiển thị gì.

Bài báo cho biết:

‘Các nhãn siêu dữ liệu để lại dấu vết trong các bộ mã hóa trực quan đến mức che khuất thông tin ngữ nghĩa có thể dẫn đến kết quả không thể đoán trước, làm tổn hại đến tính tổng quát, độ bền và có thể làm suy yếu tính tin cậy của các mô hình.

‘Hơn nữa, hiệu ứng này có thể bị khai thác một cách恶 ý; ví dụ, một cuộc tấn công đối thủ có thể thao túng siêu dữ liệu để cố ý đánh lừa hoặc lừa dối một mô hình, tạo ra rủi ro trong các lĩnh vực nhạy cảm như chăm sóc sức khỏe, giám sát hoặc hệ thống tự động.’

Bài báo cho thấy rằng các hệ thống Trái ngược Visual-Language (CVL) như CLIP, hiện là một trong những bộ mã hóa ảnh hưởng nhất trong tầm nhìn máy tính, đặc biệt có khả năng thu được những suy luận như vậy từ dữ liệu:

Kết quả tìm kiếm cho một hình ảnh truy vấn, hiển thị cách các mô hình nền tảng xếp hạng các hình ảnh tương tự không chỉ dựa trên nội dung trực quan mà còn dựa trên siêu dữ liệu ẩn như nén JPEG hoặc mẫu máy ảnh. Hình này phản ánh tuyên bố của các tác giả rằng cả nhãn siêu dữ liệu và nhãn ngữ nghĩa đều định hình không gian biểu diễn của mô hình, đôi khi thay đổi kết quả tìm kiếm.

Bài báo mới có tiêu đề Xử lý và dấu vết thu được trong các bộ mã hóa trực quan: CLIP biết gì về máy ảnh của bạn?, và đến từ sáu nhà nghiên cứu trên Đại học Osaka và Đại học Kỹ thuật Séc ở Prague.

Phương pháp và Dữ liệu*

Để kiểm tra ảnh hưởng của siêu dữ liệu ẩn đối với các bộ mã hóa trực quan như CLIP, các tác giả đã làm việc với hai loại siêu dữ liệu: tham số xử lý hình ảnh (như nén JPEG hoặc làm sắc nét) và tham số thu được (như mẫu máy ảnh hoặc cài đặt phơi sáng).

Thay vì đào tạo các mô hình mới, các nhà nghiên cứu đã đánh giá 47 bộ mã hóa trực quan được sử dụng rộng rãi trong trạng thái đóng băng, trước khi đào tạo, bao gồm cả mô hình tầm nhìn ngôn ngữ tương phản như CLIP, tự giám sát như DINO, và mạng giám sát thông thường.

Đối với các tham số xử lý, các nhà nghiên cứu đã áp dụng các biến đổi được kiểm soát cho các tập dữ liệu ImageNet và iNaturalist 2018, bao gồm sáu mức nén JPEG, ba cài đặt làm sắc nét, ba tỷ lệ thay đổi kích thước và bốn phương pháp nội suy.

Ví dụ về hình ảnh và chú thích liên kết từ tập dữ liệu iNaturalist. Nguồn: https://arxiv.org/pdf/1707.06642

Các mô hình đã được kiểm tra về khả năng phục hồi từng cài đặt biến đổi bằng cách sử dụng chỉ nội dung hình ảnh, với độ chính xác phân loại trung bình trên tất cả các cài đặt được kết hợp với các thử nghiệm lặp lại dưới các hạt giống ngẫu nhiên khác nhau, để xác định xem các chi tiết kỹ thuật về việc xử lý hình ảnh có được giữ lại trong biểu diễn nội bộ của mô hình hay không:

Để kiểm tra các tham số thu được, các nhà nghiên cứu đã biên soạn một tập dữ liệu 356.459 hình ảnh gọi là FlickrExif, chứa siêu dữ liệu Exif được bảo tồn, và xây dựng một tập dữ liệu thứ hai gọi là PairCams, bao gồm 730 cặp hình ảnh được chụp đồng thời bằng điện thoại thông minh và máy ảnh không phải điện thoại thông minh.

Tập dữ liệu FlickrExif được xây dựng bằng cách sử dụng API Flickr để tải xuống hình ảnh có siêu dữ liệu Exif đi kèm. Giữa 2.000 và 4.000 hình ảnh an toàn cho người dùng được thu thập mỗi tháng, từ đầu năm 2000 đến giữa năm 2024, và được lọc để chỉ bao gồm những hình ảnh có giấy phép cho phép. Để ngăn chặn việc đại diện quá mức bởi người dùng tích cực, mỗi người đóng góp cá nhân được giới hạn ở mười hình ảnh mỗi tháng cho bất kỳ năm nào:

Đối với tập dữ liệu PairCams, mỗi bức ảnh được chụp bằng cách sử dụng cài đặt tự động và không có đèn flash, cho phép so sánh cách các bộ mã hóa trực quan phản ứng với sự khác biệt về phần cứng máy ảnh một mình, bất kể nội dung của hình ảnh:

Ví dụ thêm từ tập dữ liệu PairCams do các tác giả biên soạn.

Các tác giả đã kiểm tra hai tập tham số: tham số xử lý hình ảnh, như nén và biến đổi màu sắc; và tham số thu được, như mẫu máy ảnh hoặc cài đặt phơi sáng:

Tham số xử lý hình ảnh và thu được được phân tích, với số lượng lớp cho mỗi.

Thử nghiệm

Để xác định xem thông tin về xử lý hình ảnh và loại máy ảnh có được giữ lại trong biểu diễn của mô hình hay không, các tác giả đã đào tạo một phân loại器 để dự đoán nhãn siêu dữ liệu trực tiếp từ các biểu diễn đó. Nếu phân loại器 hoạt động không tốt hơn so với việc đoán ngẫu nhiên, nó sẽ cho thấy rằng các chi tiết về xử lý hoặc thiết bị không được nắm bắt bởi mô hình.

Tuy nhiên, bất kỳ hiệu suất nào trên mức cơ bản sẽ cho thấy rằng những dấu vết kỹ thuật này thực sự đang được mã hóa và có thể ảnh hưởng đến các nhiệm vụ hạ nguồn.

Để kiểm tra dấu vết xử lý, các tác giả đã gán cho mỗi hình ảnh đào tạo một cài đặt xử lý ngẫu nhiên, chẳng hạn như một mức nén JPEG cụ thể, trong khi tất cả hình ảnh kiểm tra trong một lô chia sẻ cùng một cài đặt.

Độ chính xác phân loại trung bình trên tất cả các cài đặt được kết hợp với các thử nghiệm lặp lại dưới các hạt giống ngẫu nhiên khác nhau, để xác định xem các chi tiết kỹ thuật về việc xử lý hình ảnh có được giữ lại trong biểu diễn nội bộ của mô hình hay không:

Độ chính xác phân loại cho việc dự đoán tham số xử lý hình ảnh từ biểu diễn của mô hình, sử dụng một phân loại器 tuyến tính được áp dụng cho các mô hình đóng băng. Kết quả được hiển thị cho nén JPEG, làm sắc nét, thay đổi kích thước và nội suy, với ba loại mô hình, tầm nhìn ngôn ngữ tương phản (cam), giám sát (xanh lá cây) và tự giám sát (xanh da trời), được đánh giá trên ImageNet (hàng trên) và iNaturalist 2018 (hàng dưới). Các đường cơ sở đoán ngẫu nhiên được đánh dấu bằng các đường đứt đoạn.

Trên tất cả bốn tham số xử lý, các mô hình tầm nhìn ngôn ngữ tương phản đã thể hiện khả năng nhận biết cao nhất về các thao túng hình ảnh ẩn. Một số mô hình đã đạt được hơn 80% độ chính xác khi dự đoán cài đặt nén JPEG, làm sắc nét và thay đổi kích thước từ biểu diễn của ImageNet.

Các bộ mã hóa giám sát, đặc biệt là những bộ mã hóa dựa trên ConvNeXt, cũng hoạt động mạnh mẽ, trong khi các mô hình tự giám sát nhất quán yếu hơn.

Nội suy là tham số khó nhất để phát hiện, nhưng các mô hình CVL và giám sát hàng đầu vẫn đạt được kết quả tốt hơn so với đường cơ sở ngẫu nhiên 25% trên cả hai tập dữ liệu.

Tiếp theo, để kiểm tra xem thông tin về máy ảnh có được mã hóa trong biểu diễn của mô hình hay không, các tác giả đã tạo các tập đào tạo và kiểm tra riêng biệt cho từng tham số thu được (như mẫu máy ảnh, mẫu máy ảnh, phơi sáng, khẩu độ, ISO và độ dài tiêu cự).

Đối với hầu hết các tham số, chỉ các lớp có ít nhất 5.000 ví dụ được sử dụng; 500 hình ảnh được chọn ngẫu nhiên đặt sang một bên để kiểm tra, và các ví dụ còn lại được giảm mẫu để mỗi lớp có 200 mẫu đào tạo. Đối với các tham số ‘mẫu (tất cả)’ và ‘mẫu (thông minh)’, có ít dữ liệu hơn cho mỗi lớp, các tác giả thay vào đó sử dụng các lớp có ít nhất 500 hình ảnh, và chia mỗi lớp thành đào tạo và kiểm tra theo tỷ lệ bốn đến một.

Nhiếp ảnh gia được giữ riêng biệt trên các tập đào tạo, xác nhận và kiểm tra, và một phân loại器 đơn giản được đào tạo để dự đoán thông tin máy ảnh dựa trên các tính năng hình ảnh.

Để đảm bảo rằng phân loại器 không bị ảnh hưởng bởi nội dung ngữ nghĩa của hình ảnh, 90% của mỗi hình ảnh đã được che đi (xem ví dụ dưới đây). Các tác giả khẳng định rằng ở mức che đi này, tất cả các bộ mã hóa trực quan đều hoạt động gần như ngẫu nhiên trên ImageNet, cho thấy rằng tín hiệu ngữ nghĩa đã được loại bỏ hiệu quả:

Độ chính xác xác nhận của ImageNet theo tỷ lệ che đi. Ở mức che đi 90%, tất cả các mô hình đều giảm xuống gần mức hoạt động ngẫu nhiên trên dự đoán nhãn ngữ nghĩa, cho thấy rằng các tín hiệu ngữ nghĩa đã được loại bỏ hiệu quả. Các hình ảnh ví dụ ở dưới cùng minh họa các mức che đi.

Ngay cả khi 90% của mỗi hình ảnh đã được che đi, hầu hết các mô hình tầm nhìn ngôn ngữ tương phản và các bộ mã hóa giám sát ConvNeXt vẫn dự đoán các nhãn liên quan đến máy ảnh ở mức trên cơ bản. Nhiều mô hình CVL đã vượt quá 70% độ chính xác khi phân biệt giữa hình ảnh được chụp bằng điện thoại thông minh và không phải điện thoại thông minh.

Các bộ mã hóa giám sát khác, SigLIP, và tất cả các mô hình tự giám sát đều hoạt động kém hơn.

Khi không có che đi, các mô hình CVL lại cho thấy sự phân cụm mạnh nhất theo loại máy ảnh, xác nhận rằng những mô hình này mã hóa thông tin thu được sâu sắc hơn so với các mô hình khác:

Hình ảnh t-SNE cho hai bộ mã hóa trực quan, với màu sắc chỉ ra liệu mỗi hình ảnh có được chụp bằng điện thoại thông minh hay không.

Tầm quan trọng hạ nguồn

Sau khi thiết lập rằng siêu dữ liệu ảnh hưởng đến các mô hình theo cách này, khả năng của các dấu vết xử lý ẩn để can thiệp vào việc giải thích hình ảnh đã được đánh giá.

Khi hai phiên bản của cùng một hình ảnh được xử lý khác nhau, các biểu diễn thường được tổ chức theo phong cách xử lý hơn là nội dung. Trong một số trường hợp, một bức ảnh chó bị nén mạnh được coi là tương tự hơn với một hình ảnh không liên quan có cùng cài đặt nén hơn là với phiên bản không nén của chính nó:

Tác động của tham số xử lý lên dự đoán ngữ nghĩa, với độ chính xác phân loại ngữ nghĩa cho ImageNet (trên) và iNaturalist (dưới) dưới năm thiết lập xử lý khác nhau. Trong thiết lập cơ sở, tất cả hình ảnh đào tạo và kiểm tra chia sẻ cùng một nhãn xử lý; trong thiết lập tất cả khác, hình ảnh kiểm tra sử dụng một giá trị xử lý không có trong tập đào tạo; trong pos-same và neg-same, nhãn xử lý được căn chỉnh với hình ảnh tương tự hoặc không tương tự về mặt ngữ nghĩa; trong thiết lập đồng nhất, các nhãn xử lý được gán ngẫu nhiên trên toàn tập đào tạo. Kết quả được báo cáo bằng cách sử dụng k = 10 cho ImageNet và k = 1 cho iNaturalist.

Những biến dạng mạnh nhất được gây ra bởi nén JPEG, tiếp theo là làm sắc nét và thay đổi kích thước, trong khi nội suy chỉ tạo ra một hiệu ứng nhỏ. Các tác giả khẳng định rằng những kết quả này chứng minh rằng các dấu vết xử lý có thể vượt qua thông tin ngữ nghĩa và quyết định cách một hình ảnh được hiểu.

Kết luận, họ cảnh báo:

‘Mặc dù chúng tôi đã xác định rằng các nhãn siêu dữ liệu được mã hóa trong các bộ mã hóa trực quan cơ bản và cung cấp các gợi ý về nguyên nhân có thể xảy ra, chúng tôi không thể xác định chắc chắn nguồn gốc của vấn đề. Việc điều tra thêm về vấn đề này là một thách thức do chi phí đào tạo lại các mô hình và việc sử dụng thường xuyên các tập dữ liệu riêng tư và các chi tiết triển khai không được công bố.

‘Mặc dù chúng tôi không đề xuất các kỹ thuật giảm nhẹ cụ thể, chúng tôi nhấn mạnh vấn đề này là một lĩnh vực quan trọng cho nghiên cứu trong tương lai.’

Kết luận

Trong tài liệu có một sự quan tâm pháp y ngày càng tăng liên quan đến các dấu vết và dấu hiệu của ‘phương pháp trên nội dung’; việc dễ dàng xác định một lĩnh vực khung hoặc một tập dữ liệu cụ thể, việc tận dụng thông tin này dưới dạng – ví dụ – các bộ phát hiện giả mạo sâu hoặc các hệ thống phân loại nguồn gốc hoặc tuổi của dữ liệu và mô hình.

Tất cả điều này đi ngược lại với ý định cốt lõi của việc đào tạo các mô hình trí tuệ nhân tạo, đó là các khái niệm được chưng cất nên được thu thập độc lập với phương tiện sản xuất và không nên có bất kỳ dấu vết nào của chúng. Trên thực tế, các tập dữ liệu và thiết bị chụp có các đặc điểm và đặc điểm miền mà về cơ bản không thể tách rời khỏi nội dung, bởi vì chúng cũng đại diện cho một ‘quan điểm lịch sử’.

* Bài báo được trình bày một cách không thông thường, và chúng tôi sẽ thích nghi với định dạng và trình bày không bình thường của nó. Một lượng lớn tài liệu mà lẽ ra nên được đặt trong một phần ‘Phương pháp’ (không tồn tại) đã được chuyển sang các phần khác nhau của phụ lục, có lẽ để hạn chế bài báo chính trong tám trang – mặc dù với chi phí đáng kể về sự rõ ràng. Nếu chúng tôi đã bỏ lỡ bất kỳ cơ hội nào để cải thiện điều này do thiếu thời gian, chúng tôi xin lỗi.

Được xuất bản lần đầu vào thứ Tư, ngày 20 tháng 8 năm 2025