Mã hóa hình ảnh chống lại việc sử dụng trong các hệ thống tổng hợp hình ảnh và Deepfake

Ngành nghiên cứu chống lại Deepfake đang ngày càng phát triển, và một trong những hướng nghiên cứu nổi tiếng nhất trong lĩnh vực này liên quan đến các hệ thống có thể nhận biết các đặc điểm hoặc đặc trưng khác của hình ảnh Deepfake, tổng hợp hoặc bị chỉnh sửa trong nội dung video và hình ảnh.

Các phương pháp này sử dụng nhiều chiến thuật khác nhau, bao gồm phát hiện độ sâu, sự gián đoạn của video, biến thể trong chiếu sáng màn hình (trong các cuộc gọi video trực tiếp có thể bị Deepfake), đặc điểm sinh trắc học, vùng mặt ngoài, và thậm chí quyền lực ẩn của hệ thống vô thức con người.

Điều mà những phương pháp này có chung là rằng vào thời điểm chúng được triển khai, các cơ chế trung tâm mà chúng đang chống lại đã được đào tạo thành công trên hàng nghìn hoặc hàng trăm nghìn hình ảnh được thu thập từ web – hình ảnh mà từ đó các hệ thống tự động mã hóa có thể dễ dàng suy ra các đặc điểm chính và tạo ra các mô hình có thể áp dụng một danh tính giả vào footage video hoặc hình ảnh tổng hợp – thậm chí trong thời gian thực.

Tóm lại, vào thời điểm các hệ thống này được kích hoạt, con ngựa đã thoát khỏi cổngalready.

Hình ảnh không thân thiện với kiến trúc Deepfake/Synthesis

Theo một cách tiếp cận phòng ngừa hơn đối với mối đe dọa của Deepfake và tổng hợp hình ảnh, một hướng nghiên cứu ít được biết đến trong lĩnh vực này liên quan đến khả năng làm cho tất cả các ảnh nguồn không thân thiện với các hệ thống tổng hợp hình ảnh, thường bằng cách không thể nhận biết hoặc hầu như không thể nhận biết.

Ví dụ bao gồm FakeTagger, một đề xuất năm 2021 từ các tổ chức ở Mỹ và châu Á, mã hóa thông điệp vào hình ảnh; những mã hóa này có khả năng chống lại quá trình tổng quát hóa và có thể được phục hồi ngay cả sau khi hình ảnh đã được thu thập từ web và đào tạo vào một mạng đối lập sinh (GAN) thuộc loại được thể hiện bởi thispersondoesnotexist.com và các phái sinh của nó.

FakeTagger mã hóa thông tin có thể tồn tại quá trình tổng quát hóa khi đào tạo GAN, giúp biết được liệu một hình ảnh cụ thể có đóng góp vào khả năng sinh của hệ thống hay không. Nguồn: https://arxiv.org/pdf/2009.09869.pdf

Đối với ICCV 2021, một nỗ lực quốc tế khác cũng đã đưa ra dấu vân tay nhân tạo cho các mô hình sinh, (xem hình dưới) tạo ra ‘dấu vân tay’ có thể phục hồi từ đầu ra của một GAN tổng hợp hình ảnh như StyleGAN2.

Ngay cả dưới sự thay đổi cực đoan, cắt xén và trao đổi khuôn mặt, các dấu vân tay được truyền qua ProGAN vẫn có thể phục hồi. Nguồn: https://arxiv.org/pdf/2007.08457.pdf

Các phiên bản khác của khái niệm này bao gồm một dự án năm 2018 từ IBM và một phương thức đánh dấu số trong cùng năm, từ Nhật Bản.

Đổi mới hơn, một sáng kiến năm 2021 từ Đại học Hàng không và Vũ trụ Nam Kinh đã tìm cách ‘mã hóa’ hình ảnh đào tạo để chúng chỉ đào tạo hiệu quả trên các hệ thống được ủy quyền, nhưng sẽ thất bại thảm hại nếu được sử dụng làm dữ liệu nguồn trong một đường ống đào tạo tổng hợp hình ảnh chung.

Hiệu quả, tất cả các phương pháp này đều thuộc loại steganography, nhưng trong tất cả các trường hợp, thông tin nhận dạng duy nhất trong hình ảnh cần được mã hóa như một ‘tính năng’ thiết yếu của hình ảnh đến mức không có khả năng một kiến trúc tự động mã hóa hoặc GAN sẽ loại bỏ các dấu vân tay này như ‘tiếng ồn’ hoặc dữ liệu không cần thiết, mà thay vào đó sẽ mã hóa chúng cùng với các đặc điểm khuôn mặt khác.

Đồng thời, quá trình này không được phép làm biến dạng hoặc ảnh hưởng đến hình ảnh về mặt trực quan đến mức mà người xem thông thường nhận thấy nó có khuyết tật hoặc chất lượng thấp.

TAFIM

Bây giờ, một nỗ lực nghiên cứu mới của Đức (từ Đại học Kỹ thuật Munich và Sony Europe RDC Stuttgart) đã đề xuất một kỹ thuật mã hóa hình ảnh mà các mô hình Deepfake hoặc khung StyleGAN-type được đào tạo trên hình ảnh đã xử lý sẽ tạo ra đầu ra không thể sử dụng được màu xanh hoặc trắng, tương ứng.

Các nhiễu loạn hình ảnh cấp thấp của TAFIM giải quyết nhiều loại biến dạng khuôn mặt/thay thế khuôn mặt, buộc các mô hình được đào tạo trên hình ảnh phải tạo ra đầu ra bị biến dạng, và được báo cáo bởi các tác giả là có thể áp dụng được ngay cả trong các kịch bản thời gian thực như phát trực tuyến Deepfake thời gian thực của DeepFaceLive. Nguồn: https://arxiv.org/pdf/2112.09151.pdf

Bài báo này, có tiêu đề TAFIM: Các cuộc tấn công đối lập có mục tiêu chống lại các thao túng hình ảnh khuôn mặt, sử dụng một mạng nơ-ron để mã hóa các nhiễu loạn hầu như không thể nhận biết vào hình ảnh. Sau khi hình ảnh được đào tạo và tổng quát hóa vào một kiến trúc tổng hợp, mô hình kết quả sẽ tạo ra đầu ra bị biến màu cho danh tính đầu vào nếu được sử dụng trong việc trộn phong cách hoặc thay thế khuôn mặt trực tiếp.

Mã hóa lại Web..?

Tuy nhiên, trong trường hợp này, chúng tôi không ở đây để kiểm tra các chi tiết và kiến trúc của phiên bản mới nhất của khái niệm này, mà để xem xét tính thực tế của ý tưởng tổng thể – đặc biệt là trong ánh sáng của cuộc tranh cãi ngày càng tăng về việc sử dụng hình ảnh công khai được thu thập từ internet để cung cấp năng lượng cho các khuôn khổ tổng hợp hình ảnh như Stable Diffusion, và các ý nghĩa pháp lý hạ nguồn của phát triển phần mềm thương mại từ nội dung có thể (ít nhất trong một số khu vực pháp lý) cuối cùng sẽ chứng minh được sự bảo vệ pháp lý chống lại việc tiêu thụ vào các kiến trúc tổng hợp AI.

Các phương pháp tiếp cận chủ động, dựa trên mã hóa, thuộc loại được mô tả ở trên, đi kèm với chi phí không nhỏ. Ít nhất, chúng sẽ liên quan đến việc đưa ra các quy trình nén mới và mở rộng vào các thư viện xử lý web tiêu chuẩn như ImageMagick, cung cấp năng lượng cho một số lượng lớn các quy trình tải lên, bao gồm nhiều giao diện tải lên truyền thông xã hội, chịu trách nhiệm chuyển đổi hình ảnh người dùng ban đầu quá khổ thành các phiên bản được tối ưu hóa hơn phù hợp với chia sẻ và phân phối mạng nhẹ, và cũng để thực hiện các chuyển đổi như cắt xén và các tăng cường khác.

Câu hỏi chính mà điều này đặt ra là: liệu một kế hoạch như vậy có được triển khai ‘trong tương lai’ hay một triển khai rộng hơn và hồi tố sẽ được dự định, giải quyết các phương tiện truyền thông lịch sử có thể đã có sẵn, ‘không bị hư hỏng’, trong nhiều thập kỷ?

Các nền tảng như Netflix không ngại chi phí cho việc mã hóa lại danh mục với các codec mới có thể hiệu quả hơn hoặc có thể cung cấp lợi ích cho người dùng hoặc nhà cung cấp; tương tự, việc chuyển đổi nội dung lịch sử của YouTube sang codec H.264, dường như để phù hợp với Apple TV, một nhiệm vụ hậu cần khổng lồ, không được coi là khó khăn đến mức không thể thực hiện, mặc dù quy mô.

Ironically, ngay cả khi một lượng lớn nội dung phương tiện truyền thông trên internet trở thành đối tượng của mã hóa lại vào một định dạng chống lại việc đào tạo, các tập dữ liệu tầm nhìn máy tính hạn chế có ảnh hưởng sẽ vẫn không bị ảnh hưởng. Tuy nhiên, có thể các hệ thống sử dụng chúng làm dữ liệu thượng nguồn sẽ bắt đầu giảm chất lượng đầu ra, vì nội dung có watermark sẽ can thiệp vào các quá trình biến đổi của kiến trúc.

Xung đột chính trị

Về mặt chính trị, có vẻ như có sự căng thẳng giữa quyết tâm của các chính phủ không bị tụt lại phía sau trong việc phát triển AI và việc nhượng bộ mối quan tâm của công chúng về việc sử dụng nội dung âm thanh, video và hình ảnh công khai trên internet như một nguồn tài nguyên dồi dào cho các hệ thống biến đổi AI.

Chính thức, các chính phủ phương Tây có khuynh hướng khoan dung đối với khả năng của lĩnh vực nghiên cứu tầm nhìn máy tính trong việc sử dụng phương tiện truyền thông công khai, không chỉ vì một số quốc gia châu Á độc tài có nhiều quyền tự do hơn để định hình các quy trình phát triển của họ theo cách có lợi cho các nỗ lực nghiên cứu của họ – chỉ là một trong những yếu tố gợi ý rằng Trung Quốc đang trở thành nhà lãnh đạo toàn cầu trong AI.

Vào tháng 4 năm 2022, Tòa án phúc thẩm Hoa Kỳ xác nhận rằng dữ liệu web công khai là công bằng cho mục đích nghiên cứu, mặc dù sự phản đối liên tục của LinkedIn, mong muốn hồ sơ người dùng của họ được bảo vệ khỏi các quy trình như vậy.

Nếu hình ảnh chống lại AI không trở thành một tiêu chuẩn hệ thống, không có gì ngăn cản một số nguồn dữ liệu đào tạo chính từ việc triển khai các hệ thống như vậy, để rằng đầu ra của chúng trở nên không sản xuất trong không gian tiềm ẩn.

Yếu tố thiết yếu trong các triển khai cụ thể của công ty là hình ảnh nên được chống lại đào tạo. Các kỹ thuật chứng nhận blockchain và các phong trào như Sáng kiến chứng thực nội dung quan tâm hơn đến việc chứng minh rằng hình ảnh đã bị làm giả hoặc ‘phong cách hóa’, thay vì ngăn chặn các cơ chế làm cho những biến đổi như vậy có thể xảy ra.

Kiểm tra thông thường

Trong khi các đề xuất đã được đưa ra để sử dụng các phương pháp blockchain để xác thực nguồn gốc thực sự và ngoại hình của một hình ảnh nguồn có thể được đưa vào một tập dữ liệu đào tạo, điều này không ngăn cản việc đào tạo hình ảnh hoặc cung cấp bất kỳ cách nào để chứng minh, từ đầu ra của các hệ thống như vậy, rằng hình ảnh đã được bao gồm trong tập dữ liệu đào tạo.

Trong một cách tiếp cận watermarking để loại trừ hình ảnh khỏi đào tạo, điều quan trọng là không dựa vào việc các hình ảnh nguồn của một tập dữ liệu có ảnh hưởng được công khai để kiểm tra. Để đáp lại các lời kêu gọi của các nghệ sĩ về việc Stable Diffusion nuốt chửng công việc của họ một cách tự do, trang web haveibeentrained.com cho phép người dùng tải lên hình ảnh và kiểm tra xem chúng có khả năng được bao gồm trong tập dữ liệu LAION5B cung cấp năng lượng cho Stable Diffusion:

‘Lenna’, gần như là cô gái poster cho nghiên cứu tầm nhìn máy tính cho đến gần đây, chắc chắn là một người đóng góp cho Stable Diffusion. Nguồn: https://haveibeentrained.com/

Tuy nhiên, hầu như tất cả các tập dữ liệu Deepfake truyền thống đều được rút ra một cách thông thường từ video và hình ảnh được trích xuất từ internet vào các cơ sở dữ liệu không công khai, nơi chỉ có một số loại watermarking kháng nơ-ron mới có thể có khả năng lộ việc sử dụng hình ảnh cụ thể để tạo ra hình ảnh và video được suy ra.

Hơn nữa, người dùng Stable Diffusion đang bắt đầu thêm nội dung – thông qua tinh chỉnh (tiếp tục đào tạo mô hình điểm kiểm tra chính thức với các cặp hình ảnh/văn bản bổ sung) hoặc Textual Inversion, thêm một yếu tố hoặc người cụ thể – sẽ không xuất hiện trong bất kỳ tìm kiếm nào thông qua hàng tỷ hình ảnh của LAION.

Nhúng watermark tại nguồn

Một ứng dụng tiềm năng cực đoan hơn của watermarking hình ảnh nguồn là bao gồm thông tin không rõ ràng và không rõ ràng vào đầu ra chụp thô, video hoặc hình ảnh, của máy ảnh thương mại. Mặc dù khái niệm này đã được thử nghiệm và thậm chí được thực hiện với một số sự nhiệt tình vào đầu những năm 2000, như một phản ứng đối với ‘mối đe dọa’ mới nổi của vi phạm bản quyền đa phương tiện, nguyên tắc này về mặt kỹ thuật cũng có thể áp dụng cho mục đích làm cho nội dung phương tiện truyền thông chống lại hoặc đẩy lùi các hệ thống đào tạo máy học.

Một triển khai, được đề xuất trong một đơn đăng ký bằng sáng chế từ cuối những năm 1990, đề xuất sử dụng Biến đổi Cosine rời rạc để nhúng ‘hình ảnh con’ steganographic vào video và hình ảnh tĩnh, gợi ý rằng quy trình này có thể được ‘tích hợp như một tính năng tích hợp cho các thiết bị ghi âm kỹ thuật số, chẳng hạn như máy ảnh tĩnh và video’.

Trong một đơn đăng ký bằng sáng chế từ cuối những năm 1990, Lenna được trao các watermark ẩn mà có thể được phục hồi khi cần thiết. Nguồn: https://www.freepatentsonline.com/6983057.pdf

Một cách tiếp cận ít phức tạp hơn là áp dụng các watermark rõ ràng lên hình ảnh ở cấp thiết bị – một tính năng không hấp dẫn đối với hầu hết người dùng và thừa trong trường hợp của các nghệ sĩ và chuyên gia phương tiện truyền thông, những người có thể bảo vệ dữ liệu nguồn và thêm các thương hiệu hoặc hạn chế như họ thấy phù hợp (không chỉ là các công ty hình ảnh cổ phiếu).

Mặc dù ít nhất một máy ảnh hiện cho phép áp dụng watermark dựa trên logo tùy chọn có thể tín hiệu sử dụng không ủy quyền trong một mô hình AI được suy ra, việc xóa logo qua AI đang trở nên rất tầm thường và thậm chí thương mại hóa một cách thông thường.

Được xuất bản lần đầu vào ngày 25 tháng 9 năm 2022.