Các Bản Nhận Diện Thật Có Thể Được Phục Hồi Từ Các Tập Dữ Liệu Tổng Hợp

Nếu năm 2022 đánh dấu thời điểm trí tuệ nhân tạo tạo ra sự phá vỡ tiềm năng đầu tiên thu hút sự chú ý của công chúng, thì năm 2024 là năm khi các câu hỏi về tính hợp pháp của dữ liệu cơ bản của nó đã trở thành trung tâm của các doanh nghiệp muốn tận dụng sức mạnh của nó.

Đức tin sử dụng công bằng của Mỹ, cùng với giấy phép học thuật ngầm đã cho phép các lĩnh vực nghiên cứu học thuật và thương mại khám phá trí tuệ nhân tạo, đã trở nên không thể chấp nhận được khi bằng chứng về việc sao chép ngày càng tăng. Sau đó, Mỹ đã, trong thời gian này, không cho phép nội dung được tạo ra bởi trí tuệ nhân tạo được bản quyền.

Các vấn đề này còn lâu mới được giải quyết và còn lâu mới được giải quyết; vào năm 2023, một phần do sự quan tâm ngày càng tăng của truyền thông và công chúng về tình trạng pháp lý của đầu ra trí tuệ nhân tạo, Văn phòng Bản quyền Mỹ đã khởi xướng một cuộc điều tra kéo dài nhiều năm về khía cạnh này của trí tuệ nhân tạo, xuất bản phần đầu tiên (liên quan đến bản sao kỹ thuật số) vào tháng 7 năm 2024.

Trong khi đó, các lợi ích kinh doanh vẫn còn bối rối bởi khả năng rằng các mô hình tốn kém mà họ muốn khai thác có thể khiến họ phải đối mặt với các hậu quả pháp lý khi cuối cùng có luật và định nghĩa rõ ràng.

Giải pháp ngắn hạn tốn kém đã được chứng minh là hợp pháp hóa các mô hình tạo ra bởi đào tạo chúng trên dữ liệu mà các công ty có quyền khai thác. Kiến trúc Firefly của Adobe, từ văn bản sang hình ảnh (và hiện tại là văn bản sang video), được cung cấp chủ yếu bởi việc mua lại tập dữ liệu hình ảnh cổ phiếu Fotolia vào năm 2014, được bổ sung bởi việc sử dụng dữ liệu thuộc phạm vi công cộng đã hết bản quyền*. Đồng thời, các nhà cung cấp ảnh cổ phiếu hiện có như Getty và Shutterstock đã tận dụng giá trị mới của dữ liệu được cấp phép của họ, với số lượng ngày càng tăng các thỏa thuận để cấp phép nội dung hoặc phát triển các hệ thống GenAI tuân thủ IP của riêng họ.

Giải Pháp Tổng Hợp

Việc loại bỏ dữ liệu bản quyền khỏi không gian tiềm ẩn của một mô hình trí tuệ nhân tạo là một vấn đề đầy thách thức, các sai lầm trong lĩnh vực này có thể rất tốn kém cho các công ty đang thử nghiệm với các giải pháp tiêu dùng và kinh doanh sử dụng học máy.

Một giải pháp thay thế, và rẻ hơn nhiều cho các hệ thống tầm nhìn máy tính (và cũng cho các Mô hình Ngôn ngữ Lớn, hoặc LLM), là sử dụng dữ liệu tổng hợp, nơi tập dữ liệu được tạo thành từ các ví dụ được tạo ngẫu nhiên của miền mục tiêu (chẳng hạn như khuôn mặt, mèo, nhà thờ, hoặc thậm chí là một tập dữ liệu tổng quát hơn).

Các trang web như thispersondoesnotexist.com đã phổ biến ý tưởng rằng các bức ảnh chân thực của những người ‘không thực’ có thể được tổng hợp (trong trường hợp cụ thể này, thông qua Mạng Đối抗 Tạo sinh, hoặc GAN) mà không có bất kỳ mối quan hệ nào với những người thực sự tồn tại trong thế giới thực.

Vì vậy, nếu bạn đào tạo một hệ thống nhận dạng khuôn mặt hoặc một hệ thống tạo sinh trên các ví dụ trừu tượng và không thực này, bạn có thể về lý thuyết đạt được một tiêu chuẩn sản xuất photorealistic cho một mô hình trí tuệ nhân tạo mà không cần xem xét liệu dữ liệu có khả năng sử dụng hợp pháp hay không.

Cân Bằng

Vấn đề là các hệ thống tạo ra dữ liệu tổng hợp được đào tạo trên dữ liệu thực. Nếu các dấu vết của dữ liệu đó chảy vào dữ liệu tổng hợp, điều này có thể cung cấp bằng chứng rằng vật liệu hạn chế hoặc không được ủy quyền đã được khai thác để thu lợi.

Để tránh điều này, và để tạo ra hình ảnh ‘ngẫu nhiên’ thực sự, các mô hình như vậy cần phải được tổng quát hóa tốt. Tổng quát hóa là thước đo khả năng của một mô hình trí tuệ nhân tạo được đào tạo để hiểu các khái niệm cấp cao (chẳng hạn như ‘khuôn mặt’, ‘người đàn ông’, hoặc ‘phụ nữ’) mà không cần sao chép dữ liệu đào tạo thực tế.

Thật không may, nó có thể khó khăn cho các hệ thống được đào tạo để tạo ra (hoặc nhận ra) chi tiết粒 nếu chúng không được đào tạo rộng rãi trên một tập dữ liệu. Điều này khiến hệ thống dễ bị rủi ro về việc ghi nhớ: một xu hướng để sao chép, ở một mức độ nào đó, các ví dụ của dữ liệu đào tạo thực tế.

Điều này có thể được giảm thiểu bằng cách đặt một tỷ lệ học tập thoải mái hơn, hoặc bằng cách kết thúc đào tạo tại một giai đoạn nơi các khái niệm cốt lõi vẫn còn linh hoạt và không liên quan đến bất kỳ điểm dữ liệu cụ thể nào (chẳng hạn như một hình ảnh cụ thể của một người, trong trường hợp của một tập dữ liệu khuôn mặt).

Tuy nhiên, cả hai biện pháp khắc phục này có thể dẫn đến các mô hình có ít chi tiết hơn, vì hệ thống không có cơ hội tiến bộ vượt quá ‘cơ bản’ của miền mục tiêu và xuống đến các chi tiết cụ thể.

Vì vậy, trong tài liệu khoa học, các tốc độ học tập rất cao và lịch trình đào tạo toàn diện thường được áp dụng. Mặc dù các nhà nghiên cứu thường cố gắng tìm sự cân bằng giữa tính ứng dụng rộng rãi và độ hạt trong mô hình cuối cùng, nhưng ngay cả các hệ thống ‘ghi nhớ’ một chút cũng có thể thường xuyên tự giới thiệu mình như là các hệ thống được tổng quát hóa tốt – ngay cả trong các thử nghiệm ban đầu.

Khám Phá Khuôn Mặt

Điều này đưa chúng ta đến một bài báo thú vị mới từ Thụy Sĩ, cho rằng đây là lần đầu tiên chứng minh rằng các hình ảnh thực ban đầu cung cấp năng lượng cho dữ liệu tổng hợp có thể được phục hồi từ các hình ảnh được tạo ra mà về lý thuyết nên hoàn toàn ngẫu nhiên:

Các kết quả, các tác giả cho rằng, chỉ ra rằng ‘các máy tạo sinh tổng hợp’ thực sự đã ghi nhớ rất nhiều điểm dữ liệu đào tạo. Họ cũng cho rằng các hệ thống dựa vào dữ liệu tổng hợp để bảo vệ các nhà sản xuất trí tuệ nhân tạo khỏi các hậu quả pháp lý có thể rất không đáng tin cậy trong khía cạnh này.

Các nhà nghiên cứu đã tiến hành một nghiên cứu rộng rãi về sáu tập dữ liệu tổng hợp tổng hợp, chứng minh rằng trong tất cả các trường hợp, dữ liệu ban đầu (có thể được bản quyền hoặc bảo vệ) có thể được phục hồi. Họ nhận xét:

‘Thử nghiệm của chúng tôi chứng minh rằng các tập dữ liệu nhận dạng khuôn mặt tổng hợp hiện đại chứa các mẫu rất gần với các mẫu trong dữ liệu đào tạo của mô hình tạo sinh của chúng. Trong một số trường hợp, các mẫu tổng hợp chứa các thay đổi nhỏ đối với hình ảnh ban đầu, tuy nhiên, chúng tôi cũng có thể quan sát thấy trong một số trường hợp, mẫu được tạo ra chứa nhiều biến thể (ví dụ: tư thế khác, điều kiện ánh sáng, v.v.) trong khi danh tính được bảo tồn.’

‘Điều này cho thấy rằng các mô hình tạo sinh đang học và ghi nhớ thông tin liên quan đến danh tính từ dữ liệu đào tạo và có thể tạo ra các danh tính tương tự. Điều này tạo ra những lo ngại quan trọng về việc áp dụng dữ liệu tổng hợp trong các nhiệm vụ nhạy cảm về quyền riêng tư, chẳng hạn như sinh trắc học và nhận dạng khuôn mặt.’

Bài báo có tiêu đề Khám Phá Khuôn Mặt Tổng Hợp: Làm Thế Nào Để Các Tập Dữ Liệu Tổng Hợp Có Thể Tiết Lộ Danh Tính Thật, và đến từ hai nhà nghiên cứu tại Viện Nghiên cứu Idiap tại Martigny, École Polytechnique Fédérale de Lausanne (EPFL), và Université de Lausanne (UNIL) tại Lausanne.

Phương Pháp, Dữ Liệu và Kết Quả

Các khuôn mặt được ghi nhớ trong nghiên cứu đã được tiết lộ bằng cách sử dụng Cuộc Tấn Công Thành Viên. Mặc dù khái niệm này có vẻ phức tạp, nhưng nó khá dễ hiểu: việc suy luận thành viên, trong trường hợp này, đề cập đến quá trình đặt câu hỏi cho hệ thống cho đến khi nó tiết lộ dữ liệu mà bạn đang tìm kiếm hoặc tương tự như vậy.

Các nhà nghiên cứu đã nghiên cứu sáu tập dữ liệu tổng hợp mà nguồn gốc thực sự đã biết. Vì cả tập dữ liệu thực và giả đều chứa một lượng lớn hình ảnh, điều này hiệu quả như tìm kiếm một chiếc kim trong một đống rơm.

Vì vậy, các tác giả đã sử dụng một mô hình nhận dạng khuôn mặt sẵn có^† với một ResNet100 backbone được đào tạo trên AdaFace hàm mất mát (trên WebFace12M dataset).

Sáu tập dữ liệu tổng hợp được sử dụng là: DCFace (mô hình khuếch tán tiềm ẩn); IDiff-Face (Đồng nhất – mô hình khuếch tán dựa trên FFHQ); IDiff-Face (Hai giai đoạn – một biến thể sử dụng phương pháp lấy mẫu khác); GANDiffFace (dựa trên Mạng Đối抗 Tạo sinh và Mô hình Khuếch tán, sử dụng StyleGAN3 để tạo ra các danh tính ban đầu, và sau đó DreamBooth để tạo ra các ví dụ đa dạng); IDNet (một phương pháp dựa trên GAN, dựa trên StyleGAN-ADA); và SFace (một khuôn khổ bảo vệ danh tính).

Because GANDiffFace sử dụng cả GAN và phương pháp khuếch tán, nó đã được so sánh với tập dữ liệu đào tạo của StyleGAN – gần nhất với ‘nguồn gốc khuôn mặt thực’ mà mạng này cung cấp.

Các tác giả đã loại bỏ các tập dữ liệu tổng hợp sử dụng CGI thay vì phương pháp trí tuệ nhân tạo, và khi đánh giá kết quả, đã loại bỏ các trận đấu cho trẻ em, do các bất thường phân phối trong khía cạnh này, cũng như các hình ảnh không phải khuôn mặt (có thể xảy ra thường xuyên trong các tập dữ liệu khuôn mặt, nơi các hệ thống thu thập web tạo ra các kết quả dương tính giả cho các đối tượng hoặc các hiện tượng có chất lượng khuôn mặt).

Tương đồng cosine đã được tính toán cho tất cả các cặp được thu hồi, và được kết hợp vào các biểu đồ, được minh họa dưới đây:

Số lượng tương đồng được thể hiện trong các đỉnh của biểu đồ trên. Bài báo cũng có các so sánh mẫu từ sáu tập dữ liệu, và các hình ảnh ước tính tương ứng trong các tập dữ liệu thực (ban đầu), trong đó một số lựa chọn được giới thiệu dưới đây:

Bài báo nhận xét:

‘[Các] tập dữ liệu tổng hợp được tạo ra chứa các hình ảnh rất giống với các hình ảnh trong tập dữ liệu đào tạo của mô hình tạo sinh của chúng, điều này gây ra những lo ngại về việc tạo ra các danh tính như vậy.’

Các tác giả lưu ý rằng đối với cách tiếp cận này, việc mở rộng quy mô lên các tập dữ liệu lớn hơn có thể không hiệu quả, vì tính toán cần thiết sẽ rất tốn kém. Họ quan sát thêm rằng so sánh trực quan là cần thiết để suy luận các trận đấu, và rằng nhận dạng khuôn mặt tự động alone sẽ không có khả năng đủ cho một nhiệm vụ lớn hơn.

Về các ý nghĩa của nghiên cứu, và với tầm nhìn về con đường phía trước, công việc này cho biết:

‘[Chúng tôi] muốn nhấn mạnh rằng động lực chính để tạo ra các tập dữ liệu tổng hợp là để giải quyết các lo ngại về quyền riêng tư khi sử dụng các tập dữ liệu khuôn mặt lớn được thu thập từ web. Vì vậy, việc rò rỉ bất kỳ thông tin nhạy cảm nào (chẳng hạn như danh tính của các hình ảnh thực trong dữ liệu đào tạo) trong tập dữ liệu tổng hợp gây ra những lo ngại quan trọng về việc áp dụng dữ liệu tổng hợp cho các nhiệm vụ nhạy cảm về quyền riêng tư, chẳng hạn như sinh trắc học. Nghiên cứu của chúng tôi làm sáng tỏ các cạm bẫy về quyền riêng tư trong việc tạo ra các tập dữ liệu nhận dạng khuôn mặt tổng hợp và mở ra con đường cho các nghiên cứu trong tương lai về việc tạo ra các tập dữ liệu khuôn mặt tổng hợp có trách nhiệm.’

Mặc dù các tác giả hứa sẽ phát hành mã cho công việc này tại trang dự án, nhưng hiện tại không có liên kết đến kho mã.

Kết Luận

Gần đây, sự chú ý của truyền thông đã nhấn mạnh vào sự giảm dần thu được bằng cách đào tạo các mô hình trí tuệ nhân tạo trên dữ liệu được tạo ra bởi trí tuệ nhân tạo.

Nghiên cứu mới của Thụy Sĩ, tuy nhiên, đưa ra một sự xem xét có thể quan trọng hơn đối với số lượng ngày càng tăng các công ty muốn tận dụng và lợi dụng trí tuệ nhân tạo – sự tồn tại của các mẫu dữ liệu được bảo vệ bởi quyền sở hữu trí tuệ hoặc không được ủy quyền, ngay cả trong các tập dữ liệu được thiết kế để chống lại việc thực hành này. Nếu chúng ta phải định nghĩa nó, trong trường hợp này, nó có thể được gọi là ‘rửa khuôn mặt’.

* Tuy nhiên, quyết định của Adobe cho phép người dùng tải lên các hình ảnh được tạo ra bởi trí tuệ nhân tạo lên Adobe Stock đã hiệu quả làm suy yếu sự ‘tinh khiết’ pháp lý của dữ liệu này. Bloomberg cho rằng vào tháng 4 năm 2024, các hình ảnh được cung cấp bởi người dùng từ hệ thống trí tuệ nhân tạo tạo sinh MidJourney đã được kết hợp vào khả năng của Firefly.

^† Mô hình này không được xác định trong bài báo.

Được xuất bản lần đầu vào thứ Tư, ngày 6 tháng 11 năm 2024