Làm thế nào để biết khi hệ thống tổng hợp hình ảnh tạo ra vật liệu ‘nguyên bản’ thực sự

Một nghiên cứu mới từ Hàn Quốc đã đề xuất một phương pháp để xác định liệu hệ thống tổng hợp hình ảnh có tạo ra hình ảnh mới và nguyên bản hay không, hoặc chỉ là ‘phiên bản nhỏ’ của dữ liệu đào tạo, có thể đánh bại mục tiêu của các kiến trúc như vậy (chẳng hạn như sản xuất hình ảnh mới và nguyên bản).

Rất thường, bài báo đề xuất, điều sau là đúng, vì các metric hiện có mà các hệ thống như vậy sử dụng để cải thiện khả năng tạo ra của chúng trong quá trình đào tạo bị ép buộc phải ưu tiên hình ảnh tương đối gần với hình ảnh nguồn (không giả) trong tập dữ liệu.

Sau tất cả, nếu một hình ảnh được tạo ra là ‘gần về mặt hình ảnh’ với dữ liệu nguồn, nó sẽ chắc chắn có được điểm cao hơn cho ‘tính xác thực’ hơn là ‘tính nguyên bản’, vì nó ‘đúng’ – nếu không sáng tạo.

Trong một lĩnh vực quá non trẻ và chưa được thử nghiệm để có thể biết được các tác động pháp lý của nó, điều này có thể trở thành một vấn đề pháp lý quan trọng, nếu nó xảy ra rằng nội dung hình ảnh tổng hợp thương mại không khác biệt đủ với tài liệu nguồn (thường) được bản quyền mà hiện đang cho phép thấm vào lĩnh vực nghiên cứu dưới dạng tập dữ liệu web-scraped phổ biến (tiềm năng cho các khiếu nại vi phạm tương lai của loại này đã đạt được sự nổi bật khá gần đây liên quan đến GitHub Co-Pilot AI của Microsoft ).

Về mặt đầu ra ngày càng hợp lý và ngữ nghĩa mạnh mẽ từ các hệ thống như OpenAI’s DALL-E 2, Google’s Imagen, và China’s CogView releases (cũng như DALL-E mini có thông số kỹ thuật thấp hơn), có rất ít cách hậu quả đáng tin cậy để kiểm tra tính nguyên bản của một hình ảnh được tạo ra.

Thật vậy, tìm kiếm một số hình ảnh DALL-E 2 mới nhất sẽ thường chỉ dẫn đến các trường hợp khác của cùng một hình ảnh, tùy thuộc vào công cụ tìm kiếm.

Tải lên một nhóm đầu ra DALL-E 2 hoàn chỉnh chỉ dẫn đến nhiều nhóm đầu ra DALL-E 2 khác, vì cấu trúc lưới là tính năng mạnh nhất. Việc tách và tải lên hình ảnh đầu tiên (từ bài đăng Twitter này của ngày 8 tháng 6 năm 2022, từ tài khoản ‘Weird Dall-E Generations’) khiến Google tập trung vào quả bóng rổ trong hình ảnh, đưa tìm kiếm dựa trên hình ảnh xuống một ngõ cụt ngữ nghĩa. Đối với tìm kiếm dựa trên hình ảnh相同, Yandex dường như đang thực hiện một số phân tích và khớp tính năng dựa trên pixel thực sự.

Mặc dù Yandex có nhiều khả năng hơn Google Search trong việc sử dụng tính năng (tức là các tính năng được tính toán/gán cho một hình ảnh, không nhất thiết phải là các tính năng khuôn mặt của con người) và đặc điểm hình ảnh (thay vì ngữ nghĩa) của một hình ảnh được gửi để tìm kiếm hình ảnh tương tự, tất cả các công cụ tìm kiếm dựa trên hình ảnh đều có một số chương trình hoặc thực tiễn nào đó có thể khiến việc xác định các trường hợp đạo văn nguồn>được tạo ra thông qua tìm kiếm web trở nên khó khăn.

Bên cạnh đó, dữ liệu đào tạo cho một mô hình tạo ra có thể không được công khai toàn bộ, làm cản trở việc kiểm tra tính nguyên bản của hình ảnh được tạo ra.

Thật thú vị, việc thực hiện tìm kiếm dựa trên hình ảnh trên một trong những hình ảnh tổng hợp được Google giới thiệu tại trang web dành riêng cho Imagen không tìm thấy gì tương tự về chủ đề của hình ảnh, về mặt nhìn vào hình ảnh và tìm kiếm hình ảnh tương tự một cách vô tư:

Ngược lại, Yandex tìm thấy nhiều hình ảnh thực tế liên quan đến cộng đồng nghệ thuật nghiệp dư:

Nói chung, sẽ tốt hơn nếu tính mới hoặc tính nguyên bản của đầu ra của hệ thống tổng hợp hình ảnh có thể được đo lường một cách nào đó, mà không cần phải trích xuất tính năng từ mọi hình ảnh web có thể truy cập trên internet vào thời điểm mô hình được đào tạo, hoặc trong các tập dữ liệu không công khai có thể sử dụng tài liệu có bản quyền.

Liên quan đến vấn đề này, các nhà nghiên cứu từ Trường Cao học AI Jaechul Kim tại Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST AI) đã hợp tác với công ty công nghệ thông tin và tìm kiếm toàn cầu NAVER Corp để phát triển một Điểm số Hiếm có thể giúp xác định các sáng tạo gốc hơn của hệ thống tổng hợp hình ảnh.

Các hình ảnh ở đây được tạo ra thông qua StyleGAN-FFHQ. Từ trái sang phải, các cột chỉ ra kết quả từ tồi tệ nhất đến tốt nhất. Chúng ta có thể thấy rằng metric ‘Truncation trick’ (xem dưới đây) và metric Thực tế có chương trình riêng của chúng, trong khi điểm số ‘Độ hiếm’ mới (hàng trên cùng) đang tìm kiếm hình ảnh gắn kết nhưng nguyên bản (thay vì chỉ gắn kết).  Vì có giới hạn kích thước hình ảnh trong bài viết này, vui lòng xem bài báo nguồn để có chi tiết và độ phân giải tốt hơn. Nguồn: https://arxiv.org/pdf/2206.08549.pdf

Bài báo mới này có tiêu đề Điểm số Hiếm: Một Metric Mới để Đánh giá Sự Không Phổ Biến của Hình ảnh Tổng hợp, và đến từ ba nhà nghiên cứu tại KAIST, và ba từ NAVER Corp.

Beyond the ‘Cheap Trick’

Trong số các metric trước đó mà bài báo mới này đang tìm cách cải thiện là ‘Truncation trick’ được đề xuất vào năm 2019 trong một sự hợp tác giữa Đại học Heriot-Watt của Anh và DeepMind của Google.

‘Truncation Trick’ cơ bản sử dụng một phân phối ẩn khác cho việc lấy mẫu so với phân phối được sử dụng để đào tạo mô hình tạo ra.

Các nhà nghiên cứu đã phát triển phương pháp này đã ngạc nhiên khi nó hoạt động, nhưng thừa nhận trong bài báo gốc rằng nó làm giảm sự đa dạng của đầu ra được tạo ra. Dù vậy, ‘Truncation Trick’ đã trở nên hiệu quả và phổ biến, trong bối cảnh có thể được mô tả lại là một ‘mánh lới rẻ tiền’ để có được kết quả chân thực mà không thực sự hấp thụ tất cả các khả năng tiềm ẩn trong dữ liệu, và có thể giống với dữ liệu nguồn hơn là mong muốn.

Về ‘Truncation Trick’, các tác giả của bài báo mới quan sát:

‘[Nó] không được thiết kế để tạo ra mẫu hiếm trong tập dữ liệu đào tạo, mà để tổng hợp hình ảnh điển hình một cách ổn định hơn. Chúng tôi đưa ra giả thuyết rằng các mô hình tạo ra hiện có sẽ có thể sản xuất mẫu giàu hơn trong phân phối dữ liệu thực nếu bộ tạo có thể được kích hoạt để sản xuất mẫu hiếm một cách hiệu quả.’

Về xu hướng chung là dựa vào các metric truyền thống như Frechet Inception Distance (FID, đã đối mặt với sự chỉ trích gay gắt vào tháng 12 năm 2021), điểm khởi tạo (IS) và Kernel Inception Distance (KID) như ‘chỉ số tiến bộ’ trong quá trình đào tạo của một mô hình tạo ra, các tác giả nhận xét thêm*:

‘Phương pháp học này dẫn bộ tạo không tổng hợp nhiều mẫu hiếm, độc đáo và có đặc điểm mạnh mẽ không chiếm tỷ trọng lớn trong phân phối hình ảnh thực. Các ví dụ về mẫu hiếm từ các tập dữ liệu công khai bao gồm người có nhiều phụ kiện trong FFHQ, động vật trắng trong AFHQ, và tượng không phổ biến trong Metfaces.

‘Khả năng tạo ra mẫu hiếm quan trọng không chỉ vì nó liên quan đến khả năng cạnh của mô hình tạo ra, mà còn vì tính độc đáo đóng vai trò quan trọng trong các ứng dụng sáng tạo như con người ảo.

‘Tuy nhiên, kết quả định tính của một số nghiên cứu gần đây hiếm khi chứa các ví dụ hiếm này. Chúng tôi suy đoán rằng bản chất của lược đồ học đối kháng ép buộc phân phối hình ảnh được tạo ra tương tự như phân phối của tập dữ liệu đào tạo. Do đó, hình ảnh có cá tính hoặc hiếm chỉ chiếm một phần nhỏ trong hình ảnh được tổng hợp bởi các mô hình.’

Technique

Điểm số Hiếm mới của các nhà nghiên cứu thích ứng với một ý tưởng được trình bày trong các công việc trước – việc sử dụng K-Nearest Neighbors (KNNs) để đại diện cho các mảng dữ liệu thực (đào tạo) và tổng hợp (đầu ra) trong một hệ thống tổng hợp hình ảnh.

Về phương pháp phân tích mới này, các tác giả khẳng định:

‘Chúng tôi đưa ra giả thuyết rằng các mẫu thông thường sẽ gần nhau hơn, trong khi các mẫu độc đáo và hiếm sẽ nằm thưa thớt trong không gian tính năng.’

Hình ảnh kết quả trên cho thấy khoảng cách gần nhất của láng giềng (NNDs) từ nhỏ nhất đến lớn nhất, trong một kiến trúc StyleGAN được đào tạo trên FFHQ.

‘Đối với tất cả các tập dữ liệu, các mẫu có NND nhỏ nhất cho thấy hình ảnh điển hình và thông thường. Ngược lại, các mẫu có NND lớn nhất có cá tính mạnh mẽ và khác biệt đáng kể so với hình ảnh điển hình có NND nhỏ nhất.’

Theo lý thuyết, bằng cách sử dụng metric mới này như một bộ phân biệt, hoặc ít nhất bao gồm nó trong một kiến trúc phân biệt phức tạp hơn, một hệ thống tạo ra có thể được điều khiển tránh việc bắt chước thuần túy và hướng tới một thuật toán sáng tạo hơn, trong khi vẫn giữ được sự gắn kết của các khái niệm có thể quan trọng cho sản xuất hình ảnh chân thực (tức là ‘người đàn ông’, ‘người phụ nữ’, ‘xe hơi’, ‘nhà thờ’, v.v.).

Comparisons and Experiments

Trong các thử nghiệm, các nhà nghiên cứu đã tiến hành so sánh hiệu suất của Điểm số Hiếm với cả ‘Truncation Trick’ và Điểm số Thực tế của NVIDIA năm 2019, và phát hiện ra rằng trên nhiều khung và tập dữ liệu, cách tiếp cận này có thể phân biệt ‘độc đáo’ kết quả.

Mặc dù kết quả được trình bày trong bài báo quá rộng để được bao gồm ở đây, các nhà nghiên cứu dường như đã chứng minh khả năng của phương pháp mới trong việc xác định sự hiếm có trong cả hình ảnh nguồn (thực) và hình ảnh được tạo ra (giả) trong một quy trình tạo ra:

Các ví dụ được chọn từ kết quả hình ảnh rộng rãi được tái tạo trong bài báo (xem URL nguồn trên để biết thêm chi tiết). Ở bên trái, các ví dụ thực từ FFHQ có rất ít láng giềng gần (tức là mới và không phổ biến) trong tập dữ liệu ban đầu; ở bên phải, hình ảnh giả được tạo ra bởi StyleGAN, mà metric mới đã xác định là thực sự mới. Vì có giới hạn kích thước hình ảnh trong bài viết này, vui lòng xem bài báo nguồn để có chi tiết và độ phân giải tốt hơn.

Điểm số Hiếm mới không chỉ cho phép xác định ‘mới’ đầu ra trong một kiến trúc duy nhất, mà còn cho phép so sánh giữa các mô hình tạo ra có kiến trúc khác nhau (tức là tự mã hóa, VAE, GAN, v.v.).

Bài báo lưu ý rằng Điểm số Hiếm khác với các metric trước đó bằng cách tập trung vào khả năng của một khung tạo ra để tạo ra hình ảnh độc đáo và hiếm, trái ngược với các metric ‘truyền thống’, những metric này kiểm tra (hơn là hẹp hơn) sự đa dạng giữa các lần tạo ra trong quá trình đào tạo của mô hình.

Beyond Limited Tasks

Mặc dù các nhà nghiên cứu của bài báo mới này đã thực hiện các thử nghiệm trên các khung miền hạn chế (chẳng hạn như các kết hợp bộ tạo / tập dữ liệu được thiết kế để tạo ra hình ảnh của người hoặc mèo, v.v.), Điểm số Hiếm có thể được áp dụng cho bất kỳ quy trình tổng hợp hình ảnh tùy ý nào, nơi người ta muốn xác định các ví dụ được tạo ra sử dụng phân phối được dẫn xuất từ dữ liệu được đào tạo, thay vì tăng tính xác thực (và giảm đa dạng) bằng cách xen kẽ các phân phối ẩn nước ngoài, hoặc dựa vào các ‘mánh lới’ khác làm thỏa hiệp tính mới.

Trên thực tế, một metric như vậy có thể phân biệt đầu ra thực sự mới trong các hệ thống như loạt DALL-E, bằng cách sử dụng khoảng cách được xác định giữa một kết quả ‘dị thể’ rõ ràng, dữ liệu đào tạo và kết quả từ các lời nhắc hoặc đầu vào tương tự (tức là lời nhắc dựa trên hình ảnh).

Trong thực tế, và trong sự vắng mặt của một sự hiểu biết rõ ràng về mức độ mà hệ thống đã thực sự hấp thụ các khái niệm hình ảnh và ngữ nghĩa (thường bị cản trở bởi kiến thức hạn chế về dữ liệu đào tạo), điều này có thể là một phương pháp khả thi để xác định một ‘khoảnh khắc cảm hứng’ thực sự trong một hệ thống tạo ra – điểm mà một số lượng đủ đầu vào khái niệm và dữ liệu đã dẫn đến một cái gì đó thực sự sáng tạo, thay vì một cái gì đó quá dẫn xuất hoặc gần với dữ liệu nguồn.

* Tôi đã chuyển đổi các trích dẫn nội tuyến của tác giả thành liên kết.

Được xuất bản lần đầu vào ngày 20 tháng 6 năm 2022.