Nghiên cứu của Disney Cung Cấp Phương Pháp Nén Ảnh Dựa Trên Trí Tuệ Nhân Tạo – Nhưng Nó Có Thể Tạo Ra Chi Tiết Ảo

Phòng nghiên cứu của Disney đang cung cấp một phương pháp mới để nén ảnh, tận dụng mô hình Stable Diffusion V1.2 mã nguồn mở để tạo ra hình ảnh thực tế hơn tại bitrate thấp hơn so với các phương pháp cạnh tranh.

Phương pháp nén của Disney so với các phương pháp trước đây. Các tác giả tuyên bố rằng phương pháp của họ có khả năng phục hồi chi tiết tốt hơn, đồng thời cung cấp một mô hình không yêu cầu hàng trăm nghìn đô la để đào tạo và hoạt động nhanh hơn so với các phương pháp cạnh tranh tương đương. Nguồn: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Phương pháp mới (được định nghĩa là một ‘codec’ mặc dù nó phức tạp hơn so với các codec truyền thống như JPEG và AV1) có thể hoạt động trên bất kỳ Mô hình khuếch tán tiềm ẩn (LDM). Trong các thử nghiệm định lượng, nó vượt trội so với các phương pháp trước đây về độ chính xác và chi tiết, và yêu cầu ít đào tạo và chi phí tính toán hơn.

Điểm mấu chốt của công việc mới là lỗi lượng hóa (một quá trình trung tâm trong tất cả các phương pháp nén ảnh) tương tự như tiếng ồn (một quá trình trung tâm trong các mô hình khuếch tán).

Do đó, một hình ảnh được lượng hóa “truyền thống” có thể được coi là một phiên bản ồn ào của hình ảnh gốc và được sử dụng trong quá trình làm sạch tiếng ồn của LDM thay vì tiếng ồn ngẫu nhiên, để tái tạo hình ảnh tại bitrate mục tiêu.

So sánh thêm về phương pháp mới của Disney (được đánh dấu màu xanh lá cây), so với các phương pháp đối thủ.

Các tác giả cho rằng:

‘Chúng tôi xây dựng việc loại bỏ lỗi lượng hóa thành một nhiệm vụ làm sạch tiếng ồn, sử dụng sự khuếch tán để phục hồi thông tin bị mất trong hình ảnh tiềm ẩn được truyền. Phương pháp của chúng tôi cho phép chúng tôi thực hiện ít hơn 10% quá trình tạo khuếch tán hoàn chỉnh và không yêu cầu thay đổi kiến trúc đối với mô hình khuếch tán, cho phép sử dụng các mô hình nền tảng như một mô hình mạnh trước mà không cần điều chỉnh mô hình cơ bản thêm.

‘Codec đề xuất của chúng tôi vượt trội so với các phương pháp trước đây về các chỉ số thực tế định lượng, và chúng tôi xác nhận rằng các bản tái tạo của chúng tôi được người dùng cuối ưa chuộng về mặt định lượng, ngay cả khi các phương pháp khác sử dụng gấp đôi bitrate.’

Tuy nhiên, giống như các dự án khác nhằm khai thác khả năng nén của các mô hình khuếch tán, đầu ra có thể tạo ra ảo giác chi tiết. Ngược lại, các phương pháp mất như JPEG sẽ tạo ra các khu vực chi tiết bị biến dạng rõ ràng hoặc mịn, có thể được người xem bình thường nhận ra là giới hạn nén.

Thay vào đó, codec của Disney có thể thay đổi chi tiết từ ngữ cảnh không có trong hình ảnh nguồn, do bản chất thô của Mô hình tự động mã hóa (VAE) được sử dụng trong các mô hình thông thường được đào tạo trên dữ liệu siêu quy mô.

‘Tương tự như các phương pháp tạo sinh khác, phương pháp của chúng tôi có thể loại bỏ một số tính năng hình ảnh trong khi tổng hợp thông tin tương tự ở phía nhận. Trong một số trường hợp cụ thể, tuy nhiên, điều này có thể dẫn đến việc tái tạo không chính xác, chẳng hạn như uốn cong các đường thẳng hoặc làm cong biên giới của các vật thể nhỏ.

‘Những vấn đề này đã được biết đến của mô hình nền tảng mà chúng tôi xây dựng, có thể được quy cho chiều kích thước tính năng tương đối thấp của VAE.’

Mặc dù điều này có một số ý nghĩa đối với các hình ảnh nghệ thuật và tính xác thực của các bức ảnh thông thường, nhưng nó có thể có tác động quan trọng hơn trong các trường hợp mà các chi tiết nhỏ cấu thành thông tin thiết yếu, chẳng hạn như bằng chứng cho các vụ án tòa án, dữ liệu cho nhận dạng khuôn mặt, quét cho Nhận dạng Ký tự Quang học (OCR) và nhiều trường hợp sử dụng có thể khác, trong trường hợp codec có khả năng này trở nên phổ biến.

Ở giai đoạn sơ khai của tiến bộ trong nén ảnh dựa trên trí tuệ nhân tạo, tất cả các kịch bản có thể này đều còn xa. Tuy nhiên, lưu trữ hình ảnh là một thách thức toàn cầu về quy mô, liên quan đến các vấn đề về lưu trữ dữ liệu, truyền phát và tiêu thụ điện, ngoài các vấn đề khác. Do đó, nén dựa trên trí tuệ nhân tạo có thể cung cấp một sự đánh đổi hấp dẫn giữa độ chính xác và hậu cần. Lịch sử cho thấy rằng các codec tốt nhất không luôn giành được cơ sở người dùng rộng nhất, khi các vấn đề như giấy phép và chiếm lĩnh thị trường bởi các định dạng độc quyền là các yếu tố trong việc áp dụng.

Disney đã thử nghiệm máy học như một phương pháp nén trong một thời gian dài. Vào năm 2020, một trong những nhà nghiên cứu trong bài báo mới đã tham gia vào một dự án dựa trên VAE để cải thiện nén video.

Bài báo mới của Disney đã được cập nhật vào đầu tháng 10. Hôm nay, công ty đã phát hành một video trên YouTube đi kèm. Dự án có tiêu đề Nén Ảnh Mất với Mô hình Khuếch tán Nền tảng, và đến từ bốn nhà nghiên cứu tại ETH Zürich (liên kết với các dự án dựa trên trí tuệ nhân tạo của Disney) và Nghiên cứu Disney. Các nhà nghiên cứu cũng cung cấp một bài báo bổ sung.

Phương Pháp

Phương pháp mới sử dụng một VAE để mã hóa hình ảnh thành biểu diễn tiềm ẩn nén của nó. Tại giai đoạn này, hình ảnh đầu vào bao gồm các tính năng phái sinh – các biểu diễn vector cấp thấp. Biểu diễn tiềm ẩn được lượng hóa trở lại thành một luồng bit, và trở lại không gian pixel.

Hình ảnh lượng hóa này sau đó được sử dụng như một mẫu cho tiếng ồn thường dùng để tạo ra hình ảnh dựa trên khuếch tán, với số bước làm sạch tiếng ồn khác nhau (trong đó thường có sự đánh đổi giữa tăng số bước làm sạch tiếng ồn và độ chính xác cao hơn, so với độ trễ thấp hơn và hiệu quả cao hơn).

Sơ đồ cho phương pháp nén mới của Disney.

Cả các tham số lượng hóa và tổng số bước làm sạch tiếng ồn có thể được kiểm soát trong hệ thống mới, thông qua việc đào tạo một mạng nơ-ron dự đoán các biến số liên quan đến các khía cạnh của quá trình mã hóa. Quá trình này được gọi là lượng hóa thích ứng, và hệ thống của Disney sử dụng khuôn khổ Entroformer làm mô hình entropy cung cấp quy trình.

Các tác giả tuyên bố:

‘Nói một cách trực quan, phương pháp của chúng tôi học cách loại bỏ thông tin (thông qua biến đổi lượng hóa) có thể được tổng hợp trong quá trình khuếch tán. Vì các lỗi được giới thiệu trong quá trình lượng hóa tương tự như việc thêm và các mô hình khuếch tán là các mô hình làm sạch tiếng ồn, chúng có thể được sử dụng để loại bỏ tiếng ồn lượng hóa được giới thiệu trong quá trình mã hóa.’

Stable Diffusion V2.1 là xương sống khuếch tán cho hệ thống, được chọn vì toàn bộ mã và trọng số cơ bản đều có sẵn công khai. Tuy nhiên, các tác giả nhấn mạnh rằng sơ đồ của họ có thể áp dụng được cho nhiều mô hình hơn.

Quan trọng đối với kinh tế của quá trình là dự đoán bước thời gian, đánh giá số bước làm sạch tiếng ồn tối ưu – một sự cân bằng giữa hiệu quả và hiệu suất.

Dự đoán bước thời gian, với số bước làm sạch tiếng ồn tối ưu được chỉ định bằng đường viền đỏ. Vui lòng tham khảo tệp PDF nguồn để có độ phân giải chính xác.

Số lượng tiếng ồn trong biểu diễn tiềm ẩn cần được xem xét khi thực hiện dự đoán về số bước làm sạch tiếng ồn tốt nhất.

Dữ Liệu và Kiểm Tra

Mô hình được đào tạo trên tập dữ liệu Vimeo-90k. Các hình ảnh được cắt ngẫu nhiên thành 256x256px cho mỗi epoch (tức là mỗi lần tiêu thụ toàn bộ tập dữ liệu đã tinh chỉnh bởi kiến trúc đào tạo mô hình).

Mô hình được tối ưu hóa trong 300.000 bước tại tốc độ học 1e-4. Đây là phổ biến nhất trong các dự án tầm nhìn máy tính, và cũng là giá trị thấp nhất và tinh tế nhất thường được thực hiện, như một sự thỏa hiệp giữa sự khái quát rộng rãi của các khái niệm và thuộc tính của tập dữ liệu, và khả năng tái tạo chi tiết tinh tế.

Các tác giả bình luận về một số xem xét hậu cần cho một hệ thống kinh tế nhưng hiệu quả:

‘Trong quá trình đào tạo, việc truyền ngược gradient qua nhiều lần chạy của mô hình khuếch tán khi nó chạy trong lấy mẫu DDIM là không thể thực hiện được về mặt chi phí. Do đó, chúng tôi chỉ thực hiện một lần lặp lại lấy mẫu DDIM và sử dụng trực tiếp [nó] làm dữ liệu đã làm sạch hoàn toàn.’

Các tập dữ liệu được sử dụng để kiểm tra hệ thống là Kodak; CLIC2022; và COCO 30k. Tập dữ liệu đã được tiền xử lý theo phương pháp được nêu trong bài báo Google năm 2023 Nén Ảnh Đa Thực với Máy Tạo Điều Kiện.

Các chỉ số được sử dụng là Tỷ Lệ Tín Hiệu trên Tiếng Ồn Đỉnh (PSNR); Chỉ Số Tương Tự Nhận thức Học được (LPIPS); Chỉ Số Tương Tự Cấu Trúc Đa Quy Mô (MS-SSIM); và Khoảng Cách Inception Fréchet (FID).

Các khuôn khổ trước đó được kiểm tra đã được chia thành các hệ thống cũ hơn sử dụng Mạng Đối Thủ Generative (GAN) và các phương pháp gần đây dựa trên mô hình khuếch tán. Các hệ thống GAN được kiểm tra là Nén Ảnh Tạo Sinh Độ Phân Giải Cao (HiFiC); và ILLM (cung cấp một số cải tiến so với HiFiC).

Các hệ thống dựa trên khuếch tán là Nén Ảnh Mất với Mô hình Khuếch tán Điều Kiện (CDC) và Nén Ảnh Độ Phân Giải Cao với Mô hình Tạo Sinh Dựa trên Điểm (HFD).

Kết quả định lượng so với các khuôn khổ trước đó trên các tập dữ liệu khác nhau.

Đối với kết quả định lượng (được trực quan hóa ở trên), các nhà nghiên cứu tuyên bố:

‘Phương pháp của chúng tôi thiết lập một trạng thái mới của nghệ thuật trong tính thực tế của hình ảnh tái tạo, vượt trội so với tất cả các phương pháp cơ bản trong các đường cong FID-bitrate. Trong một số chỉ số biến dạng (cụ thể là LPIPS và MS-SSIM), chúng tôi vượt trội so với tất cả các codec dựa trên khuếch tán trong khi vẫn cạnh tranh với các codec tạo sinh hiệu suất cao nhất.

‘Như dự kiến, phương pháp của chúng tôi và các phương pháp tạo sinh khác gặp khó khăn khi đo bằng PSNR vì chúng tôi ưu tiên tái tạo dễ chịu về nhận thức thay vì sao chép chính xác chi tiết.’

Đối với nghiên cứu người dùng, một phương pháp lựa chọn thay thế bắt buộc hai lựa chọn (2AFC) đã được sử dụng, trong một bối cảnh giải đấu mà các hình ảnh được ưa chuộng sẽ tiếp tục đến các vòng sau. Nghiên cứu sử dụng hệ thống đánh giá Elo ban đầu được phát triển cho các giải đấu cờ vua.

Do đó, người tham gia sẽ xem và chọn hình ảnh tốt nhất trong hai hình ảnh 512x512px được trình bày trên các phương pháp tạo sinh khác nhau. Một thí nghiệm bổ sung đã được thực hiện trong đó tất cả so sánh hình ảnh từ cùng một người dùng được đánh giá, thông qua một mô phỏng Monte Carlo trong 10.000 lần lặp lại, với điểm trung vị được trình bày trong kết quả.

Đánh giá Elo ước tính cho nghiên cứu người dùng, với giải đấu Elo cho mỗi so sánh (bên trái) và cũng cho mỗi người tham gia, với giá trị cao hơn là tốt hơn.

Tại đây, các tác giả bình luận:

‘Như có thể thấy trong các điểm Elo, phương pháp của chúng tôi vượt trội đáng kể so với tất cả các phương pháp khác, ngay cả so với CDC, sử dụng trung bình gấp đôi số bit của phương pháp của chúng tôi. Điều này vẫn đúng bất kể chiến lược giải đấu Elo được sử dụng.’

Trong bài báo gốc, cũng như trong bài báo bổ sung, các tác giả cung cấp thêm các so sánh trực quan, một trong số đó được hiển thị trước trong bài viết này. Tuy nhiên, do sự khác biệt tinh tế giữa các mẫu, chúng tôi đề nghị người đọc tham khảo tệp PDF nguồn, để những kết quả này có thể được đánh giá công bằng.

Kết Luận

Các nhà nghiên cứu của ETH/Disney rõ ràng về khả năng của hệ thống tạo ra chi tiết giả. Tuy nhiên, không có mẫu nào trong tài liệu tập trung vào vấn đề này.

Để công bằng, vấn đề này không chỉ giới hạn ở phương pháp mới của Disney, mà là một tác dụng phụ không thể tránh khỏi của việc sử dụng các mô hình khuếch tán – một kiến trúc sáng tạo và giải thích – để nén hình ảnh.

Đáng chú ý, chỉ năm ngày trước, hai nhà nghiên cứu khác từ ETH Zurich đã sản xuất một bài báo có tiêu đề Ảo giác Điều kiện cho Nén Ảnh, điều tra khả năng của một ‘mức ảo giác tối ưu’ trong các hệ thống nén dựa trên trí tuệ nhân tạo.

Các tác giả ở đó lập luận về sự mong muốn của ảo giác khi miền là chung (và, có thể nói là ‘vô hại’) đủ:

‘Đối với nội dung giống như kết cấu, chẳng hạn như cỏ, tàn nhang và tường đá, việc tạo pixel khớp với một kết cấu nhất định là quan trọng hơn việc tái tạo giá trị pixel chính xác; tạo bất kỳ mẫu nào từ phân phối của một kết cấu nói chung là đủ.’

Do đó, bài báo thứ hai lập luận về sự sáng tạo và đại diện của nén một cách tối ưu, thay vì tái tạo chính xác nhất có thể các đặc điểm và đường nét cốt lõi của hình ảnh không nén ban đầu.

Người ta tự hỏi cộng đồng nhiếp ảnh và sáng tạo sẽ nghĩ gì về định nghĩa lại ‘nén’ một cách khá cực đoan này.

* Tôi đã chuyển đổi các trích dẫn nội tuyến của tác giả thành liên kết.

Được xuất bản lần đầu vào thứ Tư, ngày 30 tháng 10 năm 2024