Tận dụng sự chú ý của con người để cải thiện hình ảnh được tạo bởi AI

Nghiên cứu mới từ Trung Quốc đã đề xuất một phương pháp để cải thiện chất lượng hình ảnh được tạo bởi các mô hình Latent Diffusion (LDM) như Stable Diffusion.

Phương pháp này tập trung vào việc tối ưu hóa các vùng salient của hình ảnh – các khu vực có khả năng thu hút sự chú ý của con người.

Nghiên cứu mới đã phát hiện ra rằng các bản đồ saliency (cột thứ tư từ trái) có thể được sử dụng như một bộ lọc, hoặc ‘mặt nạ’, để điều khiển quá trình denoising hướng tới các khu vực của hình ảnh mà con người có khả năng chú ý nhất. Nguồn: https://arxiv.org/pdf/2410.10257

Các phương pháp truyền thống tối ưu hóa toàn bộ hình ảnh đồng đều, trong khi phương pháp mới này tận dụng một bộ phát hiện saliency để xác định và ưu tiên các khu vực “quan trọng” hơn, giống như con người.

Trong các thử nghiệm định lượng và định tính, phương pháp của các nhà nghiên cứu đã vượt qua các mô hình dựa trên sự khuếch tán trước đó, cả về chất lượng hình ảnh và sự trung thực với các lời nhắc văn bản.

Phương pháp mới này cũng đạt được điểm cao nhất trong một thử nghiệm nhận thức của con người với 100 người tham gia.

Chọn lọc tự nhiên

Saliency, khả năng ưu tiên thông tin trong thế giới thực và trong hình ảnh, là một phần quan trọng của tầm nhìn con người.

Một ví dụ đơn giản về điều này là sự chú ý đến chi tiết tăng lên mà nghệ thuật cổ điển dành cho các khu vực quan trọng của một bức tranh, chẳng hạn như khuôn mặt trong một bức chân dung, hoặc cột buồm của một con tàu trong một chủ đề dựa trên biển; trong những ví dụ như vậy, sự chú ý của nghệ sĩ hội tụ vào chủ đề trung tâm, có nghĩa là các chi tiết rộng lớn như nền của một bức chân dung hoặc sóng biển xa của một cơn bão được描绘 một cách mờ hơn và đại diện hơn.

Được thông tin bởi các nghiên cứu về con người, các phương pháp học máy đã xuất hiện trong thập kỷ qua có thể sao chép hoặc ít nhất là gần giống với sự chú ý của con người vào bất kỳ hình ảnh nào.

Phân đoạn đối tượng (phân đoạn ngữ nghĩa) có thể là một trợ giúp trong việc xác định các khía cạnh của hình ảnh và phát triển các bản đồ saliency tương ứng. Nguồn: https://arxiv.org/pdf/1312.6034

Trong dòng nghiên cứu văn học, bộ phát hiện saliency phổ biến nhất trong năm năm qua đã là Gradient-weighted Class Activation Mapping (Grad-CAM) năm 2016, sau đó đã phát triển thành Grad-CAM++ cải tiến, cùng với các biến thể và tinh chỉnh khác.

Grad-CAM sử dụng hoạt động gradient của một token ngữ nghĩa (chẳng hạn như ‘chó’ hoặc ‘mèo’) để tạo ra một bản đồ trực quan về nơi khái niệm hoặc chú thích có vẻ như được đại diện trong hình ảnh.

Ví dụ từ bài báo Grad-CAM ban đầu. Trong cột thứ hai, quá trình guided backpropagation xác định tất cả các tính năng góp phần. Trong cột thứ ba, các bản đồ ngữ nghĩa được vẽ cho hai khái niệm ‘chó’ và ‘mèo’. Cột thứ tư đại diện cho sự kết hợp của hai suy luận trước. Cột thứ năm là bản đồ occlusion (mặt nạ) tương ứng với suy luận; và cuối cùng, trong cột thứ sáu, Grad-CAM trực quan hóa một lớp ResNet-18. Nguồn: https://arxiv.org/pdf/1610.02391

Các cuộc khảo sát của con người về kết quả thu được bằng những phương pháp này đã tiết lộ sự tương ứng giữa những individuations toán học của các điểm quan tâm chính trong hình ảnh và sự chú ý của con người (khi quét hình ảnh).

SGOOL

Bài báo mới xem xét những gì saliency có thể mang lại cho các hệ thống văn bản-sang-hình ảnh (và, có khả năng, văn bản-sang-video) như Stable Diffusion và Flux.

Khi giải thích lời nhắc văn bản của người dùng, các mô hình Latent Diffusion khám phá không gian latent đã được đào tạo của chúng để tìm các khái niệm trực quan đã học tương ứng với các từ hoặc cụm từ được sử dụng. Sau đó, chúng phân tích các điểm dữ liệu này thông qua một quá trình denoising, nơi tiếng ồn ngẫu nhiên dần dần được phát triển thành một giải thích sáng tạo về lời nhắc văn bản của người dùng.

Tuy nhiên, tại thời điểm này, mô hình vẫn dành sự chú ý như nhau cho mọi phần của hình ảnh. Kể từ khi phổ biến các mô hình khuếch tán vào năm 2022, với việc ra mắt Dall-E của OpenAI và việc phát hành mã nguồn mở của Stability.ai’s Stable Diffusion, người dùng đã phát hiện ra rằng các ‘phần quan trọng’ của hình ảnh thường bị phục vụ kém.

Điều đáng xem xét là trong một hình ảnh描绘 điển hình của một người, khuôn mặt của người (điều quan trọng nhất đối với người xem) có khả năng chiếm không quá 10-35% tổng hình ảnh, phương pháp phân phối sự chú ý dân chủ này hoạt động chống lại cả bản chất của nhận thức con người và lịch sử nghệ thuật và nhiếp ảnh.

Khi các nút trên quần jeans nhận được cùng một trọng lượng tính toán như mắt của người, việc phân bổ tài nguyên có thể được cho là không tối ưu.

Do đó, phương pháp mới được đề xuất bởi các tác giả, có tên là Tối ưu hóa khuếch tán saliency (SGOOL), sử dụng một bộ phát hiện saliency để tăng sự chú ý vào các khu vực bị bỏ qua của hình ảnh, dành ít tài nguyên hơn cho các phần có khả năng nằm ở ngoại vi của sự chú ý của người xem.

Phương pháp

Dòng chảy SGOOL bao gồm việc tạo hình ảnh, ánh xạ saliency và tối ưu hóa, với hình ảnh chung và hình ảnh tinh chỉnh saliency được xử lý chung.

Sơ đồ khái niệm cho SGOOL.

Các bản nhúng latent của mô hình khuếch tán được tối ưu hóa trực tiếp với tinh chỉnh, loại bỏ nhu cầu đào tạo một mô hình cụ thể. Phương pháp lấy mẫu Denoising Diffusion Implicit Model (DDIM) của Đại học Stanford, quen thuộc với người dùng Stable Diffusion, được điều chỉnh để kết hợp thông tin thứ cấp được cung cấp bởi các bản đồ saliency.

Bài báo tuyên bố:

‘Chúng tôi đầu tiên sử dụng một bộ phát hiện saliency để bắt chước hệ thống chú ý thị giác của con người và đánh dấu các khu vực salient. Để tránh đào tạo một mô hình bổ sung, phương pháp của chúng tôi tối ưu hóa trực tiếp các bản nhúng khuếch tán.

‘Ngoài ra, SGOOL sử dụng một quá trình khuếch tán đảo ngược và trao cho nó những lợi thế của việc thực hiện bộ nhớ không đổi. Do đó, phương pháp của chúng tôi trở thành một phương pháp tinh chỉnh hiệu quả và có thể cắm và chơi. Các thí nghiệm rộng rãi đã được thực hiện với nhiều metric và đánh giá của con người.’

Vì phương pháp này yêu cầu nhiều lần lặp lại của quá trình denoising, các tác giả đã áp dụng khung khổ Direct Optimization Of Diffusion Latents (DOODL), cung cấp một quá trình khuếch tán đảo ngược – mặc dù nó vẫn áp dụng sự chú ý cho toàn bộ hình ảnh.

Để xác định các khu vực quan tâm của con người, các nhà nghiên cứu đã sử dụng khuôn khổ TransalNet năm 2022 của Đại học Dundee.

Ví dụ về phát hiện saliency từ dự án TransalNet năm 2022. Nguồn: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Các khu vực salient được xử lý bởi TransalNet sau đó được cắt để tạo ra các phần saliency kết luận có khả năng được quan tâm nhất đối với con người.

Sự khác biệt giữa văn bản người dùng và hình ảnh phải được xem xét, về việc xác định một hàm mất mát có thể xác định xem quá trình có hoạt động hay không. Đối với điều này, một phiên bản của Contrastive Language–Image Pre-training (CLIP) của OpenAI – bây giờ là một phần chính của lĩnh vực nghiên cứu tổng hợp hình ảnh – đã được sử dụng, cùng với việc xem xét khoảng cách ngữ nghĩa ước tính giữa lời nhắc văn bản và đầu ra hình ảnh toàn cầu (không saliency).

Các tác giả khẳng định:

‘[Hàm mất mát cuối cùng] xem xét mối quan hệ giữa các phần saliency và hình ảnh toàn cầu đồng thời, giúp cân bằng chi tiết cục bộ và tính nhất quán toàn cầu trong quá trình tạo.

‘Mất mát saliency này được sử dụng để tối ưu hóa hình ảnh latent. Các gradient được tính toán trên nhiễu [latent] và được sử dụng để tăng cường hiệu ứng điều kiện của lời nhắc đầu vào trên cả khía cạnh salient và toàn cầu của hình ảnh tạo ban đầu.’

Dữ liệu và Thử nghiệm

Để thử nghiệm SGOOL, các tác giả đã sử dụng một phân phối ‘vanilla’ của Stable Diffusion V1.4 (được chỉ định là ‘SD’ trong kết quả thử nghiệm) và Stable Diffusion với hướng dẫn CLIP (được chỉ định là ‘baseline’ trong kết quả).

Hệ thống đã được đánh giá chống lại ba tập dữ liệu công khai: CommonSyntacticProcesses (CSP), DrawBench, và DailyDallE*.

Tập dữ liệu sau chứa 99 lời nhắc phức tạp từ một nghệ sĩ được giới thiệu trong một bài đăng trên blog của OpenAI, trong khi DrawBench cung cấp 200 lời nhắc trên 11 danh mục. CSP bao gồm 52 lời nhắc dựa trên tám trường hợp ngữ pháp đa dạng.

Đối với SD, baseline và SGOOL, trong các thử nghiệm, mô hình CLIP đã được sử dụng trên ViT/B-32 để tạo ra các bản nhúng hình ảnh và văn bản. Cùng một lời nhắc và hạt ngẫu nhiên đã được sử dụng. Kích thước đầu ra là 256×256 và các trọng số và cài đặt mặc định của TransalNet đã được sử dụng.

Bên cạnh metric điểm CLIP, một Điểm ưa thích của con người (HPS) đã được sử dụng, ngoài một nghiên cứu thực tế với 100 người tham gia.

Kết quả định lượng so sánh SGOOL với các cấu hình trước đó.

Về kết quả định lượng được mô tả trong bảng trên, bài báo tuyên bố:

‘Mô hình của chúng tôi vượt qua đáng kể SD và Baseline trên tất cả các tập dữ liệu dưới cả metric điểm CLIP và HPS. Kết quả trung bình của mô hình của chúng tôi trên điểm CLIP và HPS là 3,05 và 0,0029 cao hơn vị trí thứ hai, tương ứng.’

Các tác giả tiếp tục ước tính các biểu đồ hộp của điểm HPS và CLIP so với các phương pháp trước:

Biểu đồ hộp cho điểm HPS và CLIP thu được trong các thử nghiệm.

Họ nhận xét:

‘Có thể thấy rằng mô hình của chúng tôi vượt qua các mô hình khác, cho thấy rằng mô hình của chúng tôi có khả năng tạo ra hình ảnh phù hợp với lời nhắc hơn.

‘Tuy nhiên, trong biểu đồ hộp, không dễ dàng hình dung sự so sánh từ biểu đồ hộp do kích thước của metric đánh giá này ở [0, 1]. Do đó, chúng tôi tiếp tục vẽ các biểu đồ thanh tương ứng.

‘Có thể thấy rằng SGOOL vượt qua SD và Baseline trên tất cả các tập dữ liệu dưới cả điểm CLIP và HPS. Kết quả định lượng cho thấy rằng mô hình của chúng tôi có thể tạo ra hình ảnh phù hợp về mặt ngữ nghĩa và được ưa chuộng bởi con người hơn.’

Các nhà nghiên cứu lưu ý rằng trong khi mô hình baseline có thể cải thiện chất lượng đầu ra hình ảnh, nó không xem xét các khu vực salient của hình ảnh. Họ cho rằng SGOOL, bằng cách đạt được sự cân bằng giữa đánh giá hình ảnh toàn cầu và salient, thu được hình ảnh tốt hơn.

Trong các so sánh định tính (tự động), số lượng tối ưu hóa đã được đặt là 50 cho SGOOL và DOODL.

Kết quả định tính cho các thử nghiệm. Vui lòng tham khảo bài báo nguồn để có định nghĩa tốt hơn.

Tại đây, các tác giả quan sát:

‘Trong [hàng đầu tiên], chủ đề của lời nhắc là “một con mèo hát” và “một ban nhạc barbershop”. Có bốn con mèo trong hình ảnh được tạo bởi SD, và nội dung của hình ảnh không được căn chỉnh tốt với lời nhắc.

‘Con mèo bị bỏ qua trong hình ảnh được tạo bởi Baseline, và có sự thiếu chi tiết trong việc miêu tả khuôn mặt và các chi tiết trong hình ảnh. DOODL cố gắng tạo ra một hình ảnh phù hợp với lời nhắc.

‘Tuy nhiên, vì DOODL tối ưu hóa hình ảnh toàn cầu trực tiếp, các người trong hình ảnh được tối ưu hóa hướng tới con mèo.’

Họ tiếp tục lưu ý rằng SGOOL, ngược lại, tạo ra hình ảnh phù hợp hơn với lời nhắc ban đầu.

Trong thử nghiệm nhận thức của con người, 100 tình nguyện viên đã đánh giá hình ảnh thử nghiệm về chất lượng và sự nhất quán ngữ nghĩa (tức là, chúng phù hợp với lời nhắc văn bản nguồn như thế nào). Các tham gia có thời gian không giới hạn để đưa ra lựa chọn của họ.

Kết quả cho thử nghiệm nhận thức của con người.

Khi bài báo chỉ ra, phương pháp của các tác giả được ưa chuộng đáng kể so với các phương pháp trước đó.

Kết luận

Không lâu sau khi những hạn chế được đề cập trong bài báo này trở nên rõ ràng trong các cài đặt cục bộ của Stable Diffusion, các phương pháp tùy chỉnh (chẳng hạn như After Detailer) đã xuất hiện để buộc hệ thống áp dụng sự chú ý thêm vào các khu vực quan tâm hơn của con người.

Tuy nhiên, loại phương pháp này đòi hỏi hệ thống khuếch tán phải đi qua quá trình bình thường của việc áp dụng sự chú ý như nhau cho mọi phần của hình ảnh, với công việc tăng lên được thực hiện như một giai đoạn thêm.

Bằng chứng từ SGOOL cho thấy rằng việc áp dụng tâm lý học cơ bản của con người vào việc ưu tiên các phần hình ảnh có thể tăng cường đáng kể sự suy luận ban đầu, mà không cần các bước hậu xử lý.

* Bài báo cung cấp cùng một liên kết cho điều này như cho CommonSyntacticProcesses.

Được xuất bản lần đầu vào thứ Tư, ngày 16 tháng 10 năm 2024