Chỉnh sửa hình ảnh ngữ nghĩa chính xác cao với EditGAN

Mạng sinh đối kháng (GAN) có thêm nhiều ứng dụng trong chỉnh sửa ảnh. EditGAN là phương pháp chỉnh sửa ảnh theo ngữ nghĩa với độ chính xác và chất lượng cao. Bài viết này giải thích mô hình và lý do nó là một bước tiến đáng chú ý.

Vì sao cần EditGAN?

GAN truyền thống đã thúc đẩy chỉnh sửa ảnh bằng AI, nhưng việc xây dựng hệ thống từ đầu còn nhiều thách thức: cần nhiều dữ liệu có nhãn phân đoạn ngữ nghĩa, chỉ kiểm soát được ở mức khái quát và thường chỉ nội suy qua lại giữa các ảnh. Hiệu quả hạn chế khiến việc triển khai rộng rãi khó khăn. Bản gốc cho biết NVIDIA (NVDA ) giới thiệu EditGAN vào năm 2022.

EditGAN cho phép chỉnh sửa ảnh bằng cách thay đổi mặt nạ phân đoạn chi tiết. Kiến trúc mô hình hóa đồng thời ảnh và phân đoạn ngữ nghĩa nên chỉ cần một lượng nhỏ dữ liệu có chú thích. Hệ thống nhúng ảnh vào không gian tiềm ẩn của GAN, rồi tối ưu mã tiềm ẩn có điều kiện theo mặt nạ đã sửa.

Để phân bổ chi phí tối ưu hóa cho nhiều lần sử dụng, mô hình học các “vectơ chỉnh sửa” trong không gian tiềm ẩn. Có thể học nhiều vectơ rồi áp dụng trực tiếp, nhanh chóng lên ảnh khác. Thí nghiệm cho thấy khả năng sửa những chi tiết rất nhỏ mà vẫn giữ chất lượng ảnh.

Những ưu điểm được nhấn mạnh gồm:

• Chỉnh sửa với độ chính xác rất cao.
• Chỉ cần ít dữ liệu có nhãn.
• Hỗ trợ thao tác tương tác theo thời gian thực bằng vectơ.
• Kết hợp nhiều chỉnh sửa cùng lúc.
• Làm việc với ảnh do GAN sinh, ảnh thật được nhúng và một số ảnh ngoài miền dữ liệu.

Chỉnh sửa ảnh theo ngữ nghĩa bằng EditGAN

StyleGAN2 là thành phần sinh ảnh chính. Nó ánh xạ mã tiềm ẩn lấy mẫu từ phân phối chuẩn đa biến thành ảnh chân thực. Đây là mô hình sinh sâu được huấn luyện để tổng hợp ảnh chất lượng cao và làm nền tảng cho việc học cấu trúc ngữ nghĩa của ảnh.

Huấn luyện và suy luận phân đoạn

EditGAN kết hợp bộ mã hóa với tối ưu hóa để nhúng ảnh vào không gian tiềm ẩn. Bộ mã hóa được huấn luyện bằng ảnh GAN và ảnh thật, với hàm mất mát tái tạo L2 theo từng điểm ảnh và LPIPS. Với mẫu do GAN sinh, mã tiềm ẩn cũng được dùng để ràng buộc trực tiếp bộ mã hóa.

Sau đó hệ thống nhúng ảnh có chú thích phân đoạn vào không gian tiềm ẩn và dùng hàm mất mát entropy chéo để huấn luyện nhánh phân đoạn của bộ sinh.

Tìm ngữ nghĩa trong không gian tiềm ẩn thông qua chỉnh sửa phân đoạn

Mục tiêu là khai thác phân phối chung của ảnh và phân đoạn để chỉnh sửa ảnh chính xác. Với ảnh x cần sửa, mô hình nhúng ảnh vào không gian tiềm ẩn hoặc dùng mẫu do chính nó tạo ra. Nhánh phân đoạn tạo mặt nạ y; ảnh RGB và mặt nạ cùng sử dụng mã tiềm ẩn w. Người dùng có thể sửa mặt nạ bằng công cụ gắn nhãn hoặc vẽ kỹ thuật số.

Các cách chỉnh sửa khi suy luận

Vectơ thu được qua tối ưu hóa có ý nghĩa ngữ nghĩa và thường tách biệt được các thuộc tính. Với ảnh mới, hệ thống có thể nhúng ảnh rồi thực hiện thao tác đã học mà không phải tối ưu lại từ đầu. Chi phí tính toán ban đầu nhờ đó được chia sẻ cho nhiều ảnh.

Tuy nhiên, việc tách biệt thuộc tính chưa hoàn hảo. Vectơ có thể làm thay đổi những vùng không mong muốn trên ảnh khác; một vài bước tối ưu bổ sung lúc kiểm thử có thể giảm các hiện tượng này. Có ba chế độ:

• Chỉnh sửa thời gian thực bằng vectơ: với thay đổi cục bộ được tách biệt tốt, áp dụng vectơ đã học ở các mức khác nhau để thao tác với tốc độ tương tác.
• Tinh chỉnh tự giám sát cho chỉnh sửa bằng vectơ: bắt đầu từ vectơ cũ rồi tối ưu thêm vài bước để loại bỏ ảnh hưởng ngoài vùng cần sửa.
• Chỉnh sửa bằng tối ưu hóa: với thay đổi lớn hoặc riêng biệt cho một ảnh, phải tối ưu từ đầu vì không thể chuyển trực tiếp bằng vectơ đã có.

Triển khai

Mô hình được đánh giá ở bốn nhóm: ô tô, chim, mèo và khuôn mặt. Nhánh phân đoạn dùng lần lượt 16, 30, 30 và 16 cặp ảnh–mặt nạ có nhãn. Khi chỉnh sửa hoàn toàn bằng tối ưu hóa hoặc học vectơ, hệ thống chạy 100 bước với bộ tối ưu Adam.

Với mèo, ô tô và khuôn mặt, thí nghiệm dùng ảnh thật trong tập kiểm thử DatasetGAN chưa được dùng để huấn luyện GAN, rồi nhúng bằng bộ mã hóa và tối ưu hóa. Với chim, chỉnh sửa được minh họa trên ảnh do GAN tạo.

Kết quả

Kết quả định tính trong miền dữ liệu

Hình minh họa áp dụng vectơ đã học lên ảnh mới và tinh chỉnh thêm 30 bước. Các chỉnh sửa ở từng nhóm tách biệt tốt với những phần khác và duy trì chất lượng tổng thể. So với các phương pháp khác, EditGAN thực hiện thay đổi phức tạp, chính xác đồng thời giữ đặc trưng nhận dạng của chủ thể.

Ví dụ gồm giãn đồng tử hoặc sửa nan hoa bánh xe. Mô hình có thể sửa phần chỉ gồm vài điểm ảnh hoặc thay đổi quy mô lớn. Một số ảnh chỉnh sửa khác với những hình từng xuất hiện trong dữ liệu huấn luyện GAN.

Kết quả ngoài miền dữ liệu

Thí nghiệm trên MetFaces học vectơ từ khuôn mặt thật trong miền, sau đó nhúng các chân dung ngoài miền bằng 100 bước tối ưu. Vectơ được áp dụng cùng 30 bước tinh chỉnh tự giám sát.

Kết quả định lượng

Bài đánh giá dùng chuẩn chỉnh sửa nụ cười do MaskGAN giới thiệu, biến khuôn mặt trung tính thành khuôn mặt cười và đo ba khía cạnh:

• Đúng về ngữ nghĩa: bộ phân loại thuộc tính nụ cười đã huấn luyện kiểm tra ảnh sau sửa có biểu cảm cười hay không.
• Chất lượng ở mức phân phối: tính Kernel Inception Distance (KID) và Fréchet Inception Distance (FID) giữa tập kiểm thử CelebA và 400 ảnh kiểm thử đã sửa.
• Bảo toàn danh tính: mạng trích xuất đặc trưng ArcFace đã huấn luyện đo mức độ giữ nguyên danh tính khi sửa ảnh.

Bảng so sánh EditGAN với các phương pháp cơ sở trên chuẩn chỉnh sửa nụ cười. Những phương pháp được thảo luận gồm:

• MaskGAN: nhận ảnh không cười, mặt nạ gốc và mặt nạ đích đang cười; cần nhiều dữ liệu có chú thích hơn EditGAN.
• Local Editing: phân cụm đặc trưng GAN để sửa cục bộ và phụ thuộc vào ảnh tham chiếu.
• InterFaceGAN: cũng tìm vectơ trong không gian tiềm ẩn nhưng cần nhiều nhãn và bộ phân loại thuộc tính phụ trợ, đồng thời không chỉnh được tinh như EditGAN.
• StyleGAN2Distillation: dùng mô hình vectơ chỉnh sửa để tạo dữ liệu huấn luyện, không nhất thiết cần nhúng ảnh thật theo cùng cách.

Hạn chế

EditGAN kế thừa giới hạn của GAN: chỉ xử lý được những ảnh mà GAN có thể biểu diễn. Điều này cản trở triển khai trong nhiều tình huống. Vectơ giúp chuyển các chỉnh sửa chính xác sang ảnh khác nhưng không loại bỏ giới hạn nền tảng ấy.

Kết luận

Khả năng ứng dụng thực tế hạn chế, nhu cầu nhiều dữ liệu có chú thích và hiệu quả hoặc độ chính xác chưa ổn định khiến GAN truyền thống chưa trở thành chuẩn cho chỉnh sửa ảnh. EditGAN hướng tới khắc phục bằng chỉnh sửa ngữ nghĩa chất lượng và độ chính xác cao. Kết quả được báo cáo cho thấy phương pháp vượt một số mô hình so sánh và có tiềm năng đáng chú ý.