Cải thiện Tạo Màn hình Xanh cho Sự khuếch tán Ổn định

Mặc dù cộng đồng và nhà đầu tư hào hứng với trí tuệ nhân tạo tạo ra hình ảnh, nhưng đầu ra từ các hệ thống như vậy không phải lúc nào cũng sẵn sàng để sử dụng trong thế giới thực; một ví dụ là hệ thống trí tuệ nhân tạo có xu hướng tạo ra toàn bộ hình ảnh (hoặc một loạt hình ảnh, trong trường hợp của video), chứ không phải các yếu tố riêng lẻ, cách ly thường được yêu cầu cho các ứng dụng đa phương tiện và các nhà thực hành hiệu ứng hình ảnh.

Một ví dụ đơn giản về điều này là hình ảnh clip-art được thiết kế để ‘lơ lửng’ trên bất kỳ nền tảng nào mà người dùng đã chọn:

Nền tảng màu xám nhạt, có thể quen thuộc với người dùng Photoshop, đã trở thành biểu tượng của kênh alpha, hoặc kênh trong suốt, thậm chí trong các sản phẩm tiêu dùng đơn giản như hình ảnh cổ điển.

Sự trong suốt như vậy đã có sẵn trong hơn ba thập kỷ; kể từ cuộc cách mạng kỹ thuật số vào đầu những năm 1990, người dùng đã có thể trích xuất các yếu tố từ video và hình ảnh thông qua một loạt các công cụ và kỹ thuật ngày càng tinh vi.

Ví dụ, thách thức của việc ‘loại bỏ’ nền tảng màu xanh lá cây và màu xanh da trời trong cảnh quay video, từng là công việc của các quy trình hóa học và máy in quang học (cũng như mặt nạ thủ công), sẽ trở thành công việc của vài phút trong các hệ thống như Adobe’s After Effects và Photoshop (trong số nhiều chương trình và hệ thống miễn phí và độc quyền khác).

Khi một yếu tố đã được cách ly, một kênh alpha (tương tự như một mặt nạ che đi bất kỳ nội dung không liên quan nào) cho phép bất kỳ yếu tố nào trong video được chồng lên các nền tảng mới một cách dễ dàng, hoặc được tổng hợp với các yếu tố cách ly khác.

Ví dụ về các kênh alpha, với hiệu ứng của chúng được mô tả ở hàng dưới. Nguồn: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Loại bỏ

Trong thị giác máy tính, việc tạo kênh alpha thuộc phạm vi của phân đoạn ngữ nghĩa, với các dự án mã nguồn mở như Meta’s Segment Anything cung cấp một phương pháp có thể kích hoạt bằng văn bản để cách ly/ trích xuất các đối tượng mục tiêu, thông qua nhận dạng đối tượng được tăng cường ngữ nghĩa.

Khung Segment Anything đã được sử dụng trong nhiều công việc trích xuất và cách ly hiệu ứng hình ảnh, chẳng hạn như Dự án Alpha-CLIP.

Ví dụ về việc trích xuất bằng Segment Anything, trong khuôn khổ Alpha-CLIP: Nguồn: https://arxiv.org/pdf/2312.03818

Có nhiều phương pháp phân đoạn ngữ nghĩa thay thế có thể được áp dụng cho nhiệm vụ gán kênh alpha.

Tuy nhiên, phân đoạn ngữ nghĩa phụ thuộc vào dữ liệu đã được đào tạo, có thể không chứa tất cả loại đối tượng cần được trích xuất. Mặc dù các mô hình được đào tạo trên số lượng lớn dữ liệu có thể cho phép nhận dạng nhiều loại đối tượng (tương tự như các mô hình nền tảng hoặc mô hình thế giới), chúng vẫn bị giới hạn bởi các lớp mà chúng được đào tạo để nhận dạng hiệu quả nhất.

Các hệ thống phân đoạn ngữ nghĩa như Segment Anything có thể gặp khó khăn khi xác định một số đối tượng, hoặc các phần của đối tượng, như được minh họa ở đây trong đầu ra từ các lệnh mơ hồ. Nguồn: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

Trong mọi trường hợp, phân đoạn ngữ nghĩa chỉ là một quy trình hậu trường như một quy trình màn hình xanh, và phải cách ly các yếu tố mà không có lợi thế của một màu nền duy nhất có thể được nhận dạng và loại bỏ hiệu quả.

Vì lý do này, đôi khi người dùng cộng đồng nhận ra rằng hình ảnh và video có thể được tạo ra đã chứa nền tảng màn hình xanh có thể được loại bỏ ngay lập tức bằng các phương pháp thông thường.

Thật không may, các mô hình khuếch tán tiềm ẩn phổ biến như Stable Diffusion thường gặp khó khăn khi tạo ra một màn hình xanh thực sự sống động. Điều này là do dữ liệu đào tạo của mô hình không thường chứa nhiều ví dụ về kịch bản chuyên dụng này. Ngay cả khi hệ thống thành công, ý tưởng về ‘xanh’ có xu hướng lan rộng một cách không mong muốn đến chủ thể tiền cảnh, do đan xen khái niệm:

Trên đây, chúng ta thấy rằng Stable Diffusion đã ưu tiên tính xác thực của hình ảnh hơn nhu cầu tạo ra một cường độ xanh duy nhất, hiệu quả tái tạo các vấn đề trong thế giới thực xảy ra trong các kịch bản màn hình xanh truyền thống. Dưới đây, chúng ta thấy rằng khái niệm ‘xanh’ đã làm ô nhiễm hình ảnh tiền cảnh. Càng tập trung vào khái niệm ‘xanh’, vấn đề này có thể trở nên tồi tệ hơn. Nguồn: https://stablediffusionweb.com/

Mặc dù sử dụng các phương pháp tiên tiến, cả váy của người phụ nữ và cà vạt của người đàn ông (trong hình ảnh dưới cùng được hiển thị ở trên) sẽ có xu hướng ‘loại bỏ’ cùng với nền tảng màu xanh – một vấn đề đã quay trở lại* những ngày của quá trình loại bỏ sắc tố photochemical trong những năm 1970 và 1980.

Like mọi khi, những hạn chế của một mô hình có thể được khắc phục bằng cách ném dữ liệu cụ thể vào một vấn đề và dành nhiều tài nguyên đào tạo. Các hệ thống như LayerDiffuse của Stanford năm 2024 tạo ra một mô hình đào tạo tinh có khả năng tạo ra hình ảnh có kênh alpha:

Dự án LayerDiffuse của Stanford được đào tạo trên một triệu hình ảnh phù hợp có khả năng truyền tải cho mô hình khả năng trong suốt. Nguồn: https://arxiv.org/pdf/2402.17113

Thật không may, ngoài việc cần có nhiều tài nguyên thu thập và đào tạo cho cách tiếp cận này, tập dữ liệu được sử dụng cho LayerDiffuse không có sẵn công khai, hạn chế việc sử dụng các mô hình được đào tạo trên nó. Ngay cả khi rào cản này không tồn tại, cách tiếp cận này khó có thể tùy chỉnh hoặc phát triển cho các trường hợp sử dụng cụ thể.

Không lâu sau đó vào năm 2024, Adobe Research đã hợp tác với Đại học Stonybrook để sản xuất MAGICK, một phương pháp trích xuất AI được đào tạo trên các hình ảnh khuếch tán tùy chỉnh.

Từ bài báo năm 2024, một ví dụ về việc trích xuất kênh alpha tinh trong MAGICK. Nguồn: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 đối tượng được trích xuất và tạo ra bởi AI đã được sử dụng để đào tạo MAGICK, để hệ thống phát triển một sự hiểu biết trực giác về việc trích xuất:

Mẫu từ tập dữ liệu đào tạo MAGICK.

Tập dữ liệu này, như bài báo nguồn cho biết, rất khó để tạo ra vì lý do đã đề cập – rằng các phương pháp khuếch tán có khó khăn khi tạo ra các mảng màu rắn có thể được sử dụng làm khóa. Do đó, việc chọn thủ công các mặt nạ được tạo ra là cần thiết.

Đây là một nút thắt logic khác lại dẫn đến một hệ thống không thể dễ dàng phát triển hoặc tùy chỉnh, mà phải được sử dụng trong phạm vi khả năng ban đầu của nó.

TKG-DM – ‘Trích xuất Chroma Bản địa’ cho Mô hình Khuếch tán Tiềm ẩn

Một sự hợp tác mới giữa các nhà nghiên cứu Đức và Nhật Bản đã đề xuất một giải pháp thay thế cho các phương pháp đào tạo như vậy, có khả năng – như bài báo cho biết – đạt được kết quả tốt hơn so với các phương pháp đã đề cập ở trên, mà không cần đào tạo trên các tập dữ liệu được tạo riêng biệt.

TKG-DM thay đổi tiếng ồn ngẫu nhiên khởi tạo hình ảnh tạo ra để nó có khả năng tạo ra nền tảng rắn, có thể khóa – trong bất kỳ màu nào. Nguồn: https://arxiv.org/pdf/2411.15580

Phương pháp mới này tiếp cận vấn đề ở cấp độ tạo ra, bằng cách tối ưu hóa tiếng ồn ngẫu nhiên từ đó một hình ảnh được tạo ra trong một mô hình khuếch tán tiềm ẩn (LDM) như Stable Diffusion.

Phương pháp này xây dựng trên một nghiên cứu trước về lược đồ màu của phân phối Stable Diffusion, và có khả năng tạo ra màu nền của bất kỳ loại nào, với ít (hoặc không) sự đan xen của màu nền vào nội dung tiền cảnh, so với các phương pháp khác.

Tiếng ồn ban đầu được điều kiện bởi một sự thay đổi trung bình kênh có khả năng ảnh hưởng đến các khía cạnh của quá trình làm sạch tiếng ồn, mà không làm đan xen tín hiệu màu vào nội dung tiền cảnh.

Bài báo cho biết:

‘Các thí nghiệm rộng lớn của chúng tôi chứng minh rằng TKG-DM cải thiện điểm FID và mask-FID lần lượt là 33,7% và 35,9%. ‘

‘Do đó, mô hình đào tạo miễn phí của chúng tôi cạnh tranh với các mô hình đào tạo tinh, cung cấp một giải pháp hiệu quả và đa năng cho các nhiệm vụ tạo nội dung hình ảnh yêu cầu kiểm soát tiền cảnh và nền tảng chính xác. ‘

Bài báo mới mới có tiêu đề TKG-DM: Mô hình Khuếch tán Trích xuất Chroma Miễn phí Đào tạo, và đến từ bảy nhà nghiên cứu trên Đại học Hosei ở Tokyo và RPTU Kaiserslautern-Landau & DFKI GmbH, ở Kaiserslautern.

Phương pháp

Phương pháp mới này mở rộng kiến trúc của Stable Diffusion bằng cách điều kiện tiếng ồn Gaussian ban đầu thông qua một sự thay đổi trung bình kênh (CMS), tạo ra các mẫu tiếng ồn được thiết kế để khuyến khích sự tách biệt nền tảng/tiền cảnh mong muốn trong kết quả tạo ra.

Sơ đồ cho quy trình của hệ thống được đề xuất.

CMS điều chỉnh trung bình của mỗi kênh màu trong khi duy trì sự phát triển chung của quá trình làm sạch tiếng ồn.

Các tác giả giải thích:

‘Để tạo ra đối tượng tiền cảnh trên nền tảng chroma key, chúng tôi áp dụng một chiến lược chọn tiếng ồn ban đầu chọn lọc kết hợp tiếng ồn ban đầu và tiếng ồn màu ban đầu bằng một mặt nạ Gaussian 2D. ‘

‘Mặt nạ này tạo ra một sự chuyển tiếp dần dần bằng cách bảo tồn tiếng ồn ban đầu trong vùng tiền cảnh và áp dụng tiếng ồn đã thay đổi màu cho vùng nền.’

Kênh màu mong muốn cho màu nền chroma được khởi tạo với một lệnh văn bản rỗng, trong khi nội dung tiền cảnh thực tế được tạo ra một cách ngữ nghĩa từ lệnh văn bản của người dùng.

Chú ý tự và chú ý chéo được sử dụng để tách hai khía cạnh của hình ảnh (nền tảng chroma và nội dung tiền cảnh). Chú ý tự giúp với sự nhất quán nội bộ của đối tượng tiền cảnh, trong khi chú ý chéo duy trì sự trung thành với lệnh văn bản. Bài báo chỉ ra rằng vì nền tảng hình ảnh thường ít chi tiết và được nhấn mạnh trong các tạo ra, ảnh hưởng yếu hơn của nó tương đối dễ bị vượt qua và thay thế bằng một mảng màu thuần túy.

Một hình ảnh hóa về sự ảnh hưởng của chú ý tự và chú ý chéo trong quá trình tạo ra phong cách chroma.

Dữ liệu và Kiểm tra

TKG-DM đã được kiểm tra bằng cách sử dụng Stable Diffusion V1.5 và Stable Diffusion SDXL. Hình ảnh được tạo ra ở độ phân giải 512x512px và 1024x1024px, tương ứng.

Hình ảnh được tạo ra bằng cách sử dụng lịch trình DDIM gốc của Stable Diffusion, với tỷ lệ hướng dẫn là 7,5, và 50 bước làm sạch tiếng ồn. Màu nền mục tiêu là màu xanh lá cây, hiện là phương pháp loại bỏ nền tảng thống trị.

Phương pháp mới này đã được so sánh với DeepFloyd, dưới các thiết lập được sử dụng cho MAGICK; để mô hình khuếch tán thấp cấp tinh GreenBack LoRA; và cũng với LayerDiffuse.

Đối với dữ liệu, 3000 hình ảnh từ tập dữ liệu MAGICK đã được sử dụng.

Ví dụ từ tập dữ liệu MAGICK, từ đó 3000 hình ảnh đã được thu thập cho các kiểm tra của hệ thống mới. Nguồn: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Để đánh giá, các tác giả đã sử dụng Khoảng cách Inception Fréchet (FID) để đánh giá chất lượng tiền cảnh. Họ cũng phát triển một thước đo cụ thể cho dự án gọi là m-FID, sử dụng hệ thống BiRefNet để đánh giá chất lượng của mặt nạ kết quả.

So sánh trực quan của hệ thống BiRefNet với các phương pháp trước đó. Nguồn: https://arxiv.org/pdf/2401.03407

Để kiểm tra sự phù hợp ngữ nghĩa với các lệnh văn bản đầu vào, các phương pháp CLIP-Sentence (CLIP-S) và CLIP-Image (CLIP-I) đã được sử dụng. CLIP-S đánh giá sự trung thành của lệnh văn bản, và CLIP-I sự tương tự về mặt hình ảnh với sự thật.

Bộ kết quả đầu tiên về phương pháp mới, lần này cho Stable Diffusion V1.5. Vui lòng tham khảo PDF nguồn để có độ phân giải tốt hơn.

Các tác giả khẳng định rằng kết quả (được trực quan hóa ở trên và dưới, SD1.5 và SDXL, tương ứng) chứng minh rằng TKG-DM đạt được kết quả vượt trội mà không cần kỹ thuật lệnh văn bản hoặc đào tạo mô hình.

Kết quả SDXL. Vui lòng tham khảo PDF nguồn để có độ phân giải tốt hơn.

Họ quan sát thấy rằng với một lệnh văn bản để kích hoạt nền tảng màu xanh trong kết quả tạo ra, Stable Diffusion 1.5 gặp khó khăn khi tạo ra một nền tảng sạch, trong khi SDXL (mặc dù hoạt động tốt hơn một chút) tạo ra các màu xanh lá cây không ổn định có thể can thiệp vào quá trình tách nền.

Họ cũng lưu ý rằng trong khi LayerDiffuse tạo ra các nền tảng tách biệt tốt, nó đôi khi mất chi tiết, chẳng hạn như số hoặc chữ, và các tác giả cho rằng điều này là do hạn chế của tập dữ liệu. Họ thêm rằng việc tạo mặt nạ cũng có thể thất bại, dẫn đến hình ảnh ‘không cắt’.

Đối với các kiểm tra định lượng, mặc dù LayerDiffuse dường như có lợi thế trong SDXL về FID, các tác giả nhấn mạnh rằng điều này là kết quả của một tập dữ liệu chuyên dụng mà hiệu quả tạo ra một sản phẩm ‘đã được nướng’ và không linh hoạt. Như đã đề cập trước đó, bất kỳ đối tượng hoặc lớp nào không được bao gồm trong tập dữ liệu đó, hoặc không được bao gồm đầy đủ, có thể không hoạt động tốt, trong khi việc tinh chỉnh thêm để phù hợp với các lớp mới sẽ đặt gánh nặng thu thập và đào tạo dữ liệu lên người dùng.

Kết quả định lượng cho các so sánh. Lợi thế rõ ràng của LayerDiffuse, bài báo cho biết, đến với chi phí của sự linh hoạt, và gánh nặng của việc thu thập và đào tạo dữ liệu.

Bài báo cho biết:

‘Điểm FID, m-FID và CLIP-I cao của DeepFloyd phản ánh sự tương tự của nó với sự thật dựa trên đầu ra của DeepFloyd. Tuy nhiên, sự phù hợp này mang lại cho nó một lợi thế vốn có, khiến nó không phù hợp làm điểm chuẩn công bằng cho chất lượng hình ảnh. Điểm CLIP-S thấp hơn của nó cũng cho thấy sự phù hợp lệnh văn bản yếu hơn so với các mô hình khác.

‘Tổng thể, những kết quả này nhấn mạnh khả năng của mô hình chúng tôi trong việc tạo ra tiền cảnh chất lượng cao, phù hợp với lệnh văn bản mà không cần đào tạo, cung cấp một giải pháp tạo nội dung chroma key hiệu quả.’

Cuối cùng, các nhà nghiên cứu đã tiến hành một nghiên cứu người dùng để đánh giá sự tuân thủ lệnh văn bản trên các phương pháp khác nhau. Một trăm người tham gia đã được yêu cầu đánh giá 30 cặp hình ảnh từ mỗi phương pháp, với các chủ thể được trích xuất bằng BiRefNet và tinh chỉnh thủ công trên tất cả các ví dụ. Phương pháp đào tạo miễn phí của các tác giả được ưa thích trong nghiên cứu này.

Kết quả từ nghiên cứu người dùng.

TKG-DM tương thích với hệ thống ControlNet của bên thứ ba cho Stable Diffusion, và các tác giả cho rằng nó tạo ra kết quả vượt trội so với khả năng tạo ra sự tách biệt này của ControlNet.

Kết luận

Có lẽ điều đáng chú ý nhất từ bài báo mới này là mức độ mà các mô hình khuếch tán tiềm ẩn bị đan xen, trái ngược với nhận thức phổ biến rằng chúng có thể dễ dàng tách các khía cạnh của hình ảnh và video khi tạo ra nội dung mới.

Nghiên cứu này cũng nhấn mạnh mức độ mà cộng đồng nghiên cứu và người dùng đã chuyển sang việc tinh chỉnh như một giải pháp hậu trường cho những hạn chế của mô hình – một giải pháp sẽ giải quyết các lớp và loại đối tượng cụ thể. Trong một kịch bản như vậy, một mô hình tinh sẽ hoạt động rất tốt trên một số lớp hạn chế, hoặc hoạt động khả dĩ trên một số lượng lớn hơn các lớp và đối tượng có thể, tùy thuộc vào số lượng dữ liệu trong tập đào tạo.

Do đó, thật thú vị khi thấy ít nhất một giải pháp không dựa vào những giải pháp tốn công và có thể không trung thực như vậy.

* Quay phim bộ phim Superman năm 1978, diễn viên Christopher Reeve phải mặc một đồng phục Superman màu xanh lá cây cho các cảnh quay quá trình xanh, để tránh bộ đồ màu xanh da trời biểu tượng bị xóa. Màu xanh của bộ đồ sau đó được phục hồi qua quá trình phân loại màu.