Mô hình khuếch tán eDiffi của NVIDIA cho phép ‘vẽ bằng từ’ và nhiều hơn

Thử nghiệm tạo thành phần chính xác với các mô hình hình ảnh sinh tổng hợp khuếch tán tiềm ẩn như Stable Diffusion có thể giống như điều khiển những con mèo; chính những sức mạnh tưởng tượng và giải thích mà cho phép hệ thống tạo ra chi tiết phi thường và triệu hồi những hình ảnh phi thường từ các lời nhắc văn bản đơn giản cũng khó khăn khi tắt khi bạn đang tìm kiếm sự kiểm soát cấp độ Photoshop đối với quá trình tạo hình ảnh.

Giờ đây, một phương pháp mới từ nghiên cứu của NVIDIA, có tên là độ khuếch tán hình ảnh theo nhóm (eDiffi), sử dụng sự kết hợp của nhiều phương pháp nhúng và giải thích (thay vì cùng một phương pháp trên toàn bộ đường ống) để cho phép mức độ kiểm soát lớn hơn nhiều đối với nội dung được tạo ra. Trong ví dụ dưới đây, chúng ta thấy người dùng vẽ các yếu tố mà mỗi màu đại diện cho một từ trong lời nhắc văn bản:

‘Vẽ bằng từ’ là một trong hai khả năng mới trong mô hình khuếch tán eDiffi của NVIDIA. Mỗi màu vẽ đại diện cho một từ trong lời nhắc (xem chúng xuất hiện ở bên trái trong quá trình tạo), và màu áp dụng sẽ chỉ bao gồm yếu tố đó. Xem video chính thức để có thêm ví dụ và độ phân giải tốt hơn tại https://www.youtube.com/watch?v=k6cOx9YjHJc

Hiệu quả này là ‘vẽ bằng mặt nạ’, và đảo ngược định nghĩa vẽ trong Stable Diffusion, dựa trên việc sửa chữa hình ảnh bị hỏng hoặc không满足, hoặc mở rộng hình ảnh có thể có kích thước mong muốn từ đầu.

Ở đây, thay vào đó, các đường viền của màu vẽ đại diện cho các ranh giới xấp xỉ cho phép của chỉ một yếu tố duy nhất từ một khái niệm duy nhất, cho phép người dùng đặt kích thước canvas cuối cùng từ đầu, và sau đó thêm các yếu tố một cách rời rạc.

Ví dụ từ bài báo mới. Nguồn: https://arxiv.org/pdf/2211.01324.pdf

Các phương pháp đa dạng được sử dụng trong eDiffi cũng có nghĩa là hệ thống thực hiện tốt hơn việc bao gồm mọi yếu tố trong các lời nhắc dài và chi tiết, trong khi Stable Diffusion và DALL-E 2 của OpenAI có xu hướng ưu tiên một số phần của lời nhắc, tùy thuộc vào việc chúng xuất hiện sớm trong lời nhắc hay các yếu tố khác, chẳng hạn như sự khó khăn trong việc tách các yếu tố cần thiết cho một thành phần hoàn chỉnh nhưng toàn diện (về lời nhắc văn bản):

Từ bài báo: eDiffi có khả năng lặp lại nhiều hơn qua lời nhắc cho đến khi số lượng yếu tố tối đa có thể được hiển thị. Mặc dù các kết quả được cải thiện cho eDiffi (cột phải nhất) được chọn lọc, nhưng các hình ảnh so sánh từ Stable Diffusion và DALL-E 2 cũng được chọn lọc.

Ngoài ra, việc sử dụng một bộ mã hóa văn bản sang văn bản T5 chuyên dụng có nghĩa là eDiffi có khả năng hiển thị văn bản tiếng Anh có thể đọc được, hoặc được yêu cầu một cách trừu tượng từ một lời nhắc (tức là hình ảnh chứa một số văn bản của [x]) hoặc được yêu cầu một cách rõ ràng (tức là áo phông có ghi ‘Nvidia Rocks’):

Bộ mã hóa văn bản sang văn bản chuyên dụng trong eDiffi có nghĩa là văn bản có thể được hiển thị chính xác trong hình ảnh, thay vì chỉ được chạy qua một lớp giải thích văn bản sang hình ảnh mà làm hỏng đầu ra.

Một lợi thế nữa của khuôn khổ mới này là có thể cung cấp một hình ảnh duy nhất làm lời nhắc phong cách, thay vì cần đào tạo một mô hình DreamBooth hoặc nhúng văn bản trên nhiều ví dụ về một thể loại hoặc phong cách.

Chuyển phong cách có thể được áp dụng từ một hình ảnh tham chiếu đến một lời nhắc văn bản sang hình ảnh, hoặc thậm chí một lời nhắc hình ảnh sang hình ảnh.

Bài báo mới có tiêu đề eDiffi: Mô hình khuếch tán hình ảnh sang văn bản với một nhóm các bộ mã hóa chuyên sâu, và

Bộ mã hóa văn bản T5

Sử dụng bộ mã hóa văn bản sang văn bản T5 của Google là yếu tố then chốt trong các kết quả được cải thiện trong eDiffi. Đường ống khuếch tán tiềm ẩn trung bình tập trung vào mối quan hệ giữa các hình ảnh được đào tạo và các chú thích đi kèm với chúng khi chúng được thu thập từ internet (hoặc được điều chỉnh thủ công sau đó, mặc dù đây là một can thiệp tốn kém và do đó hiếm khi xảy ra).

Từ bài báo tháng 7 năm 2020 về T5 – các chuyển đổi dựa trên văn bản, có thể hỗ trợ quy trình hình ảnh sinh tổng hợp trong eDiffi (và, có khả năng, các mô hình khuếch tán tiềm ẩn khác). Nguồn: https://arxiv.org/pdf/1910.10683.pdf

Bằng cách diễn đạt lại văn bản nguồn và chạy mô-đun T5, các mối quan hệ và biểu diễn chính xác hơn có thể được thu được so với những gì được đào tạo vào mô hình ban đầu, gần giống như sau khi việc gắn nhãn thủ công, với sự cụ thể và khả năng áp dụng cao hơn cho các yêu cầu của lời nhắc văn bản.

Các tác giả giải thích:

‘Trong hầu hết các công việc hiện có về các mô hình khuếch tán, mô hình làm mờ được chia sẻ trên tất cả các mức độ nhiễu, và động lực học thời gian được biểu diễn bằng cách sử dụng một lớp nhúng thời gian đơn giản được cung cấp cho mô hình làm mờ thông qua một mạng lưới MLP. Chúng tôi cho rằng các động lực học thời gian phức tạp của quá trình khuếch tán làm mờ có thể không được học từ dữ liệu một cách hiệu quả bằng cách sử dụng một mô hình chung với khả năng hạn chế.

‘Thay vào đó, chúng tôi đề xuất tăng khả năng của mô hình làm mờ bằng cách giới thiệu một nhóm các bộ mã hóa chuyên sâu; mỗi bộ mã hóa chuyên sâu là một mô hình làm mờ chuyên biệt cho một phạm vi nhất định của mức độ nhiễu. Bằng cách này, chúng tôi có thể tăng khả năng của mô hình mà không làm chậm quá trình lấy mẫu vì độ phức tạp tính toán của việc đánh giá [phần tử được xử lý] tại mỗi mức độ nhiễu vẫn giữ nguyên.’

Kiến trúc khái niệm cho eDiffi.

Các mô-đun mã hóa CLIP hiện có trong DALL-E 2 và Stable Diffusion cũng có khả năng tìm các cách giải thích hình ảnh thay thế cho văn bản liên quan đến đầu vào của người dùng. Tuy nhiên, chúng được đào tạo trên thông tin tương tự như mô hình ban đầu và không được sử dụng như một lớp giải thích riêng biệt trong đường ống như T5 trong eDiffi.

Các tác giả tuyên bố rằng eDiffi là lần đầu tiên cả bộ mã hóa T5 và CLIP được kết hợp vào một đường ống duy nhất:

’Vì hai bộ mã hóa này được đào tạo với các mục tiêu khác nhau, các bản nhúng của chúng ưu tiên việc tạo ra các hình ảnh khác nhau với cùng một văn bản đầu vào. Trong khi các bản nhúng văn bản CLIP giúp xác định hình dạng tổng thể của hình ảnh được tạo, các bản nhúng này có xu hướng bỏ qua các chi tiết tinh tế trong văn bản.

‘Ngược lại, hình ảnh được tạo với các bản nhúng văn bản T5 riêng biệt phản ánh tốt hơn các đối tượng riêng lẻ được mô tả trong văn bản, nhưng hình dạng tổng thể của chúng ít chính xác hơn. Sử dụng chúng cùng nhau tạo ra kết quả tạo hình ảnh tốt nhất trong mô hình của chúng tôi.’

Ngắt và Tăng cường quá trình khuếch tán

Bài báo lưu ý rằng một mô hình khuếch tán tiềm ẩn điển hình sẽ bắt đầu hành trình từ nhiễu thuần túy đến một hình ảnh bằng cách dựa hoàn toàn vào văn bản trong các giai đoạn đầu của quá trình tạo.

Khi nhiễu được giải quyết thành một số loại bố cục đại diện cho mô tả trong lời nhắc văn bản, khía cạnh hướng dẫn văn bản của quá trình cơ bản sẽ biến mất, và phần còn lại của quá trình sẽ chuyển sang tăng cường các tính năng trực quan.

Điều này có nghĩa là bất kỳ yếu tố nào không được giải quyết trong giai đoạn đầu của quá trình giải thích nhiễu hướng dẫn văn bản sẽ khó được tiêm vào hình ảnh sau này, vì hai quá trình (văn bản sang bố cục và bố cục sang hình ảnh) có sự chồng chéo tương đối thấp, và bố cục cơ bản đã khá bị vướng vào thời điểm nó đến quá trình tăng cường hình ảnh.

hình ảnh trưởng thành. Chúng ta có thể thấy sự sụt giảm mạnh trong ảnh hưởng của CLIP đối với hình ảnh ở hàng dưới, trong khi T5 tiếp tục ảnh hưởng đến hình ảnh nhiều hơn trong quá trình tạo.” width=”1000″ height=”310″>

T tiềm năng chuyên nghiệp

Các ví dụ tại trang dự án và video YouTube tập trung vào việc tạo ra hình ảnh dễ thương và hấp dẫn. Như thường lệ, nghiên cứu của NVIDIA đang hạ thấp tiềm năng của sự đổi mới mới nhất để cải thiện quy trình làm việc photorealistic hoặc VFX, cũng như tiềm năng của nó để cải thiện hình ảnh giả và video.

Trong các ví dụ, một người dùng mới hoặc không chuyên nghiệp phác thảo các đường viền thô của vị trí cho yếu tố cụ thể, trong khi trong một quy trình làm việc VFX có hệ thống hơn, có thể sử dụng eDiffi để giải thích nhiều khung hình của một yếu tố video bằng cách sử dụng văn bản sang hình ảnh, trong đó các đường viền rất chính xác và dựa trên, chẳng hạn như các hình dạng mà nền đã được loại bỏ thông qua màn hình xanh hoặc các phương pháp thuật toán.

Runway ML đã cung cấp khả năng rotoscoping dựa trên AI. Trong ví dụ này, ‘màn hình xanh’ xung quanh đối tượng đại diện cho lớp alpha, trong khi việc trích xuất đã được thực hiện thông qua học máy chứ không phải là việc loại bỏ nền màn hình xanh thực tế bằng thuật toán. Nguồn: https://twitter.com/runwayml/status/1330978385028374529

Sử dụng một nhân vật DreamBooth được đào tạo và một đường ống hình ảnh sang hình ảnh với eDiffi, có thể bắt đầu giải quyết một trong những vấn đề khó khăn nhất của bất kỳ mô hình khuếch tán tiềm ẩn: sự ổn định thời gian. Trong trường hợp này, cả đường viền của hình ảnh áp dụng và nội dung của hình ảnh sẽ được ‘làm nổi’ chống lại canvas của người dùng, với sự liên tục thời gian của nội dung được tạo (tức là biến một người tập tai chi thành một robot) được cung cấp bởi việc sử dụng một mô hình DreamBooth được khóa có ‘ghi nhớ’ dữ liệu đào tạo của nó – không tốt cho khả năng giải thích, nhưng tuyệt vời cho khả năng tái tạo và tính nhất quán.

Phương pháp, Dữ liệu và Kiểm tra

Bài báo cho biết mô hình eDiffi được đào tạo trên ‘một bộ sưu tập các tập dữ liệu công cộng và độc quyền’, được lọc mạnh mẽ bởi một mô hình CLIP được đào tạo trước, để loại bỏ các hình ảnh có khả năng làm giảm điểm đánh giá thẩm mỹ chung của đầu ra. Bộ tập dữ liệu hình ảnh cuối cùng được lọc bao gồm ‘khoảng một tỷ’ cặp văn bản-hình ảnh. Kích thước của các hình ảnh được đào tạo được mô tả là có ‘đường viền ngắn hơn lớn hơn 64 pixel’.

Một số mô hình đã được đào tạo cho quá trình này, với cả mô hình cơ bản và mô hình siêu phân giải được đào tạo trên tối ưu hóa AdamW với tốc độ học 0,0001, với sự suy giảm trọng lượng 0,01, và với kích thước batch đáng kể là 2048.

Mô hình cơ bản được đào tạo trên 256 GPU A100 của NVIDIA, và hai mô hình siêu phân giải trên 128 GPU A100 cho mỗi mô hình.

Hệ thống được dựa trên thư viện PyTorch Imaginaire của NVIDIA. Các tập dữ liệu COCO và Visual Genome đã được sử dụng để đánh giá, mặc dù không được bao gồm trong các mô hình cuối cùng, với MS-COCO là biến thể cụ thể được sử dụng để kiểm tra. Các hệ thống đối thủ được kiểm tra bao gồm GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, và hai hệ thống tổng hợp hình ảnh của Google, Imagen và Parti.

Theo như các công việc trước, công việc FID-30K không có shot đã được sử dụng như một thước đo đánh giá. Theo FID-30K, 30.000 chú thích được trích xuất ngẫu nhiên từ tập hợp xác thực COCO (tức là không phải hình ảnh hoặc văn bản được sử dụng trong đào tạo), sau đó được sử dụng làm lời nhắc văn bản để tổng hợp hình ảnh.

Khoảng cách Frechet Inception (FID) giữa các hình ảnh được tạo và hình ảnh thực đã được tính toán, cùng với việc ghi lại điểm CLIP cho các hình ảnh được tạo.

Kết quả từ các kiểm tra FID không có shot so với các phương pháp hiện tại hàng đầu trên tập hợp xác thực COCO 2014, với kết quả thấp hơn là tốt hơn.

Trong kết quả, eDiffi đã có thể đạt được điểm số thấp nhất (tốt nhất) trên FID không có shot, thậm chí so với các hệ thống có số lượng tham số cao hơn, chẳng hạn như 20 tỷ tham số của Parti, so với 9,1 tỷ tham số trong mô hình eDiffi có thông số kỹ thuật cao nhất được đào tạo cho các kiểm tra.

Kết luận

Mô hình khuếch tán eDiffi của NVIDIA đại diện cho một sự thay thế chào đón so với việc chỉ thêm nhiều dữ liệu và phức tạp hơn vào các hệ thống hiện có, thay vào đó sử dụng một phương pháp thông minh và phân lớp hơn để giải quyết một số vấn đề khó khăn nhất liên quan đến sự vướng víu và không thể chỉnh sửa trong các hệ thống hình ảnh sinh tổng hợp khuếch tán tiềm ẩn.

Đã có cuộc thảo luận tại các subreddit và Discord của Stable Diffusion về việc kết hợp trực tiếp bất kỳ mã nào có thể được cung cấp cho eDiffi, hoặc tái hiện lại các nguyên tắc đằng sau nó trong một triển khai riêng biệt. Tuy nhiên, đường ống mới này lại khác biệt đến mức nó sẽ cấu thành một phiên bản thay đổi hoàn toàn cho SD, từ bỏ một số tính tương thích ngược, mặc dù cung cấp khả năng kiểm soát tốt hơn nhiều đối với hình ảnh được tạo cuối cùng, mà không hy sinh khả năng tưởng tượng hấp dẫn của khuếch tán tiềm ẩn.

Được xuất bản lần đầu vào ngày 3 tháng 11 năm 2022.