Cảm ơn khả năng của chúng, các mô hình khuếch tán văn bản-sang-hình ảnh đã trở nên vô cùng phổ biến trong cộng đồng nghệ thuật. Tuy nhiên, các mô hình hiện tại, bao gồm cả các khuôn khổ tiên tiến nhất, thường gặp khó khăn trong việc duy trì kiểm soát các khái niệm và thuộc tính trực quan trong hình ảnh được tạo ra, dẫn đến kết quả không hài lòng. Hầu hết các mô hình chỉ dựa vào lời nhắc văn bản, điều này gây ra thách thức trong việc điều chỉnh các thuộc tính liên tục như cường độ của thời tiết, độ sắc nét của bóng, biểu cảm khuôn mặt hoặc tuổi của một người một cách chính xác. Điều này khiến cho người dùng cuối cùng khó điều chỉnh hình ảnh để đáp ứng nhu cầu cụ thể của họ. Hơn nữa, mặc dù các khuôn khổ tạo sinh này tạo ra hình ảnh chất lượng cao và thực tế, nhưng chúng dễ bị biến dạng như khuôn mặt bị méo hoặc ngón tay bị thiếu.

Để vượt qua những hạn chế này, các nhà phát triển đã đề xuất sử dụng Trượt Concept có thể giải thích được. Những thanh trượt này hứa hẹn mang lại sự kiểm soát lớn hơn cho người dùng cuối cùng đối với các thuộc tính trực quan, nâng cao quá trình tạo và chỉnh sửa hình ảnh trong các mô hình khuếch tán. Trượt Concept trong các mô hình khuếch tán hoạt động bằng cách xác định một hướng tham số tương ứng với một khái niệm riêng lẻ trong khi giảm thiểu sự can thiệp với các thuộc tính khác. Khuôn khổ tạo ra những thanh trượt này bằng cách sử dụng hình ảnh mẫu hoặc một tập hợp lời nhắc, do đó thiết lập các hướng cho cả khái niệm văn bản và trực quan.

Cuối cùng, việc sử dụng Trượt Concept trong các mô hình khuếch tán văn bản-sang-hình ảnh có thể dẫn đến việc tạo ra hình ảnh với mức độ can thiệp tối thiểu và tăng cường kiểm soát đối với đầu ra cuối cùng, đồng thời tăng cường sự hiện thực mà không thay đổi nội dung của hình ảnh, và do đó tạo ra hình ảnh thực tế. Trong bài viết này, chúng tôi sẽ thảo luận về khái niệm sử dụng Trượt Concept trong các khuôn khổ văn bản-sang-hình ảnh một cách sâu sắc hơn và phân tích cách sử dụng chúng có thể dẫn đến việc tạo ra hình ảnh chất lượng cao hơn được tạo ra bởi trí tuệ nhân tạo.

Giới thiệu về Trượt Concept

Như đã đề cập trước đó, các khuôn khổ khuếch tán văn bản-sang-hình ảnh hiện tại thường gặp khó khăn trong việc kiểm soát các khái niệm và thuộc tính trực quan trong hình ảnh được tạo ra, dẫn đến kết quả không hài lòng. Hơn nữa, nhiều mô hình này gặp khó khăn trong việc điều chỉnh các thuộc tính liên tục, góp phần vào kết quả không hài lòng. Trượt Concept có thể giúp giảm thiểu những vấn đề này, trao quyền cho các nhà tạo nội dung và người dùng cuối cùng với sự kiểm soát tăng cường đối với quá trình tạo hình ảnh và giải quyết các thách thức mà các khuôn khổ hiện tại đang gặp phải.

Hầu hết các mô hình khuếch tán văn bản-sang-hình ảnh hiện tại dựa vào việc sửa đổi trực tiếp lời nhắc văn bản để kiểm soát các thuộc tính hình ảnh. Mặc dù cách tiếp cận này cho phép tạo hình ảnh, nhưng nó không tối ưu vì việc thay đổi lời nhắc có thể thay đổi đáng kể cấu trúc hình ảnh. Một cách tiếp cận khác được sử dụng bởi các khuôn khổ này bao gồm các kỹ thuật hậu xử lý, chúng đảo ngược quá trình khuếch tán và sửa đổi sự chú ý chéo để chỉnh sửa các khái niệm trực quan. Tuy nhiên, các kỹ thuật hậu xử lý có những hạn chế, chỉ hỗ trợ số lượng chỉnh sửa đồng thời有限 và yêu cầu các lượt can thiệp riêng biệt cho mỗi khái niệm mới. Ngoài ra, chúng có thể giới thiệu sự trộn lẫn khái niệm nếu không được thiết kế cẩn thận.

Ngược lại, Trượt Concept cung cấp một giải pháp hiệu quả hơn cho việc tạo hình ảnh. Những bộ điều chỉnh nhẹ và dễ sử dụng này có thể được áp dụng cho các mô hình đã được đào tạo trước, tăng cường kiểm soát và độ chính xác đối với các khái niệm mong muốn trong một lượt can thiệp với sự trộn lẫn tối thiểu. Trượt Concept cũng cho phép chỉnh sửa các khái niệm trực quan không được bao phủ bởi các mô tả văn bản, một tính năng phân biệt chúng với các phương pháp chỉnh sửa dựa trên lời nhắc văn bản. Mặc dù các phương pháp tùy chỉnh dựa trên hình ảnh có thể thêm hiệu quả các token cho các khái niệm dựa trên hình ảnh, nhưng chúng khó thực hiện đối với việc chỉnh sửa hình ảnh. Trượt Concept, mặt khác, cho phép người dùng cuối cùng cung cấp một số lượng nhỏ hình ảnh được ghép nối định nghĩa một khái niệm mong muốn. Sau đó, các thanh trượt tổng quát hóa khái niệm này và tự động áp dụng nó cho các hình ảnh khác, nhằm tăng cường sự hiện thực và sửa chữa các biến dạng như tay.

Trượt Concept nhằm mục đích học hỏi và giải quyết các vấn đề phổ biến cho bốn khái niệm tạo sinh trí tuệ nhân tạo và khuôn khổ khuếch tán: Chỉnh sửa hình ảnh, Phương pháp dựa trên hướng dẫn, Chỉnh sửa mô hình và Hướng ngữ nghĩa.

Chỉnh sửa hình ảnh

Các khuôn khổ trí tuệ nhân tạo hiện tại thường tập trung vào việc sử dụng đầu vào có điều kiện để hướng dẫn cấu trúc hình ảnh hoặc chúng thao túng sự chú ý chéo của hình ảnh nguồn với lời nhắc đích để cho phép chỉnh sửa hình ảnh đơn lẻ trong các khuôn khổ khuếch tán văn bản-sang-hình ảnh. Kết quả là, những cách tiếp cận này chỉ có thể được thực hiện trên hình ảnh đơn lẻ và chúng cũng yêu cầu tối ưu hóa cơ sở潜在 cho mỗi hình ảnh do sự tiến hóa của cấu trúc hình học theo thời gian trên các lời nhắc.

Phương pháp dựa trên hướng dẫn

Sử dụng các phương pháp hướng dẫn miễn phí phân loại đã chỉ ra khả năng của chúng trong việc tăng cường chất lượng của hình ảnh được tạo ra và tăng cường sự phù hợp giữa văn bản và hình ảnh. Bằng cách kết hợp các thuật ngữ hướng dẫn trong quá trình can thiệp, phương pháp này cải thiện tính thành phần hạn chế được kế thừa bởi các khuôn khổ khuếch tán và chúng có thể được sử dụng để hướng dẫn thông qua các khái niệm không an toàn trong các khuôn khổ khuếch tán.

Chỉnh sửa mô hình

Sử dụng Trượt Concept cũng có thể được xem là một kỹ thuật chỉnh sửa mô hình sử dụng một bộ điều chỉnh hạng thấp để xuất ra một thuộc tính ngữ nghĩa duy nhất, tạo không gian cho kiểm soát liên tục phù hợp với thuộc tính. Các phương pháp tùy chỉnh dựa trên tinh chỉnh sau đó được sử dụng để cá nhân hóa khuôn khổ và thêm các khái niệm mới. Hơn nữa, kỹ thuật Khuếch tán Tùy chỉnh đề xuất một cách để tinh chỉnh các lớp chú ý chéo để kết hợp các khái niệm trực quan mới vào các mô hình khuếch tán đã được đào tạo trước. Ngược lại, kỹ thuật Khuếch tán Văn bản đề xuất tối ưu hóa một vectơ nhúng để kích hoạt khả năng của mô hình và giới thiệu các khái niệm văn bản vào khuôn khổ.

Hướng ngữ nghĩa trong GAN

Thao túng các thuộc tính ngữ nghĩa là một trong những thuộc tính chính của Mạng đối抗 sinh (GAN) với các đường dẫn không gian潜在 được tìm thấy được sắp xếp theo cách tự giám sát. Trong các khuôn khổ khuếch tán, các đường dẫn không gian潜在 này tồn tại trong các lớp giữa của kiến trúc U-Net và hướng chính của không gian潜在 trong các khuôn khổ khuếch tán nắm bắt các ngữ nghĩa toàn cầu. Trượt Concept đào tạo các không gian con hạng thấp tương ứng với các thuộc tính đặc biệt trực tiếp và thu được các hướng chỉnh sửa chính xác và được định vị bằng cách sử dụng các cặp văn bản hoặc hình ảnh để tối ưu hóa các hướng toàn cầu.

Trượt Concept: Kiến trúc và Hoạt động

Mô hình khuếch tán và Bộ điều chỉnh LoRA hoặc Hạng thấp

Mô hình khuếch tán về cơ bản là một phân lớp của các khuôn khổ trí tuệ nhân tạo tạo sinh, hoạt động dựa trên nguyên tắc tổng hợp dữ liệu bằng cách đảo ngược một quá trình khuếch tán. Quá trình khuếch tán tiến hành ban đầu thêm nhiễu vào dữ liệu, do đó chuyển từ một trạng thái có tổ chức sang một trạng thái nhiễu Gaussian hoàn chỉnh. Mục tiêu chính của các mô hình khuếch tán là đảo ngược quá trình khuếch tán bằng cách逐渐 làm giảm nhiễu của hình ảnh và lấy mẫu một nhiễu Gaussian ngẫu nhiên để tạo ra một hình ảnh. Trong các ứng dụng thực tế, mục tiêu chính của các khuôn khổ khuếch tán là dự đoán nhiễu thực khi nhiễu Gaussian hoàn chỉnh được cung cấp làm đầu vào cùng với các đầu vào bổ sung như điều kiện và bước thời gian.

Kỹ thuật Bộ điều chỉnh LoRA hoặc Hạng thấp phân hủy các cập nhật trọng số trong quá trình tinh chỉnh để cho phép thích nghi hiệu quả của các khuôn khổ đã được đào tạo trước lớn trên các nhiệm vụ hạ nguồn. Kỹ thuật LoRA phân hủy các cập nhật trọng số cho một lớp mô hình đã được đào tạo trước theo cả chiều đầu vào và chiều đầu ra và hạn chế cập nhật vào một không gian con hạng thấp.

Trượt Concept

Mục tiêu chính của Trượt Concept là phục vụ như một cách tiếp cận để tinh chỉnh các bộ điều chỉnh LoRA trên một khuôn khổ khuếch tán để tạo điều kiện cho một mức độ kiểm soát lớn hơn đối với hình ảnh được nhắm mục tiêu theo khái niệm và điều này được chứng minh trong hình ảnh sau.

Khi được điều kiện hóa theo các khái niệm mục tiêu, Trượt Concept học các hướng tham số hạng thấp để tăng hoặc giảm biểu hiện của các thuộc tính cụ thể. Đối với một mô hình và khái niệm mục tiêu của nó, mục tiêu chính của Trượt Concept là thu được một mô hình được cải tiến sửa đổi khả năng tăng cường và ức chế các thuộc tính cho một hình ảnh khi được điều kiện hóa theo khái niệm mục tiêu để tăng khả năng tăng cường các thuộc tính và giảm khả năng ức chế các thuộc tính. Sử dụng tái tham số hóa và công thức Tweedie, khuôn khổ giới thiệu một quá trình nhiễu thay đổi theo thời gian và biểu thị mỗi điểm số như một dự đoán làm giảm nhiễu. Hơn nữa, mục tiêu giải phóng tinh chỉnh các mô-đun trong Trượt Concept trong khi giữ các trọng số đã được đào tạo trước không đổi và yếu tố tỷ lệ được giới thiệu trong quá trình hình thành LoRA được sửa đổi trong quá trình can thiệp. Yếu tố tỷ lệ cũng tạo điều kiện cho việc điều chỉnh cường độ của chỉnh sửa và làm cho các chỉnh sửa mạnh hơn mà không cần phải đào tạo lại khuôn khổ như được chứng minh trong hình ảnh sau.

Các phương pháp chỉnh sửa được sử dụng trước đó bởi các khuôn khổ đã cho phép các chỉnh sửa mạnh hơn bằng cách đào tạo lại khuôn khổ với hướng dẫn tăng cường. Tuy nhiên, việc tỷ lệ hóa yếu tố tỷ lệ trong quá trình can thiệp tạo ra cùng một kết quả chỉnh sửa mà không cần tăng chi phí đào tạo lại và thời gian.

Học các Khái niệm Trực quan

Trượt Concept được thiết kế để kiểm soát các khái niệm trực quan mà các lời nhắc văn bản không thể định nghĩa rõ ràng và các thanh trượt này tận dụng các tập dữ liệu nhỏ có thể được ghép nối trước hoặc sau để đào tạo trên các khái niệm này. Sự tương phản giữa các cặp hình ảnh cho phép các thanh trượt học các khái niệm trực quan. Hơn nữa, quá trình đào tạo của Trượt Concept tối ưu hóa thành phần LoRA được thực hiện trong cả hai hướng tiến và ngược lại. Kết quả là, thành phần LoRA phù hợp với hướng gây ra các hiệu ứng trực quan trong cả hai hướng.

Trượt Concept: Kết quả Thực hiện

Để phân tích sự tăng trưởng về hiệu suất, các nhà phát triển đã đánh giá việc sử dụng Trượt Concept chủ yếu trên Stable Diffusion XL, một khuôn khổ 1024-pixel độ phân giải cao với các thí nghiệm bổ sung được thực hiện trên khuôn khổ Stable Diffusion v1.4 với các mô hình được đào tạo trong 500 kỷ.

Trượt Concept Văn bản

Để đánh giá hiệu suất của Trượt Concept văn bản, nó được xác thực trên một tập hợp 30 khái niệm dựa trên văn bản và phương pháp này được so sánh với hai baseline sử dụng lời nhắc văn bản tiêu chuẩn cho một số bước thời gian cố định và sau đó bắt đầu thành phần bằng cách thêm lời nhắc để điều khiển hình ảnh. Như có thể thấy trong hình sau, việc sử dụng Trượt Concept dẫn đến điểm CLIP cao hơn liên tục và giảm điểm LPIPS khi so sánh với khuôn khổ ban đầu không có Trượt Concept.

Như có thể thấy trong hình trên, việc sử dụng Trượt Concept cho phép chỉnh sửa chính xác các thuộc tính mong muốn trong quá trình tạo hình ảnh trong khi vẫn duy trì cấu trúc tổng thể của hình ảnh.

Trượt Concept Trực quan

Các mô hình khuếch tán văn bản-sang-hình ảnh chỉ sử dụng lời nhắc văn bản thường gặp khó khăn trong việc duy trì mức độ kiểm soát cao hơn đối với các thuộc tính trực quan như tóc trên khuôn mặt hoặc hình dạng mắt. Để đảm bảo kiểm soát tốt hơn đối với các thuộc tính chi tiết, Trượt Concept tận dụng hướng dẫn văn bản tùy chọn được ghép nối với các tập dữ liệu hình ảnh. Như có thể thấy trong hình dưới đây, Trượt Concept tạo ra các thanh trượt riêng biệt cho “kích thước mắt” và “hình dạng lông mày” để nắm bắt các biến đổi mong muốn bằng cách sử dụng các cặp hình ảnh.

Kết quả có thể được tinh chỉnh thêm bằng cách cung cấp văn bản cụ thể để hướng tập trung vào vùng khuôn mặt đó và tạo ra các thanh trượt với kiểm soát từng bước đối với thuộc tính được nhắm mục tiêu.

Trượt Concept Kết hợp

Một trong những lợi thế chính của việc sử dụng Trượt Concept là khả năng kết hợp của chúng, cho phép người dùng kết hợp nhiều thanh trượt để có được mức độ kiểm soát tăng cường thay vì tập trung vào một khái niệm tại một thời điểm, điều này có thể được quy cho các hướng thanh trượt hạng thấp được sử dụng trong Trượt Concept. Ngoài ra, vì Trượt Concept là các bộ điều chỉnh LoRA nhẹ, chúng dễ dàng chia sẻ và cũng có thể được phủ lên trên các mô hình khuếch tán. Người dùng cũng có thể điều chỉnh nhiều núm đồng thời để điều khiển các tạo sinh phức tạp bằng cách tải xuống các tập thanh trượt thú vị.

Hình ảnh sau đây chứng minh khả năng kết hợp của các thanh trượt khái niệm, và nhiều thanh trượt được kết hợp tiến bộ trong mỗi hàng từ trái sang phải, cho phép di chuyển qua các không gian khái niệm cao chiều với mức độ kiểm soát tăng cường đối với các khái niệm.

Cải thiện Chất lượng Hình ảnh

Mặc dù các khuôn khổ khuếch tán văn bản-sang-hình ảnh và các mô hình tạo sinh quy mô lớn như Stable Diffusion XL có khả năng tạo ra hình ảnh thực tế và chất lượng cao, nhưng chúng thường gặp phải các biến dạng hình ảnh như đối tượng mờ hoặc bị bóp méo, mặc dù các tham số của các khuôn khổ tiên tiến này được trang bị khả năng tạo ra đầu ra chất lượng cao với ít lần tạo hơn. Việc sử dụng Trượt Concept có thể dẫn đến việc tạo ra hình ảnh với ít biến dạng hơn bằng cách mở khóa các khả năng thực sự của các mô hình này bằng cách xác định các hướng tham số hạng thấp.

Sửa Chữa Tay

Tạo ra hình ảnh với tay nhìn thực tế luôn là một thách thức đối với các khuôn khổ khuếch tán và việc sử dụng Trượt Concept có thể kiểm soát trực tiếp xu hướng biến dạng tay. Hình ảnh sau đây chứng minh hiệu ứng của việc sử dụng Trượt Concept “sửa chữa tay” cho phép khuôn khổ tạo ra hình ảnh với tay nhìn thực tế hơn.

Trượt Concept Sửa chữa

Việc sử dụng Trượt Concept không chỉ có thể dẫn đến việc tạo ra tay nhìn thực tế hơn mà còn cho thấy tiềm năng của chúng trong việc cải thiện sự hiện thực tổng thể của hình ảnh được tạo ra bởi khuôn khổ. Trượt Concept cũng xác định một hướng tham số hạng thấp duy nhất cho phép chuyển đổi hình ảnh từ các vấn đề biến dạng chung và kết quả được chứng minh trong hình sau.

Lời Kết

Trong bài viết này, chúng tôi đã thảo luận về Trượt Concept, một mô hình mới đơn giản nhưng có khả năng mở rộng cho phép kiểm soát có thể giải thích được đối với đầu ra được tạo ra trong các mô hình khuếch tán. Việc sử dụng Trượt Concept nhằm giải quyết các vấn đề mà các khuôn khổ khuếch tán văn bản-sang-hình ảnh hiện tại đang gặp phải, đó là khó khăn trong việc duy trì kiểm soát các khái niệm và thuộc tính trực quan trong hình ảnh được tạo ra, dẫn đến kết quả không hài lòng. Hơn nữa, hầu hết các mô hình khuếch tán văn bản-sang-hình ảnh đều gặp khó khăn trong việc điều chỉnh các thuộc tính liên tục, điều này thường dẫn đến kết quả không hài lòng. Việc sử dụng Trượt Concept có thể cho phép các khuôn khổ khuếch tán văn bản-sang-hình ảnh giảm thiểu những vấn đề này và trao quyền cho các nhà tạo nội dung và người dùng cuối cùng với mức độ kiểm soát tăng cường đối với quá trình tạo hình ảnh và giải quyết các thách thức mà các khuôn khổ hiện tại đang gặp phải.