Trong những năm gần đây, các mô hình khuếch tán dựa trên điều chỉnh đã chứng minh sự tiến bộ đáng kể trên nhiều nhiệm vụ tùy chỉnh và cá nhân hóa hình ảnh. Tuy nhiên, mặc dù có tiềm năng, các mô hình khuếch tán dựa trên điều chỉnh hiện tại vẫn tiếp tục phải đối mặt với nhiều thách thức phức tạp trong việc tạo ra và tạo hình ảnh nhất quán về phong cách, và có thể có ba lý do đằng sau điều này. Thứ nhất, khái niệm phong cách vẫn còn rộng rãi và không được xác định, và bao gồm sự kết hợp của các yếu tố bao gồm bầu không khí, cấu trúc, thiết kế, vật liệu, màu sắc và nhiều hơn nữa. Thứ hai, các phương pháp dựa trên đảo ngược dễ bị suy giảm phong cách, dẫn đến mất mát các chi tiết tinh tế. Cuối cùng, các phương pháp dựa trên bộ điều chỉnh đòi hỏi phải điều chỉnh trọng lượng thường xuyên cho mỗi hình ảnh tham chiếu để duy trì sự cân bằng giữa khả năng kiểm soát văn bản và cường độ phong cách.

Hơn nữa, mục tiêu chính của hầu hết các phương pháp chuyển phong cách hoặc tạo hình ảnh phong cách là sử dụng hình ảnh tham chiếu và áp dụng phong cách cụ thể từ một tập hợp con hoặc hình ảnh tham chiếu vào hình ảnh nội dung mục tiêu. Tuy nhiên, đó là số lượng thuộc tính phong cách rộng lớn làm cho công việc trở nên khó khăn cho các nhà nghiên cứu để thu thập các tập dữ liệu phong cách, đại diện cho phong cách một cách chính xác, và đánh giá thành công của việc chuyển phong cách. Trước đây, các mô hình và khuôn khổ liên quan đến quá trình khuếch tán dựa trên điều chỉnh, điều chỉnh tập dữ liệu hình ảnh chia sẻ phong cách chung, một quá trình vừa tốn thời gian và có tính tổng quát hóa hạn chế trong các nhiệm vụ thực tế vì nó khó để thu thập một tập hợp con hình ảnh chia sẻ phong cách giống nhau hoặc gần giống nhau.

Trong bài viết này, chúng tôi sẽ nói về InstantStyle, một khuôn khổ được thiết kế với mục tiêu giải quyết các vấn đề mà các mô hình khuếch tán dựa trên điều chỉnh hiện tại đang gặp phải trong việc tạo hình ảnh và tùy chỉnh. Chúng tôi sẽ nói về hai chiến lược chính được triển khai bởi khuôn khổ InstantStyle:

1. Một cách tiếp cận đơn giản nhưng hiệu quả để tách biệt phong cách và nội dung từ hình ảnh tham chiếu trong không gian tính năng, dự đoán dựa trên giả định rằng các tính năng trong cùng không gian tính năng có thể được thêm hoặc trừ đi từ nhau.
2. Ngăn chặn sự rò rỉ phong cách bằng cách tiêm các tính năng hình ảnh tham chiếu độc quyền vào các khối phong cách cụ thể, và cố ý tránh việc sử dụng các trọng lượng cồng kềnh để điều chỉnh, thường đặc trưng bởi các thiết kế nặng về tham số.

Bài viết này nhằm mục đích bao quát khuôn khổ InstantStyle một cách sâu sắc, và chúng tôi khám phá cơ chế, phương pháp, kiến trúc của khuôn khổ cùng với so sánh với các khuôn khổ hiện đại. Chúng tôi cũng sẽ nói về cách khuôn khổ InstantStyle thể hiện kết quả phong cách hóa trực quan đáng kể, và đạt được sự cân bằng tối ưu giữa khả năng kiểm soát các yếu tố văn bản và cường độ phong cách. Vậy hãy bắt đầu.

InstantStyle: Bảo Tồn Phong Cách Trong Tạo Hình Ảnh Từ Văn Bản

Các khuôn khổ tạo hình ảnh từ văn bản dựa trên khuếch tán đã đạt được thành công đáng chú ý trên nhiều nhiệm vụ tùy chỉnh và cá nhân hóa, đặc biệt là trong các nhiệm vụ tạo hình ảnh nhất quán bao gồm tùy chỉnh đối tượng, bảo tồn hình ảnh và chuyển phong cách. Tuy nhiên, mặc dù có sự thành công gần đây và tăng cường hiệu suất, chuyển phong cách vẫn là một nhiệm vụ thách thức cho các nhà nghiên cứu do bản chất không xác định và không xác định của phong cách, thường bao gồm nhiều yếu tố bao gồm bầu không khí, cấu trúc, thiết kế, vật liệu, màu sắc và nhiều hơn nữa. Với điều đó được nói, mục tiêu chính của tạo hình ảnh phong cách hoặc chuyển phong cách là áp dụng phong cách cụ thể từ một hình ảnh tham chiếu hoặc một tập hợp con hình ảnh tham chiếu vào hình ảnh nội dung mục tiêu. Tuy nhiên, số lượng thuộc tính phong cách rộng lớn làm cho công việc trở nên khó khăn cho các nhà nghiên cứu để thu thập các tập dữ liệu phong cách, đại diện cho phong cách một cách chính xác, và đánh giá thành công của việc chuyển phong cách. Trước đây, các mô hình và khuôn khổ liên quan đến quá trình khuếch tán dựa trên điều chỉnh, điều chỉnh tập dữ liệu hình ảnh chia sẻ phong cách chung, một quá trình vừa tốn thời gian và có tính tổng quát hóa hạn chế trong các nhiệm vụ thực tế vì nó khó để thu thập một tập hợp con hình ảnh chia sẻ phong cách giống nhau hoặc gần giống nhau.

Với những thách thức mà cách tiếp cận hiện tại gặp phải, các nhà nghiên cứu đã quan tâm đến việc phát triển các phương pháp điều chỉnh cho chuyển phong cách hoặc tạo hình ảnh phong cách, và các khuôn khổ này có thể được chia thành hai nhóm khác nhau:

• Phương Pháp Không Cần Bộ Điều Chỉnh: Các phương pháp không cần bộ điều chỉnh và khuôn khổ tận dụng sức mạnh của tự chú ý trong quá trình khuếch tán, và bằng cách thực hiện một hoạt động chú ý chung, các mô hình này có thể trích xuất các tính năng thiết yếu bao gồm khóa và giá trị từ hình ảnh phong cách tham chiếu trực tiếp.

• Phương Pháp Cần Bộ Điều Chỉnh: Các phương pháp cần bộ điều chỉnh và khuôn khổ kết hợp một mô hình nhẹ để trích xuất các biểu diễn hình ảnh chi tiết từ hình ảnh phong cách tham chiếu. Khuôn khổ sau đó tích hợp các biểu diễn này vào quá trình khuếch tán một cách khéo léo bằng cách sử dụng các cơ chế chú ý chéo. Mục tiêu chính của quá trình tích hợp là hướng dẫn quá trình tạo hình ảnh, và đảm bảo rằng hình ảnh kết quả được căn chỉnh với các sắc thái phong cách mong muốn của hình ảnh tham chiếu.

Tuy nhiên, mặc dù có những hứa hẹn, các phương pháp không cần điều chỉnh thường gặp phải một số thách thức. Thứ nhất, phương pháp không cần bộ điều chỉnh đòi hỏi một sự trao đổi khóa và giá trị trong các lớp tự chú ý, và bắt trước các ma trận khóa và giá trị được dẫn xuất từ hình ảnh phong cách tham chiếu. Khi được thực hiện trên hình ảnh tự nhiên, phương pháp không cần bộ điều chỉnh đòi hỏi sự đảo ngược hình ảnh trở lại nhiễu tiềm ẩn bằng cách sử dụng các kỹ thuật như DDIM hoặc Mô hình Khuếch Tán Ngầm. Tuy nhiên, sử dụng DDIM hoặc các phương pháp đảo ngược khác có thể dẫn đến mất mát các chi tiết tinh tế như màu sắc và kết cấu, do đó làm giảm thông tin phong cách trong hình ảnh tạo ra.

Để giải quyết những hạn chế này, khuôn khổ InstantStyle được giới thiệu, là một cơ chế không cần điều chỉnh mới dựa trên các phương pháp dựa trên bộ điều chỉnh hiện có, với khả năng tích hợp liền mạch với các phương pháp tiêm tính năng dựa trên chú ý khác, và đạt được sự tách biệt nội dung và phong cách một cách hiệu quả. Hơn nữa, khuôn khổ InstantStyle giới thiệu không chỉ một, mà hai cách hiệu quả để hoàn thành sự tách biệt phong cách và nội dung, đạt được sự di chuyển phong cách tốt hơn mà không cần giới thiệu các phương pháp bổ sung để đạt được sự tách biệt hoặc xây dựng các tập dữ liệu ghép.

Hơn nữa, các khuôn khổ dựa trên bộ điều chỉnh trước đây đã được sử dụng rộng rãi trong các phương pháp dựa trên CLIP như một bộ trích xuất tính năng hình ảnh, một số khuôn khổ đã khám phá khả năng thực hiện tách biệt tính năng trong không gian tính năng, và khi so sánh với sự không xác định của phong cách, nó dễ dàng hơn để mô tả nội dung bằng văn bản. Vì hình ảnh và văn bản chia sẻ không gian tính năng trong các phương pháp dựa trên CLIP, một hoạt động trừ đơn giản của các tính năng văn bản và hình ảnh có thể giảm thiểu sự rò rỉ nội dung đáng kể.

Tóm lại, khuôn khổ InstantStyle sử dụng hai cơ chế đơn giản, trực tiếp nhưng hiệu quả để đạt được sự tách biệt nội dung và phong cách từ hình ảnh tham chiếu. Khuôn khổ Instant-Style là một phương pháp độc lập và không cần điều chỉnh, thể hiện hiệu suất đáng kể trong các nhiệm vụ chuyển phong cách với tiềm năng lớn cho các nhiệm vụ hạ nguồn.

Instant-Style: Phương Pháp và Kiến Trúc

Như đã được chứng minh bởi các phương pháp trước đây, có một sự cân bằng trong việc tiêm các điều kiện phong cách trong các mô hình khuếch tán không cần điều chỉnh. Nếu cường độ của điều kiện hình ảnh quá cao, nó có thể dẫn đến sự rò rỉ nội dung, trong khi nếu cường độ của điều kiện hình ảnh giảm quá thấp, phong cách có thể không rõ ràng đủ. Một lý do chính đằng sau quan sát này là trong một hình ảnh, phong cách và nội dung được liên kết, và do bản chất không xác định của phong cách, nó khó để tách biệt phong cách và nội dung.

Đến với phương pháp, thay vì sử dụng các chiến lược phức tạp để tách biệt nội dung và phong cách từ hình ảnh, khuôn khổ Instant-Style thực hiện cách tiếp cận đơn giản nhất để đạt được hiệu suất tương tự. Khi so sánh với các thuộc tính phong cách không xác định, nội dung có thể được đại diện bằng văn bản tự nhiên, cho phép khuôn khổ Instant-Style sử dụng bộ mã hóa văn bản từ CLIP để trích xuất các đặc điểm của văn bản nội dung như các biểu diễn ngữ cảnh.

Hơn nữa, mỗi lớp trong một mạng lưới sâu là负责 việc thu thập các thông tin ngữ nghĩa khác nhau, và quan sát chính từ các mô hình trước đây là có hai lớp chú ý chịu trách nhiệm xử lý phong cách. Cụ thể, đó là các khối.0.attentions.1 và down blocks.2.attentions.1 lớp chịu trách nhiệm thu thập phong cách như màu sắc, vật liệu, bầu không khí, và lớp bố cục không gian thu thập cấu trúc và thành phần.

Instant-Style: Thử Nghiệm và Kết Quả

Khuôn khổ Instant-Style được thực hiện trên khuôn khổ Stable Diffusion XL, và nó sử dụng IR-adapter được áp dụng rộng rãi làm ví dụ để xác thực phương pháp của nó, và làm im lặng tất cả các khối ngoại trừ các khối phong cách cho các tính năng hình ảnh.

Để tiến hành khả năng tổng quát hóa và độ bền của nó, khuôn khổ Instant-Style thực hiện nhiều thử nghiệm chuyển phong cách với các phong cách khác nhau trên các nội dung khác nhau, và kết quả có thể được quan sát trong các hình ảnh sau. Cho một hình ảnh tham chiếu phong cách đơn và các lời nhắc thay đổi, khuôn khổ Instant-Style cung cấp hình ảnh tạo ra chất lượng cao, nhất quán về phong cách.

Hơn nữa, vì mô hình tiêm thông tin hình ảnh chỉ trong các khối phong cách, nó có thể giảm thiểu đáng kể vấn đề rò rỉ nội dung, và do đó, không cần phải thực hiện điều chỉnh trọng lượng.

Tiếp theo, khuôn khổ Instant-Style cũng áp dụng kiến trúc ControlNet để đạt được phong cách hóa hình ảnh với kiểm soát không gian, và kết quả được trình bày trong hình ảnh sau.

Khi so sánh với các phương pháp hiện đại trước đây, bao gồm StyleAlign, B-LoRA, Swapping Self Attention, và IP-Adapter, khuôn khổ Instant-Style thể hiện hiệu ứng trực quan tốt nhất.

Lời Kết

Trong bài viết này, chúng tôi đã nói về Instant-Style, một khuôn khổ tổng quát sử dụng hai chiến lược đơn giản nhưng hiệu quả để đạt được sự tách biệt nội dung và phong cách từ hình ảnh tham chiếu. Khuôn khổ InstantStyle được thiết kế với mục tiêu giải quyết các vấn đề mà các mô hình khuếch tán dựa trên điều chỉnh hiện tại đang gặp phải trong việc tạo hình ảnh và tùy chỉnh. Khuôn khổ Instant-Style triển khai hai chiến lược quan trọng: