Công nghệ tạo hình ảnh bằng trí tuệ nhân tạo đã chứng kiến sự phát triển đáng kể trong những năm gần đây, kể từ khi các mô hình khuếch tán văn bản đến hình ảnh lớn như DALL-E, GLIDE, Stable Diffusion, Imagen và nhiều hơn nữa xuất hiện. Mặc dù các mô hình tạo hình ảnh bằng trí tuệ nhân tạo có kiến trúc và phương pháp đào tạo khác nhau, nhưng chúng đều có một điểm chung: tạo hình ảnh tùy chỉnh và cá nhân hóa nhằm tạo ra hình ảnh có chủ thể, phong cách và đặc điểm nhất quán dựa trên hình ảnh tham chiếu.

Tuy nhiên, mặc dù các mô hình tạo hình ảnh bằng trí tuệ nhân tạo có khả năng tạo ra hình ảnh đáng kinh ngạc, nhưng chúng vẫn gặp phải một thách thức chung: tạo hình ảnh tùy chỉnh trong khi vẫn giữ được các chi tiết tinh tế của các đối tượng con người. Việc tạo hình ảnh tùy chỉnh trong khi giữ được các chi tiết tinh tế là rất quan trọng, đặc biệt là trong các nhiệm vụ nhận dạng khuôn mặt con người, đòi hỏi một tiêu chuẩn cao về độ trung thực và chi tiết, cũng như các yếu tố tinh tế khi so sánh với các nhiệm vụ tạo hình ảnh đối tượng chung tập trung vào kết cấu và màu sắc thô.

Để giải quyết những thách thức này, và nâng cao khả năng tạo hình ảnh, trong bài viết này, chúng tôi sẽ thảo luận về InstantID, một giải pháp dựa trên mô hình khuếch tán cho việc tạo hình ảnh. InstantID là một mô-đun cắm và chạy có thể xử lý tạo hình ảnh và cá nhân hóa một cách thành thạo trên nhiều phong cách khác nhau chỉ với một hình ảnh tham chiếu và đảm bảo độ trung thực cao.

InstantID: Tạo hình ảnh nhận dạng tức thời

Sự xuất hiện của các mô hình khuếch tán văn bản đến hình ảnh đã góp phần đáng kể vào sự phát triển của công nghệ tạo hình ảnh. Mục tiêu chính của các mô hình này là tạo hình ảnh tùy chỉnh và cá nhân hóa, và tạo ra hình ảnh có chủ thể, phong cách và đặc điểm nhất quán sử dụng một hoặc nhiều hình ảnh tham chiếu.

Tuy nhiên, mặc dù các mô hình này có khả năng tạo hình ảnh đáng kinh ngạc, nhưng chúng vẫn gặp phải một thách thức cơ bản: tạo hình ảnh tùy chỉnh trong khi vẫn giữ được các chi tiết tinh tế của các đối tượng con người một cách chính xác. Việc tạo hình ảnh tùy chỉnh với các chi tiết tinh tế là một nhiệm vụ khó khăn, vì nhận dạng khuôn mặt con người đòi hỏi một mức độ cao về độ trung thực và chi tiết, cũng như các yếu tố tinh tế khi so sánh với các đối tượng hoặc phong cách chung tập trung vào màu sắc hoặc kết cấu thô.

Để vượt qua những khó khăn này, khuôn khổ InstantID tập trung vào việc tạo hình ảnh nhận dạng tức thời, và cố gắng bắc cầu giữa hiệu quả và độ trung thực cao bằng cách giới thiệu một mô-đun cắm và chạy đơn giản cho phép khuôn khổ xử lý cá nhân hóa hình ảnh sử dụng chỉ một hình ảnh khuôn mặt duy nhất trong khi vẫn giữ được độ trung thực cao.

Có ba đặc điểm khác biệt mà phân biệt khuôn khổ InstantID với các khuôn khổ tạo hình ảnh bằng trí tuệ nhân tạo hiện có.

• Tương thích và cắm: Thay vì đào tạo trên tất cả các tham số của khuôn khổ UNet, khuôn khổ InstantID tập trung vào đào tạo một bộ điều chỉnh nhẹ. Do đó, khuôn khổ InstantID tương thích và cắm với các mô hình đã được đào tạo trước.

• Không cần điều chỉnh: Phương pháp của khuôn khổ InstantID loại bỏ nhu cầu điều chỉnh vì nó chỉ cần một lần truyền tải duy nhất cho quá trình suy luận, làm cho mô hình này rất thực tế và tiết kiệm cho việc điều chỉnh.
• Hiệu suất vượt trội: Khuôn khổ InstantID thể hiện sự linh hoạt và độ trung thực cao vì nó có thể cung cấp hiệu suất hàng đầu sử dụng chỉ một hình ảnh tham chiếu, tương đương với các phương pháp dựa trên đào tạo sử dụng nhiều hình ảnh tham chiếu.

Tổng thể, các đóng góp của khuôn khổ InstantID có thể được phân loại như sau.

1. Khuôn khổ InstantID là một phương pháp thích nghi sáng tạo và bảo tồn nhận dạng cho các mô hình khuếch tán văn bản đến hình ảnh đã được đào tạo trước, nhằm mục đích bắc cầu giữa hiệu quả và độ trung thực.
2. Khuôn khổ InstantID tương thích và cắm với các mô hình đã được đào tạo trước sử dụng cùng mô hình khuếch tán trong kiến trúc của nó, cho phép bảo tồn nhận dạng trong các mô hình đã được đào tạo trước mà không có chi phí thêm.

InstantID: Phương pháp và Kiến trúc

Như đã đề cập trước đó, khuôn khổ InstantID là một bộ điều chỉnh nhẹ và hiệu quả cho các mô hình khuếch tán văn bản đến hình ảnh đã được đào tạo trước, giúp chúng có khả năng bảo tồn nhận dạng một cách dễ dàng.

Khi nói về kiến trúc, khuôn khổ InstantID được xây dựng trên mô hình Stable Diffusion, nổi tiếng với khả năng thực hiện quá trình khuếch tán trong không gian latent thấp với hiệu quả tính toán cao, thay vì không gian pixel với một bộ mã hóa tự động. Đối với một hình ảnh đầu vào, bộ mã hóa đầu tiên ánh xạ hình ảnh đến một biểu diễn latent với yếu tố lấy mẫu và chiều latent.

Hơn nữa, khuôn khổ InstantID cũng sử dụng một thành phần ControlNet có khả năng thêm điều khiển không gian vào một mô hình khuếch tán đã được đào tạo trước, mở rộng vượt ra ngoài khả năng của các lời nhắc văn bản truyền thống. Thành phần ControlNet cũng tích hợp kiến trúc UNet từ khuôn khổ Stable Diffusion bằng cách sử dụng một bản sao đã được đào tạo của thành phần UNet.

Khuôn khổ InstantID cũng lấy cảm hứng từ IP-Adapter hoặc Bộ điều chỉnh lời nhắc hình ảnh, giới thiệu một phương pháp mới để đạt được khả năng lời nhắc hình ảnh song song với lời nhắc văn bản mà không cần sửa đổi các mô hình văn bản đến hình ảnh ban đầu.

Phương pháp

Để cung cấp một cái nhìn tổng quan, khuôn khổ InstantID nhằm tạo ra hình ảnh tùy chỉnh với các phong cách hoặc tư thế khác nhau sử dụng chỉ một hình ảnh tham chiếu duy nhất với độ trung thực cao.

Khuôn khổ InstantID có ba thành phần thiết yếu:

1. Một thành phần nhúng nhận dạng để thu thập thông tin ngữ nghĩa mạnh mẽ của các đặc điểm khuôn mặt trong hình ảnh.
2. Một mô-đun điều chỉnh nhẹ với một thành phần chú ý chéo phân tách để hỗ trợ sử dụng hình ảnh như một lời nhắc hình ảnh.
3. Một thành phần IdentityNet để mã hóa các đặc điểm chi tiết từ hình ảnh tham chiếu sử dụng điều khiển không gian bổ sung.

Nhúng Nhận dạng

Không giống như các phương pháp hiện có như FaceStudio, PhotoMaker, IP-Adapter và nhiều hơn nữa, khuôn khổ InstantID tập trung vào việc tăng cường độ trung thực và các chi tiết ngữ nghĩa mạnh mẽ trong nhiệm vụ bảo tồn nhận dạng.

Bộ điều chỉnh Hình ảnh

Khả năng của các mô hình khuếch tán văn bản đến hình ảnh đã được đào tạo trước trong các nhiệm vụ nhắc hình ảnh tăng cường đáng kể khả năng nhắc văn bản, đặc biệt là trong các tình huống không thể mô tả đầy đủ bằng lời nhắc văn bản.

IdentityNet

Mặc dù các phương pháp hiện có có thể tích hợp lời nhắc hình ảnh với lời nhắc văn bản, khuôn khổ InstantID cho rằng những phương pháp này chỉ tăng cường các đặc điểm thô và mức độ tích hợp không đủ cho việc tạo hình ảnh bảo tồn nhận dạng.

Khuôn khổ InstantID thực hiện hai thay đổi đối với kiến trúc ControlNet truyền thống: đối với đầu vào có điều kiện, khuôn khổ InstantID chọn 5 điểm mốc khuôn mặt thay vì các điểm mốc khuôn mặt OpenPose chi tiết.

Đào tạo và Suy luận

Trong quá trình đào tạo, khuôn khổ InstantID tối ưu hóa các tham số của IdentityNet và Bộ điều chỉnh Hình ảnh trong khi giữ nguyên các tham số của mô hình khuếch tán đã được đào tạo trước.

InstantID: Thử nghiệm và Kết quả

Khuôn khổ InstantID thực hiện mô hình Stable Diffusion và đào tạo nó trên tập dữ liệu LAION-Face, một tập dữ liệu mở lớn bao gồm hơn 50 triệu cặp hình ảnh-văn bản.

Tạo hình ảnh Chỉ

Mô hình InstantID sử dụng một lời nhắc trống để hướng dẫn quá trình tạo hình ảnh sử dụng chỉ hình ảnh tham chiếu, và kết quả không có lời nhắc được trình bày trong hình ảnh sau.

Sự tạo hình ảnh “Lời nhắc trống” như được trình bày trong hình ảnh trên cho thấy khả năng của khuôn khổ InstantID trong việc giữ được các đặc điểm khuôn mặt phong phú như nhận dạng, tuổi và biểu cảm một cách mạnh mẽ.

Lời Kết

Trong bài viết này, chúng tôi đã thảo luận về InstantID, một giải pháp dựa trên mô hình khuếch tán cho việc tạo hình ảnh. InstantID là một mô-đun cắm và chạy có thể xử lý tạo hình ảnh và cá nhân hóa một cách thành thạo trên nhiều phong cách khác nhau chỉ với một hình ảnh tham chiếu và đảm bảo độ trung thực cao.