Cuộc Đấu Tranh Để Tùy Chỉnh Zero-Shot Trong Trí Tuệ Nhân Tạo Tạo

Nếu bạn muốn đặt mình vào một công cụ tạo hình ảnh hoặc video phổ biến – nhưng bạn không đủ nổi tiếng để mô hình nền tảng nhận ra bạn – bạn sẽ cần đào tạo một mô hình điều chỉnh thấp (LoRA) bằng cách sử dụng một bộ sưu tập ảnh của riêng bạn. Khi được tạo, mô hình LoRA được cá nhân hóa này cho phép mô hình tạo ra bao gồm danh tính của bạn trong các đầu ra tương lai.

Điều này thường được gọi là tùy chỉnh trong lĩnh vực nghiên cứu tổng hợp hình ảnh và video. Nó lần đầu tiên xuất hiện vài tháng sau khi Stable Diffusion ra mắt vào mùa hè năm 2022, với dự án DreamBooth của Google Research cung cấp các mô hình tùy chỉnh có dung lượng cao, trong một lược đồ mã nguồn đóng đã được các nhà đam mê thích nghi và phát hành cho cộng đồng.

Mô hình LoRA nhanh chóng theo sau và cung cấp đào tạo dễ dàng hơn và kích thước tệp nhỏ hơn, với chất lượng tối thiểu hoặc không có chi phí, nhanh chóng thống trị cảnh quan tùy chỉnh cho Stable Diffusion và các mô hình kế thừa sau này, như Flux, và bây giờ các mô hình video tạo ra mới như Hunyuan Video và Wan 2.1.

Rinse và Repeat

Vấn đề là, như chúng tôi đã lưu ý trước đó, mỗi khi một mô hình mới được phát hành, nó cần một thế hệ mới của LoRA để được đào tạo, điều này đại diện cho ma sát đáng kể đối với các nhà sản xuất LoRA, những người có thể đào tạo một loạt các mô hình tùy chỉnh chỉ để tìm thấy rằng một mô hình cập nhật hoặc mô hình phổ biến hơn có nghĩa là họ cần phải bắt đầu lại từ đầu.

Do đó, các phương pháp tùy chỉnh zero-shot đã trở thành một chủ đề mạnh mẽ trong tài liệu gần đây. Trong kịch bản này, thay vì cần phải tạo một tập dữ liệu và đào tạo mô hình con của riêng bạn, bạn chỉ cần cung cấp một hoặc nhiều ảnh của đối tượng cần được tiêm vào quá trình tạo ra, và hệ thống sẽ giải thích các nguồn đầu vào này thành một đầu ra kết hợp.

Dưới đây, chúng ta thấy rằng ngoài việc thay thế khuôn mặt, một hệ thống như vậy (ở đây sử dụng PuLID) cũng có thể kết hợp các giá trị ID vào chuyển giao phong cách:

Ví dụ về chuyển giao ID khuôn mặt sử dụng hệ thống PuLID. Nguồn: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Trong khi việc thay thế một hệ thống tốn công và dễ vỡ như LoRA bằng một bộ điều chỉnh chung là một ý tưởng tuyệt vời (và phổ biến), nó cũng đầy thách thức; sự chú ý đến chi tiết và phạm vi đạt được trong quá trình đào tạo LoRA rất khó để bắt chước trong một mô hình kiểu IP-Adapter, mô hình này phải khớp với mức độ chi tiết và tính linh hoạt của LoRA mà không có lợi thế trước của phân tích một tập hợp toàn diện các hình ảnh danh tính.

HyperLoRA

Với điều này trong tâm trí, có một bài báo thú vị mới từ ByteDance đề xuất một hệ thống tạo ra mã LoRA thực sự trên máy bay, hiện đang là duy nhất trong số các giải pháp zero-shot:

Bên trái, hình ảnh đầu vào. Bên phải của đó, một loạt đầu ra linh hoạt dựa trên hình ảnh nguồn, hiệu quả tạo ra các bản sao sâu của các diễn viên Anthony Hopkins và Anne Hathaway. Nguồn: https://arxiv.org/pdf/2503.16944

Bài báo cho biết:

‘Các kỹ thuật dựa trên bộ điều chỉnh như IP-Adapter đóng băng các tham số mô hình nền tảng và sử dụng một kiến trúc cắm để cho phép suy luận zero-shot, nhưng chúng thường hiển thị sự thiếu tự nhiên và tính xác thực, điều này không được bỏ qua trong các nhiệm vụ tổng hợp chân dung.

‘[Chúng tôi] giới thiệu một phương pháp tạo ra thích nghi hiệu quả về tham số, được gọi là HyperLoRA, sử dụng một mạng cắm thích nghi để tạo ra trọng số LoRA, kết hợp hiệu suất vượt trội của LoRA với khả năng zero-shot của lược đồ bộ điều chỉnh.

‘Thông qua cấu trúc mạng và chiến lược đào tạo được thiết kế cẩn thận, chúng tôi đạt được khả năng tạo ra hình ảnh chân dung được cá nhân hóa zero-shot (hỗ trợ cả đầu vào hình ảnh đơn và nhiều hình ảnh) với độ chân thực cao, độ trung thực và khả năng chỉnh sửa.’

Đặc biệt hữu ích, hệ thống đã được đào tạo có thể được sử dụng với ControlNet hiện có, cho phép mức độ cụ thể cao trong quá trình tạo ra:

Timothy Chalomet xuất hiện trong bộ phim ‘The Shining’ (1980) dựa trên ba hình ảnh đầu vào trong HyperLoRA, với một mặt nạ ControlNet định nghĩa đầu ra (cùng với một lời nhắc văn bản).

Về việc liệu hệ thống mới này có bao giờ được cung cấp cho người dùng cuối hay không, ByteDance có một hồ sơ theo dõi hợp lý trong vấn đề này, khi họ đã phát hành khuôn khổ LatentSync mạnh mẽ và khuôn khổ InfiniteYou mới đây.

Tuy nhiên, bài báo không cho thấy ý định phát hành, và các tài nguyên đào tạo cần thiết để tái tạo công việc này quá cao đến mức sẽ là một thách thức đối với cộng đồng đam mê để tái tạo (như họ đã làm với DreamBooth).

Bài báo mới mới có tiêu đề HyperLoRA: Phương pháp tạo ra thích nghi hiệu quả về tham số cho tổng hợp chân dung, và đến từ bảy nhà nghiên cứu trên ByteDance và bộ phận sáng tạo thông minh của ByteDance.

Phương Pháp

Phương pháp mới này sử dụng mô hình khuếch tán ổn định SDXL làm mô hình nền tảng, mặc dù các nguyên tắc dường như có thể áp dụng cho các mô hình khuếch tán nói chung (Tuy nhiên, các yêu cầu đào tạo – xem bên dưới – có thể khiến nó khó áp dụng cho các mô hình video tạo ra).

Quá trình đào tạo cho HyperLoRA được chia thành ba giai đoạn, mỗi giai đoạn được thiết kế để cô lập và bảo tồn thông tin cụ thể trong các trọng số đã học. Mục tiêu của thủ tục này là ngăn chặn các tính năng liên quan đến danh tính bị ô nhiễm bởi các yếu tố không liên quan như quần áo hoặc nền, đồng thời đạt được sự hội tụ nhanh chóng và ổn định.

Sơ đồ khái niệm cho HyperLoRA. Mô hình được chia thành ‘Hyper ID-LoRA’ cho các tính năng danh tính và ‘Hyper Base-LoRA’ cho nền và quần áo. Sự tách biệt này giảm thiểu sự rò rỉ tính năng. Trong quá trình đào tạo, mô hình nền tảng SDXL và các bộ mã hóa được đóng băng, và chỉ các mô块 HyperLoRA được cập nhật. Tại thời điểm suy luận, chỉ cần ID-LoRA để tạo ra hình ảnh được cá nhân hóa.

Giai đoạn đầu tập trung hoàn toàn vào việc học một ‘Base-LoRA’ (bên trái dưới trong hình ảnh sơ đồ trên), nó nắm bắt các chi tiết không liên quan đến danh tính.

Để thực thi sự tách biệt này, các nhà nghiên cứu đã cố ý làm mờ khuôn mặt trong các hình ảnh đào tạo, cho phép mô hình nắm bắt các thứ như nền, ánh sáng và tư thế – nhưng không phải danh tính. Giai đoạn này hoạt động như một bộ lọc, loại bỏ các sự phân tâm cấp thấp trước khi quá trình học danh tính bắt đầu.

Trong giai đoạn thứ hai, một ‘ID-LoRA’ (bên trái trên trong hình ảnh sơ đồ trên) được giới thiệu. Tại đây, danh tính khuôn mặt được mã hóa bằng hai con đường song song: một CLIP Vision Transformer (CLIP ViT) cho các tính năng cấu trúc và bộ mã hóa InsightFace AntelopeV2 cho các biểu diễn danh tính trừu tượng hơn.

Phương Pháp Chuyển Tiếp

Các tính năng CLIP giúp mô hình hội tụ nhanh chóng, nhưng có nguy cơ quá拟合, trong khi các bản nhúng Antelope ổn định hơn nhưng chậm hơn khi đào tạo. Do đó, hệ thống bắt đầu bằng cách dựa nhiều hơn vào CLIP và dần dần chuyển sang Antelope, để tránh sự không ổn định.

Trong giai đoạn cuối cùng, các lớp chú ý được hướng dẫn bởi CLIP được đóng băng hoàn toàn. Chỉ các mô块 chú ý liên kết với AntelopeV2 tiếp tục đào tạo, cho phép mô hình tinh chỉnh việc bảo tồn danh tính mà không làm giảm chất lượng hoặc tính tổng quát của các thành phần đã học trước đó.

Cấu trúc này về cơ bản là một nỗ lực nhằm phân tách. Các tính năng danh tính và không danh tính được tách biệt, sau đó được tinh chỉnh độc lập. Đây là một phản ứng có phương pháp đối với các chế độ thất bại thông thường của việc cá nhân hóa: trôi dạt danh tính, khả năng chỉnh sửa thấp và quá拟 hợp với các tính năng tình cờ.

Khi Bạn Cân

Sau khi CLIP ViT và AntelopeV2 đã trích xuất cả các tính năng cấu trúc và danh tính cụ thể từ một chân dung nhất định, các tính năng thu được sau đó được truyền qua một perceiver resampler (được dẫn xuất từ dự án IP-Adapter) – một môđun dựa trên transformer ánh xạ các tính năng đến một tập hợp nhỏ gọn các hệ số.

Hai resampler riêng biệt được sử dụng: một cho việc tạo ra trọng số Base-LoRA (mã hóa nền và các yếu tố không liên quan đến danh tính) và một cho trọng số ID-LoRA (tập trung vào danh tính khuôn mặt).

Sơ đồ cho cấu trúc mạng HyperLoRA.

Các hệ số đầu ra sau đó được kết hợp tuyến tính với một tập hợp các ma trận cơ sở LoRA đã học, tạo ra trọng số LoRA đầy đủ mà không cần phải tinh chỉnh mô hình nền tảng.

Cách tiếp cận này cho phép hệ thống tạo ra trọng số được cá nhân hóa hoàn toàn trên máy bay, chỉ sử dụng các bộ mã hóa hình ảnh và chiếu ánh xạ nhẹ, đồng thời vẫn tận dụng khả năng của LoRA trong việc sửa đổi trực tiếp hành vi của mô hình nền tảng.

Dữ Liệu và Kiểm Tra

Để đào tạo HyperLoRA, các nhà nghiên cứu đã sử dụng một tập con 4,4 triệu hình ảnh khuôn mặt từ tập dữ liệu LAION-2B (bây giờ được biết đến như là nguồn dữ liệu cho các mô hình Stable Diffusion ban đầu năm 2022).

InsightFace đã được sử dụng để lọc ra các khuôn mặt không phải chân dung và nhiều hình ảnh. Sau đó, các hình ảnh được chú thích với hệ thống BLIP-2.

Về tăng cường dữ liệu, các hình ảnh đã được cắt ngẫu nhiên xung quanh khuôn mặt, nhưng luôn tập trung vào khu vực khuôn mặt.

Các hạng LoRA tương ứng phải thích ứng với bộ nhớ có sẵn trong thiết lập đào tạo. Do đó, hạng LoRA cho ID-LoRA được đặt ở 8, và hạng cho Base-LoRA ở 4, trong khi tích lũy gradient tám bước được sử dụng để mô phỏng một kích thước lô lớn hơn so với thực tế trên phần cứng.

Các nhà nghiên cứu đã đào tạo các môđun Base-LoRA, ID-LoRA (CLIP) và ID-LoRA (nhúng danh tính) tuần tự trong 20K, 15K và 55K lần lặp, tương ứng. Trong quá trình đào tạo ID-LoRA, họ lấy mẫu từ ba kịch bản điều kiện với xác suất 0,9, 0,05 và 0,05.

Hệ thống được thực hiện bằng PyTorch và Diffusers, và toàn bộ quá trình đào tạo chạy trong khoảng mười ngày trên 16 GPU A100 của NVIDIA *.

Kiểm Tra ComfyUI

Các tác giả đã xây dựng các công việc trong nền tảng ComfyUI để so sánh HyperLoRA với ba phương pháp đối thủ: InstantID; IP-Adapter, dưới dạng khuôn khổ IP-Adapter-FaceID-Portrait; và PuLID đã đề cập trước đó. Các hạt giống nhất quán, lời nhắc và phương pháp lấy mẫu được sử dụng trên tất cả các khuôn khổ.

Các tác giả lưu ý rằng các phương pháp dựa trên bộ điều chỉnh (thay vì LoRA) thường yêu cầu thang độ dẫn Classifier-Free Guidance (CFG) thấp hơn, trong khi LoRA (bao gồm HyperLoRA) linh hoạt hơn trong khía cạnh này.

Do đó, các nhà nghiên cứu đã sử dụng biến thể điểm kiểm tra LEOSAM’s Hello World trên tất cả các kiểm tra. Đối với các kiểm tra định lượng, tập dữ liệu hình ảnh Unsplash-50 đã được sử dụng.

Đo Lường

Để tạo ra một điểm chuẩn về độ trung thực, các tác giả đã đo lường sự tương đồng khuôn mặt bằng cách sử dụng khoảng cách cosine giữa các bản nhúng hình ảnh CLIP (CLIP-I) và các bản nhúng danh tính riêng biệt (ID Sim) được trích xuất thông qua CurricularFace, một mô hình không được sử dụng trong quá trình đào tạo.

Mỗi phương pháp đã tạo ra bốn hình ảnh đầu ra có độ phân giải cao cho mỗi danh tính trong tập kiểm tra, với kết quả sau đó được tính trung bình.

Khả năng chỉnh sửa được đánh giá trong cả hai bằng cách so sánh điểm CLIP-I giữa các đầu ra có và không có các môđun danh tính (để xem cách các ràng buộc danh tính thay đổi hình ảnh); và bằng cách đo lường sự căn chỉnh hình ảnh-văn bản CLIP (CLIP-T) trên mười biến thể lời nhắc bao gồm kiểu tóc, phụ kiện, quần áo và nền.

Các tác giả cũng bao gồm mô hình nền tảng Arc2Face trong các so sánh – một baseline được đào tạo trên các chú thích cố định và các vùng khuôn mặt được cắt.

Đối với HyperLoRA, hai biến thể đã được kiểm tra: một sử dụng chỉ môđun ID-LoRA, và một sử dụng cả ID-LoRA và Base-LoRA, với môđun Base-LoRA được tính trọng số ở 0,4. Trong khi Base-LoRA cải thiện độ trung thực, nó slightly hạn chế khả năng chỉnh sửa.

Kết quả cho so sánh định lượng ban đầu.

Trong các kiểm tra định lượng, các tác giả nhận xét:

‘Base-LoRA giúp cải thiện độ trung thực nhưng hạn chế khả năng chỉnh sửa. Mặc dù thiết kế của chúng decouple các tính năng hình ảnh thành các LoRA khác nhau, nhưng vẫn khó tránh khỏi sự rò rỉ lẫn nhau. Do đó, chúng ta có thể điều chỉnh trọng số của Base-LoRA để thích ứng với các kịch bản ứng dụng khác nhau.

‘HyperLoRA của chúng tôi (Toàn bộ và ID) đạt được độ trung thực khuôn mặt tốt nhất và thứ hai, trong khi InstantID thể hiện sự vượt trội trong sự tương đồng danh tính khuôn mặt nhưng có độ trung thực khuôn mặt thấp hơn.

‘Cả hai chỉ số này nên được xem xét cùng nhau để đánh giá độ trung thực, vì sự tương đồng danh tính khuôn mặt là trừu tượng hơn và độ trung thực khuôn mặt phản ánh nhiều chi tiết hơn.’

Trong các kiểm tra định tính, các sự đánh đổi cơ bản trong đề xuất này trở nên rõ ràng (xin lưu ý rằng chúng tôi không có đủ không gian để tái tạo tất cả các hình ảnh cho kết quả định tính, và đề cập đến bài báo nguồn cho nhiều hình ảnh hơn tại độ phân giải tốt hơn):

So sánh định tính. Từ trên xuống dưới, các lời nhắc được sử dụng là: ‘áo trắng’ và ‘tai sói’ (xem bài báo để biết thêm ví dụ).

Tại đây, các tác giả nhận xét:

‘Da của các chân dung được tạo ra bởi IP-Adapter và InstantID có kết cấu được tạo bởi AI, trông hơi quá bão hòa và không đạt được mức độ chân thực.’

‘Đây là một điểm yếu chung của các phương pháp dựa trên bộ điều chỉnh. PuLID cải thiện vấn đề này bằng cách giảm thiểu sự xâm phạm vào mô hình nền tảng, vượt trội so với IP-Adapter và InstantID nhưng vẫn phải đối mặt với việc mờ và thiếu chi tiết.

‘Ngược lại, LoRA trực tiếp sửa đổi trọng số của mô hình nền tảng thay vì giới thiệu các môđun chú ý bổ sung, thường tạo ra hình ảnh chi tiết và chân thực cao.’

Các tác giả cho rằng vì HyperLoRA sửa đổi trọng số của mô hình nền tảng trực tiếp thay vì dựa vào các môđun chú ý bên ngoài, nó giữ lại khả năng phi tuyến tính của các phương pháp dựa trên LoRA truyền thống, có thể mang lại lợi thế trong độ trung thực và khả năng bắt giữ các chi tiết tinh tế như màu mắt.

Trong các so sánh định tính, bài báo khẳng định rằng các bố cục của HyperLoRA được sắp xếp hợp lý hơn và phù hợp hơn với các lời nhắc, tương tự như PuLID, trong khi vượt trội so với InstantID hoặc IP-Adapter (đôi khi không tuân theo lời nhắc hoặc tạo ra các bố cục không tự nhiên).

Các ví dụ khác về các thế hệ ControlNet với HyperLoRA.

Kết Luận

Dòng chảy liên tục của các hệ thống tùy chỉnh zero-shot khác nhau trong 18 tháng qua đã dần dần mang tính chất tuyệt vọng. Rất ít trong số các đề xuất này đã đạt được một bước tiến đáng kể so với trạng thái hiện tại; và những đề xuất đã cải thiện một chút thường có yêu cầu đào tạo quá cao và/hoặc yêu cầu suy luận quá phức tạp hoặc tốn tài nguyên.

Mặc dù chế độ đào tạo của HyperLoRA cũng có thể khiến nhiều người phải “nuốt nước bọt”, nhưng ít nhất bạn sẽ kết thúc với một mô hình có thể xử lý tùy chỉnh ad hoc ngay từ đầu.

Từ tài liệu phụ của bài báo, chúng tôi lưu ý rằng tốc độ suy luận của HyperLoRA tốt hơn so với IP-Adapter, nhưng chậm hơn so với hai phương pháp trước đó – và những con số này dựa trên GPU V100 của NVIDIA, không phải là phần cứng tiêu dùng điển hình (mặc dù các GPU “trong nước” mới hơn của NVIDIA có thể匹 hoặc vượt quá V100 về tối đa 32GB VRAM).

Tốc độ suy luận của các phương pháp cạnh tranh, tính bằng mili giây.

Đúng là việc tùy chỉnh zero-shot vẫn còn là một vấn đề chưa được giải quyết từ góc độ thực tế, vì các yêu cầu phần cứng đáng kể của HyperLoRA có thể mâu thuẫn với khả năng tạo ra một mô hình nền tảng đơn lẻ thực sự lâu dài.

* Đại diện cho 640GB hoặc 1280GB VRAM, tùy thuộc vào mô hình được sử dụng (điều này không được chỉ định)

Được xuất bản lần đầu vào Thứ Hai, ngày 24 tháng 3 năm 2025