Hướng tới Kiểm soát Toàn diện trong Tạo Video Trí tuệ Nhân tạo

Mô hình nền tảng video như Hunyuan và Wan 2.1, mặc dù mạnh mẽ, nhưng không cung cấp cho người dùng loại kiểm soát chi tiết mà sản xuất phim và truyền hình (đặc biệt là sản xuất hiệu ứng hình ảnh) đòi hỏi.

Trong các phòng thu hiệu ứng hình ảnh chuyên nghiệp, các mô hình mã nguồn mở như những mô hình này, cùng với các mô hình trước đó dựa trên hình ảnh (thay vì video) như Stable Diffusion, Kandinsky và Flux, thường được sử dụng cùng với một loạt các công cụ hỗ trợ để thích nghi với đầu ra thô của chúng để đáp ứng các nhu cầu sáng tạo cụ thể. Khi một đạo diễn nói, “Điều đó trông tuyệt vời, nhưng chúng ta có thể làm cho nó trở nên [n] hơn không?” bạn không thể trả lời bằng cách nói rằng mô hình không đủ chính xác để xử lý các yêu cầu như vậy.

Thay vào đó, một nhóm VFX trí tuệ nhân tạo sẽ sử dụng một loạt các kỹ thuật CGI truyền thống và kỹ thuật tổng hợp, kết hợp với các quy trình và công việc tùy chỉnh được phát triển theo thời gian, để cố gắng đẩy giới hạn của tổng hợp video một chút xa hơn.

Vì vậy, theo cách tương tự, một mô hình nền tảng video là rất giống với một cài đặt mặc định của một trình duyệt web như Chrome; nó làm được nhiều việc ngay từ đầu, nhưng nếu bạn muốn nó thích nghi với nhu cầu của mình, thay vì ngược lại, bạn sẽ cần một số tiện ích mở rộng.

Control Freaks

Trong thế giới của tổng hợp hình ảnh dựa trên khuếch tán, hệ thống thứ ba quan trọng nhất là ControlNet.

ControlNet là một kỹ thuật để thêm kiểm soát cấu trúc vào các mô hình tạo ra dựa trên khuếch tán, cho phép người dùng hướng dẫn tạo ra hình ảnh hoặc video với các đầu vào bổ sung như bản đồ cạnh, bản đồ độ sâu, hoặc thông tin tư thế.

Các phương pháp khác nhau của ControlNet cho phép tạo ra hình ảnh từ độ sâu (hàng trên), phân đoạn ngữ nghĩa (phần dưới bên trái) và tạo ra hình ảnh con người và động vật được hướng dẫn bởi tư thế (phần dưới bên trái).

Thay vì chỉ dựa vào các lời nhắc văn bản, ControlNet giới thiệu các nhánh mạng nơ-ron riêng biệt, hoặc adapters, để xử lý các tín hiệu điều kiện này trong khi vẫn giữ nguyên khả năng tạo ra của mô hình cơ bản.

Điều này cho phép tạo ra các đầu ra tinh chỉnh mà tuân thủ chặt chẽ hơn các thông số kỹ thuật của người dùng, khiến nó trở nên đặc biệt hữu ích trong các ứng dụng yêu cầu kiểm soát thành phần, cấu trúc hoặc chuyển động chính xác:

Với tư thế hướng dẫn, nhiều loại đầu ra chính xác có thể được thu được thông qua ControlNet. Nguồn: https://arxiv.org/pdf/2302.05543

Tuy nhiên, các khung sườn dựa trên adapter như vậy hoạt động bên ngoài một tập hợp các quá trình nơ-ron rất tập trung vào bên trong. Các phương pháp này có một số hạn chế.

Thứ nhất, các adapter được đào tạo độc lập, dẫn đến conflict giữa các nhánh khi kết hợp nhiều adapter, điều này có thể dẫn đến chất lượng tạo ra bị suy giảm.

Thứ hai, chúng giới thiệu sự dư thừa của tham số, đòi hỏi tính toán và bộ nhớ bổ sung cho mỗi adapter, khiến việc mở rộng trở nên không hiệu quả.

Thứ ba, mặc dù chúng linh hoạt, các adapter thường tạo ra kết quả không tối ưu so với các mô hình được tinh chỉnh hoàn toàn cho tạo ra đa điều kiện. Những vấn đề này khiến các phương pháp dựa trên adapter trở nên kém hiệu quả hơn cho các nhiệm vụ đòi hỏi tích hợp mượt mà của nhiều tín hiệu kiểm soát.

Ideal nhất, các khả năng của ControlNet sẽ được đào tạo nguyên bản vào mô hình, theo một cách mô-đun có thể thích nghi với các đổi mới rõ ràng và được mong đợi như tạo ra video và âm thanh đồng thời, hoặc khả năng đồng bộ hóa âm thanh tự nhiên (cho âm thanh ngoài).

Hiện tại, mỗi mảnh chức năng bổ sung đại diện cho một nhiệm vụ hậu sản xuất hoặc một thủ tục không bản địa phải điều hướng các trọng số nhạy cảm và gắn kết của bất kỳ mô hình nền tảng nào nó đang hoạt động.

FullDiT

Vào tình huống này, một đề xuất mới từ Trung Quốc đã xuất hiện, đề xuất một hệ thống trong đó các biện pháp giống như ControlNet được tích hợp trực tiếp vào một mô hình tạo video tại thời điểm đào tạo, thay vì bị giới hạn ở một ý tưởng sau.

Từ bài báo mới: cách tiếp cận FullDiT có thể tích hợp việc áp đặt bản sắc, độ sâu và chuyển động máy ảnh vào một tạo ra bản địa, và có thể triệu tập bất kỳ sự kết hợp nào của chúng cùng một lúc. Nguồn: https://arxiv.org/pdf/2503.19907

Được đặt tên là FullDiT, cách tiếp cận mới này kết hợp các điều kiện đa nhiệm như chuyển giao bản sắc, lập bản đồ độ sâu và chuyển động máy ảnh vào một phần tích hợp của một mô hình tạo video được đào tạo, cho mà các tác giả đã tạo ra một mô hình mẫu được đào tạo và các đoạn video đi kèm tại một trang web dự án.

Trong ví dụ dưới đây, chúng ta thấy các tạo ra bao gồm chuyển động máy ảnh, thông tin bản sắc và thông tin văn bản (tức là lời nhắc văn bản hướng dẫn của người dùng):

Click to play. Ví dụ về việc áp đặt kiểm soát kiểu ControlNet với chỉ một mô hình nền tảng được đào tạo bản địa. Nguồn: https://fulldit.github.io/

Nó nên được lưu ý rằng các tác giả không đề xuất mô hình đào tạo thử nghiệm của họ như một mô hình nền tảng chức năng, mà như một bằng chứng về khái niệm cho các mô hình video-to-video (T2V) và hình ảnh-to-video (I2V) bản địa cung cấp cho người dùng nhiều kiểm soát hơn chỉ là một lời nhắc hình ảnh hoặc lời nhắc văn bản.

Vì không có mô hình nào tương tự như vậy hiện có, các nhà nghiên cứu đã tạo ra một điểm chuẩn mới có tên FullBench, để đánh giá các video đa nhiệm, và tuyên bố đạt được hiệu suất hàng đầu trong các thử nghiệm tương tự mà họ đã tạo ra so với các phương pháp trước đó. Tuy nhiên, vì FullBench được thiết kế bởi chính các tác giả, tính khách quan của nó vẫn chưa được kiểm tra, và tập dữ liệu của nó gồm 1.400 trường hợp có thể quá hạn chế cho các kết luận rộng hơn.

Có lẽ khía cạnh thú vị nhất của kiến trúc mà bài báo đưa ra là tiềm năng của nó để tích hợp các loại kiểm soát mới. Các tác giả tuyên bố:

‘Trong công việc này, chúng tôi chỉ khám phá các điều kiện kiểm soát của máy ảnh, bản sắc và thông tin độ sâu. Chúng tôi không điều tra thêm các điều kiện và phương thức khác như âm thanh, lời nói, điểm mây, hộp giới hạn đối tượng, dòng chảy quang học, v.v. Mặc dù thiết kế của FullDiT có thể tích hợp mượt mà các phương thức khác với sự thay đổi kiến trúc tối thiểu, nhưng làm thế nào để nhanh chóng và hiệu quả thích nghi các mô hình hiện có với các điều kiện và phương thức mới vẫn là một câu hỏi quan trọng cần được khám phá thêm.’

Mặc dù các nhà nghiên cứu trình bày FullDiT như một bước tiến trong tạo video đa nhiệm, nhưng nên xem xét rằng công việc mới này xây dựng trên các kiến trúc hiện có chứ không giới thiệu một mô hình cơ bản mới.

Tuy nhiên, FullDiT hiện đang đứng một mình (theo kiến thức của tôi) như một mô hình nền tảng video có các tiện ích ControlNet-style ‘cứng’ – và thật tốt khi thấy rằng kiến trúc đề xuất có thể thích nghi với các đổi mới trong tương lai.

Click to play. Ví dụ về các chuyển động máy ảnh được kiểm soát bởi người dùng từ trang web dự án.

Bài báo mới có tiêu đề FullDiT: Mô hình nền tảng tạo video đa nhiệm với chú ý đầy đủ, và đến từ chín nhà nghiên cứu trên khắp Kuaishou Technology và Đại học Trung Quốc Hồng Kông. Trang web dự án là đây và bộ dữ liệu điểm chuẩn mới có tại Hugging Face.

Phương pháp

Các tác giả cho rằng cơ chế chú ý thống nhất của FullDiT cho phép học tập đại diện mạnh mẽ hơn bằng cách nắm bắt cả mối quan hệ không gian và thời gian trên các điều kiện:

Theo bài báo mới, FullDiT tích hợp các điều kiện đầu vào nhiều thông qua chú ý đầy đủ, chuyển đổi chúng thành một chuỗi thống nhất. Ngược lại, các mô hình dựa trên adapter (trái nhất) sử dụng các mô-đun riêng biệt cho mỗi đầu vào, dẫn đến sự dư thừa, xung đột và hiệu suất yếu hơn.

Không giống như các thiết lập dựa trên adapter xử lý mỗi luồng đầu vào riêng biệt, cấu trúc chú ý chung này tránh xung đột giữa các nhánh và giảm gánh nặng tham số. Họ cũng tuyên bố rằng kiến trúc có thể mở rộng đến các loại đầu vào mới mà không cần thay đổi thiết kế lớn – và mô hình này cho thấy dấu hiệu tổng quát hóa đến các kết hợp điều kiện không được thấy trong quá trình đào tạo, chẳng hạn như liên kết chuyển động máy ảnh với bản sắc nhân vật.

Click to play. Ví dụ về tạo ra bản sắc từ trang web dự án.

Trong kiến trúc của FullDiT, tất cả các đầu vào điều kiện – như văn bản, chuyển động máy ảnh, bản sắc và độ sâu – đầu tiên được chuyển đổi thành định dạng token thống nhất. Những token này sau đó được nối vào một chuỗi dài duy nhất, được xử lý thông qua một chồng các lớp transformer bằng cách sử dụng chú ý đầy đủ. Cách tiếp cận này tuân theo các công việc trước đó như Open-Sora Plan và Movie Gen.

Thiết kế này cho phép mô hình học mối quan hệ thời gian và không gian chung trên tất cả các điều kiện. Mỗi khối transformer hoạt động trên toàn bộ chuỗi, cho phép tương tác động giữa các phương thức mà không dựa vào các mô-đun riêng biệt cho mỗi đầu vào – và, như chúng tôi đã lưu ý, kiến trúc được thiết kế để có thể mở rộng, giúp dễ dàng tích hợp các tín hiệu kiểm soát bổ sung trong tương lai mà không cần thay đổi cấu trúc lớn.

Sức mạnh của Ba

FullDiT chuyển đổi mỗi tín hiệu kiểm soát thành định dạng token chuẩn hóa để tất cả các điều kiện có thể được xử lý cùng nhau trong một khuôn khổ chú ý thống nhất. Đối với chuyển động máy ảnh, mô hình mã hóa một chuỗi các tham số bên ngoài – như vị trí và định hướng – cho mỗi khung hình. Những tham số này được gắn thẻ thời gian và được chiếu thành các vectơ nhúng phản ánh tính chất thời gian của tín hiệu.

Thông tin bản sắc được xử lý khác, vì nó vốn là không gian chứ không phải thời gian. Mô hình sử dụng các bản đồ bản sắc chỉ ra những nhân vật nào hiện diện trong những phần nào của mỗi khung hình. Những bản đồ này được chia thành vùng, với mỗi vùng được chiếu thành một nhúng nắm bắt các gợi ý bản sắc không gian, cho phép mô hình liên kết các vùng cụ thể của khung hình với các thực thể cụ thể.

Độ sâu là một tín hiệu không gian-thời gian, và mô hình xử lý nó bằng cách chia các video độ sâu thành các vùng 3D bao quát cả không gian và thời gian. Những vùng này sau đó được nhúng theo cách bảo tồn cấu trúc của chúng trên các khung hình.

Khi đã được nhúng, tất cả những token điều kiện này (máy ảnh, bản sắc và độ sâu) được nối vào một chuỗi dài duy nhất, cho phép FullDiT xử lý chúng cùng nhau bằng cách sử dụng chú ý đầy đủ. Sự đại diện chung này cho phép mô hình học tương tác giữa các phương thức và theo thời gian mà không dựa vào các luồng xử lý riêng biệt.

Dữ liệu và Kiểm tra

Cách tiếp cận đào tạo của FullDiT dựa trên các tập dữ liệu được chú thích chọn lọc cho từng loại điều kiện, thay vì yêu cầu tất cả các điều kiện phải có mặt đồng thời.

Đối với các điều kiện văn bản, sáng kiến này tuân theo cách tiếp cận chú thích cấu trúc được phác thảo trong dự án MiraData.

Quy trình thu thập và chú thích video từ dự án MiraData. Nguồn: https://arxiv.org/pdf/2407.06358

Đối với chuyển động máy ảnh, tập dữ liệu RealEstate10K là nguồn dữ liệu chính, do nó có chú thích tham số máy ảnh chất lượng cao.

Tuy nhiên, các tác giả quan sát thấy rằng đào tạo chỉ trên các tập dữ liệu cảnh tĩnh như RealEstate10K có xu hướng giảm chuyển động đối tượng và con người trong các video được tạo ra. Để chống lại điều này, họ đã thực hiện tinh chỉnh thêm bằng cách sử dụng các tập dữ liệu nội bộ bao gồm nhiều chuyển động máy ảnh động.

Chú thích bản sắc được tạo ra bằng cách sử dụng đường ống được phát triển cho dự án ConceptMaster, cho phép lọc và trích xuất thông tin bản sắc chi tiết một cách hiệu quả.

Khung ConceptMaster được thiết kế để giải quyết các vấn đề về bản sắc và giữ nguyên tính trung thực của khái niệm trong các video tùy chỉnh. Nguồn: https://arxiv.org/pdf/2501.04698

Chú thích độ sâu được thu được từ tập dữ liệu Panda-70M bằng cách sử dụng Depth Anything.

Tối ưu hóa thông qua Sắp xếp Dữ liệu

Các tác giả cũng thực hiện một lịch trình đào tạo tiến bộ, giới thiệu các điều kiện thách thức hơn sớm trong quá trình đào tạo để đảm bảo mô hình có được các đại diện mạnh mẽ trước khi các nhiệm vụ đơn giản hơn được thêm vào. Thứ tự đào tạo tiến từ văn bản đến máy ảnh điều kiện, sau đó là bản sắc, và cuối cùng là độ sâu, với các nhiệm vụ dễ hơn thường được giới thiệu muộn hơn và với ít ví dụ hơn.

Các tác giả nhấn mạnh giá trị của việc sắp xếp công việc theo cách này:

‘Trong giai đoạn tiền đào tạo, chúng tôi nhận thấy rằng các nhiệm vụ thách thức hơn đòi hỏi thời gian đào tạo kéo dài và nên được giới thiệu sớm trong quá trình học tập. Những nhiệm vụ thách thức này liên quan đến các phân phối dữ liệu phức tạp khác biệt đáng kể so với video đầu ra, đòi hỏi mô hình phải có đủ khả năng để nắm bắt và đại diện chính xác cho chúng.

‘Ngược lại, việc giới thiệu các nhiệm vụ dễ dàng quá sớm có thể khiến mô hình ưu tiên học chúng trước, vì chúng cung cấp phản hồi tối ưu hóa ngay lập tức, điều này cản trở sự hội tụ của các nhiệm vụ thách thức hơn.’

Một minh họa về thứ tự đào tạo dữ liệu được các nhà nghiên cứu áp dụng, với màu đỏ chỉ thể tích dữ liệu lớn hơn.

Sau giai đoạn đào tạo trước, một giai đoạn tinh chỉnh cuối cùng đã tinh chỉnh mô hình thêm để cải thiện chất lượng hình ảnh và động lực học. Sau đó, đào tạo theo một khuôn khổ khuếch tán tiêu chuẩn:

Nhiễu được thêm vào các latents video, và mô hình học để dự đoán và loại bỏ nó, sử dụng các token điều kiện nhúng làm hướng dẫn.

Để đánh giá hiệu quả FullDiT và cung cấp một sự so sánh công bằng với các phương pháp hiện có, và trong sự vắng mặt của bất kỳ điểm chuẩn phù hợp nào khác, các tác giả đã giới thiệu FullBench, một bộ điểm chuẩn được quản lý gồm 1.400 trường hợp thử nghiệm riêng biệt.

Một thể hiện của trình khám phá dữ liệu cho điểm chuẩn mới FullBench. Nguồn: https://huggingface.co/datasets/KwaiVGI/FullBench

Mỗi điểm dữ liệu cung cấp chú thích thực tế cho các tín hiệu điều kiện khác nhau, bao gồm chuyển động máy ảnh, bản sắc, và độ sâu.

Đo lường

Các tác giả đã đánh giá FullDiT bằng mười thước đo bao gồm năm khía cạnh chính của hiệu suất: căn chỉnh văn bản, kiểm soát máy ảnh, tương tự bản sắc, độ chính xác độ sâu và chất lượng video chung.

Căn chỉnh văn bản được đo bằng CLIP tương tự, trong khi kiểm soát máy ảnh được đánh giá thông qua sai số quay (RotErr), sai số dịch (TransErr), và đồng nhất chuyển động máy ảnh (CamMC), theo cách tiếp cận của CamI2V (trong dự án CameraCtrl).

Tương tự bản sắc được đánh giá bằng DINO-I và CLIP-I, và độ chính xác kiểm soát độ sâu được lượng hóa bằng Sai số tuyệt đối trung bình (MAE).

Chất lượng video được đánh giá bằng ba thước đo từ MiraData: tương tự CLIP cấp khung hình cho sự mượt mà; khoảng cách chuyển động dựa trên dòng chảy quang học cho động lực học; và điểm thẩm mỹ LAION-Aesthetic cho hấp dẫn thị giác.

Đào tạo

Các tác giả đã đào tạo FullDiT bằng một mô hình khuếch tán văn bản-sang-video nội bộ (không được tiết lộ) chứa khoảng một tỷ tham số. Họ đã chọn một kích thước tham số khiêm tốn để duy trì sự công bằng trong các so sánh với các phương pháp trước đó và đảm bảo khả năng tái tạo.

Vì các video đào tạo khác nhau về chiều dài và độ phân giải, các tác giả đã chuẩn hóa mỗi lô bằng cách thay đổi kích thước và đệm video thành một độ phân giải chung, lấy mẫu 77 khung hình mỗi chuỗi, và sử dụng chú ý áp dụng và mặt nạ mất mát để tối ưu hóa hiệu quả đào tạo.

Trình tối ưu hóa Adam đã được sử dụng với tốc độ học 1×10⁻⁵ trên một cụm 64 GPU H800 của NVIDIA, với tổng cộng 5.120GB VRAM (xem xét rằng trong các cộng đồng tổng hợp chuyên nghiệp, 24GB trên RTX 3090 vẫn được coi là một tiêu chuẩn sang trọng).

Mô hình được đào tạo trong khoảng 32.000 bước, bao gồm tối đa ba bản sắc mỗi video, cùng với 20 khung hình điều kiện máy ảnh và 21 khung hình điều kiện độ sâu, cả hai đều được lấy mẫu đều từ tổng cộng 77 khung hình.

Đối với suy luận, mô hình tạo ra video ở độ phân giải 384×672 pixel (khoảng năm giây với 15 khung hình mỗi giây) với 50 bước suy luận khuếch tán và thang hướng dẫn phân loại miễn phí là năm.

Phương pháp Trước

Đối với đánh giá máy ảnh-sang-video, các tác giả đã so sánh FullDiT với MotionCtrl, CameraCtrl và CamI2V, với tất cả các mô hình được đào tạo bằng cách sử dụng tập dữ liệu RealEstate10K để đảm bảo tính nhất quán và công bằng.

Trong tạo ra có điều kiện bản sắc, vì không có mô hình đa bản sắc mở nào có sẵn để so sánh, mô hình đã được so sánh với mô hình ConceptMaster 1B tham số, sử dụng cùng dữ liệu đào tạo và kiến trúc.

Đối với nhiệm vụ độ sâu-sang-video, các so sánh đã được thực hiện với Ctrl-Adapter và ControlVideo.

Kết quả định lượng cho tạo video nhiệm vụ đơn. FullDiT được so sánh với MotionCtrl, CameraCtrl và CamI2V cho tạo video từ máy ảnh; ConceptMaster (phiên bản 1B tham số) cho tạo video từ bản sắc; và Ctrl-Adapter và ControlVideo cho tạo video từ độ sâu. Tất cả các mô hình được đánh giá bằng cách sử dụng các thiết lập mặc định của chúng. Để đảm bảo tính nhất quán, 16 khung hình đã được lấy mẫu đều từ mỗi phương pháp, phù hợp với chiều dài đầu ra của các mô hình trước đó.

Kết quả cho thấy FullDiT, mặc dù xử lý đồng thời nhiều tín hiệu điều kiện, đã đạt được hiệu suất hàng đầu trong các thước đo liên quan đến văn bản, chuyển động máy ảnh, bản sắc và độ sâu.

Trong các thước đo chất lượng chung, hệ thống thường vượt trội so với các phương pháp khác, mặc dù sự mượt mà của nó hơi thấp hơn so với ConceptMaster. Tại đây, các tác giả bình luận:

‘Sự mượt mà của FullDiT hơi thấp hơn so với ConceptMaster vì tính toán sự mượt mà dựa trên sự tương tự CLIP giữa các khung hình liền kề. Vì FullDiT thể hiện động lực học lớn hơn so với ConceptMaster, thước đo mượt mà bị ảnh hưởng bởi sự thay đổi lớn giữa các khung hình liền kề.

‘Đối với điểm thẩm mỹ, vì mô hình đánh giá ưa thích hình ảnh theo phong cách vẽ và ControlVideo thường tạo ra video theo phong cách này, nó đạt được điểm cao trong thẩm mỹ.’

Về so sánh định tính, có thể tốt hơn nếu tham khảo các video mẫu tại trang web dự án FullDiT, vì các ví dụ PDF là tĩnh (và cũng quá lớn để tái tạo hoàn toàn ở đây).

Phần đầu tiên của kết quả định tính trong PDF. Vui lòng tham khảo bài báo nguồn cho các ví dụ bổ sung, vì chúng quá rộng để tái tạo ở đây.

Các tác giả bình luận:

‘FullDiT thể hiện sự bảo tồn bản sắc vượt trội và tạo ra video với động lực học và chất lượng hình ảnh tốt hơn so với [ConceptMaster]. Vì ConceptMaster và FullDiT được đào tạo trên cùng một kiến trúc cơ bản, điều này nhấn mạnh hiệu quả của việc tiêm điều kiện với chú ý đầy đủ.

‘…Các kết quả khác chứng minh khả năng kiểm soát và chất lượng tạo ra vượt trội của FullDiT so với các phương pháp hiện có về độ sâu-sang-video và máy ảnh-sang-video.’

Một phần của các ví dụ PDF về đầu ra của FullDiT với nhiều tín hiệu. Vui lòng tham khảo bài báo nguồn và trang web dự án cho các ví dụ bổ sung.

Kết luận

Mặc dù FullDiT là một nỗ lực thú vị trong việc tạo ra một loại mô hình nền tảng video có tính năng đầy đủ hơn, người ta vẫn phải tự hỏi liệu nhu cầu về các tiện ích ControlNet-style sẽ bao giờ đủ lớn để biện minh cho việc thực hiện các tính năng như vậy trên quy mô lớn, ít nhất là đối với các dự án mã nguồn mở, những dự án này sẽ gặp khó khăn trong việc có được lượng lớn sức mạnh xử lý GPU cần thiết mà không có sự hỗ trợ thương mại.

Thử thách chính là việc sử dụng các hệ thống như Depth và Pose thường đòi hỏi sự quen thuộc không tầm thường với các giao diện người dùng phức tạp như ComfyUI. Do đó, dường như một mô hình FOSS chức năng của loại này có khả năng được phát triển bởi một nhóm các công ty VFX nhỏ hơn không có đủ tiền (hoặc ý chí, xem xét rằng các hệ thống như vậy nhanh chóng bị lỗi thời bởi các bản cập nhật mô hình) để tạo và đào tạo một mô hình như vậy đằng sau cánh cửa đóng.

Mặt khác, các hệ thống ‘thuê AI’ dựa trên API có thể có động lực để phát triển các phương pháp giải thích đơn giản và thân thiện với người dùng hơn cho các mô hình mà các hệ thống kiểm soát bổ sung đã được đào tạo trực tiếp.

Click to play. Kiểm soát Depth+Text được áp đặt trên tạo video sử dụng FullDiT.

* Các tác giả không chỉ định bất kỳ mô hình cơ bản nào được biết (ví dụ: SDXL, v.v.)

Được xuất bản lần đầu vào thứ Năm, ngày 27 tháng 3 năm 2025