Một bước tiến đáng chú ý trong lĩnh vực Trí tuệ nhân tạo Video do con người điều khiển

Lưu ý: Trang web dự án cho công việc này bao gồm 33 video tự phát với độ phân giải cao, tổng cộng nửa gigabyte, điều này làm cho hệ thống của tôi không ổn định khi tải. Vì lý do này, tôi sẽ không liên kết trực tiếp đến nó. Người đọc có thể tìm thấy URL trong tóm tắt hoặc tệp PDF của bài báo nếu họ muốn.

Một trong những mục tiêu chính trong nghiên cứu tổng hợp video hiện nay là tạo ra một hiệu suất video được điều khiển hoàn toàn bởi trí tuệ nhân tạo từ một hình ảnh đơn. Tuần này, một bài báo mới từ Bytedance Intelligent Creation đã phác thảo ra có thể là hệ thống toàn diện nhất của loại này cho đến nay, có khả năng tạo ra các hoạt hình toàn thân và bán thân kết hợp chi tiết biểu cảm trên khuôn mặt với chuyển động lớn chính xác, đồng thời đạt được sự nhất quán về bản sắc được cải thiện – một lĩnh vực mà thậm chí các hệ thống thương mại hàng đầu thường không đạt được.

Trong ví dụ dưới đây, chúng ta thấy một hiệu suất được điều khiển bởi một diễn viên (trên cùng bên trái) và được suy dẫn từ một hình ảnh đơn (trên cùng bên phải), cung cấp một kết xuất linh hoạt và khéo léo đáng chú ý, không có vấn đề thông thường về việc tạo ra các chuyển động lớn hoặc “đoán” về các khu vực bị che khuất (tức là các phần của quần áo và góc khuôn mặt phải được suy luận hoặc tạo ra vì chúng không nhìn thấy được trong hình ảnh nguồn duy nhất):

Nội dung âm thanh. Nhấp để phát. Một hiệu suất được sinh ra từ hai nguồn, bao gồm cả đồng bộ hóa môi, thường là lĩnh vực của các hệ thống phụ trợ chuyên dụng. Đây là một phiên bản giảm từ trang web nguồn (xem lưu ý ở đầu bài viết – áp dụng cho tất cả các video nhúng khác ở đây).

Mặc dù chúng ta có thể thấy một số thách thức còn lại liên quan đến việc duy trì bản sắc khi mỗi đoạn clip tiếp tục, đây là hệ thống đầu tiên tôi thấy đạt được việc duy trì ID một cách chung (mặc dù không phải lúc nào cũng) trong một khoảng thời gian dài mà không cần sử dụng LoRAs:

Nội dung âm thanh. Nhấp để phát. Các ví dụ khác từ dự án DreamActor.

Hệ thống mới, có tên DreamActor, sử dụng một hệ thống điều khiển hỗn hợp ba phần cung cấp sự chú ý chuyên dụng cho biểu cảm khuôn mặt, xoay đầu và thiết kế khung xương cốt lõi, do đó cho phép các hiệu suất được điều khiển bởi trí tuệ nhân tạo mà không có khía cạnh khuôn mặt hay cơ thể nào phải chịu thiệt thòi vì sự hiện diện của khía cạnh kia – một khả năng hiếm, có thể là chưa từng có trong các hệ thống tương tự.

Dưới đây, chúng ta thấy một trong những khía cạnh này, xoay đầu, trong hành động. Quả bóng màu ở góc phải của mỗi hình thu nhỏ cho thấy một loại cần cẩu ảo xác định hướng đầu độc lập với chuyển động và biểu cảm khuôn mặt, được điều khiển bởi một diễn viên (hàng dưới bên trái).

Nhấp để phát. Quả bóng nhiều màu được hình ảnh hóa ở đây đại diện cho trục quay của đầu của nhân vật, trong khi biểu cảm được cung cấp bởi một mô-đun riêng biệt và được thông báo bởi hiệu suất của diễn viên (được thấy ở đây hàng dưới bên trái).

Một trong những chức năng thú vị nhất của dự án, không được bao gồm đúng cách trong các thử nghiệm của bài báo, là khả năng suy dẫn chuyển động đồng bộ môi trực tiếp từ âm thanh – một khả năng hoạt động bất thường tốt ngay cả khi không có diễn viên video điều khiển.

Các nhà nghiên cứu đã tiếp cận những người đi đầu trong lĩnh vực này, bao gồm Runway Act-One và LivePortrait, và báo cáo rằng DreamActor đã đạt được kết quả định lượng tốt hơn.

Kể từ khi các nhà nghiên cứu có thể đặt ra các tiêu chí của riêng họ, kết quả định lượng không nhất thiết là một tiêu chuẩn thực nghiệm; nhưng các thử nghiệm định tính đi kèm dường như hỗ trợ kết luận của các tác giả.

Thật không may, hệ thống này không được dự định cho phát hành công khai, và giá trị duy nhất mà cộng đồng có thể có được từ công việc này là trong việc có thể tái tạo các phương pháp được phác thảo trong bài báo (như đã được thực hiện với hiệu ứng đáng chú ý cho Google Dreambooth vào năm 2022 ).

Bài báo tuyên bố*:

‘Hoạt hình hình ảnh con người có thể có rủi ro xã hội, như bị lạm dụng để tạo ra video giả. Công nghệ được đề xuất có thể được sử dụng để tạo ra video giả của người, nhưng các công cụ phát hiện hiện có [Demamba, Dormant] có thể phát hiện những giả mạo này.

‘Để giảm thiểu những rủi ro này, cần có các quy tắc đạo đức rõ ràng và hướng dẫn sử dụng có trách nhiệm. Chúng tôi sẽ hạn chế nghiêm ngặt việc truy cập vào các mô hình và mã cốt lõi của chúng để ngăn chặn việc lạm dụng.’

Tự nhiên, những xem xét về mặt đạo đức như vậy là thuận tiện từ góc độ thương mại, vì nó cung cấp một lý do để truy cập API vào mô hình, sau đó có thể được kiếm tiền. ByteDance đã làm điều này một lần vào năm 2025, bằng cách đưa OmniHuman ra thị trường cho các khoản tín dụng trả phí trên trang web Dreamina. Do đó, vì DreamActor có thể là một sản phẩm thậm chí còn mạnh mẽ hơn, điều này dường như là kết quả có thể xảy ra. Điều còn lại để xem là liệu các nguyên tắc của nó, trong phạm vi chúng được giải thích trong bài báo, có thể hỗ trợ cộng đồng mã nguồn mở hay không.

Bài báo mới mới có tiêu đề DreamActor-M1: Hoạt hình hình ảnh con người toàn diện, biểu cảm và mạnh mẽ với hướng dẫn hỗn hợp, và đến từ sáu nhà nghiên cứu của Bytedance.

Phương pháp

Hệ thống DreamActor được đề xuất trong bài báo nhằm mục đích tạo ra hoạt hình con người từ một hình ảnh tham chiếu và một video điều khiển, sử dụng khuôn khổ Diffusion Transformer (DiT) được điều chỉnh cho không gian潜在 (dường như là một số hương vị của Stable Diffusion, mặc dù bài báo chỉ trích dẫn bản phát hành nổi bật năm 2022).

Thay vì dựa vào các mô-đun bên ngoài để xử lý điều kiện tham chiếu, các tác giả hợp nhất các tính năng biểu cảm và chuyển động trực tiếp vào lõi DiT, cho phép tương tác giữa không gian và thời gian thông qua sự chú ý:

Sơ đồ cho hệ thống mới: DreamActor mã hóa tư thế, chuyển động khuôn mặt và biểu cảm thành các潜ất riêng biệt, kết hợp chúng với các潜ất video ồn được tạo ra bởi một 3D VAE. Những tín hiệu này được hợp nhất trong một Diffusion Transformer sử dụng sự chú ý tự và xuyên, với trọng số được chia sẻ trên các nhánh. Mô hình được giám sát bằng cách so sánh đầu ra được làm sạch với các潜ất video sạch. Nguồn: https://arxiv.org/pdf/2504.01724

Để làm điều này, mô hình sử dụng một variational autoencoder 3D được đào tạo trước để mã hóa cả video đầu vào và hình ảnh tham chiếu. Những潜ất này được patchified, nối tiếp và đưa vào DiT, nơi chúng được xử lý chung.

Cấu trúc này khác với việc gắn một mạng thứ cấp cho việc tiêm tham chiếu, đó là cách tiếp cận cho các dự án Animate Anyone và Animate Anyone 2 có ảnh hưởng.

Thay vào đó, DreamActor xây dựng sự hợp nhất vào chính mô hình, đơn giản hóa thiết kế trong khi tăng cường dòng chảy thông tin giữa các tín hiệu biểu cảm và chuyển động. Mô hình sau đó được đào tạo bằng cách sử dụng flow matching thay vì mục tiêu khuếch tán tiêu chuẩn (Flow matching đào tạo các mô hình khuếch tán bằng cách dự đoán trực tiếp các trường vectơ giữa dữ liệu và nhiễu, bỏ qua đánh giá điểm).

Hướng dẫn chuyển động hỗn hợp

Phương pháp Hướng dẫn chuyển động hỗn hợp mà thông báo cho việc kết xuất thần kinh kết hợp các mã tư thế được dẫn xuất từ các khung xương 3D và các hình cầu đầu; các biểu diễn khuôn mặt ngầm được trích xuất bởi một mã hóa khuôn mặt được đào tạo trước; và các mã biểu cảm tham chiếu được lấy mẫu từ hình ảnh nguồn.

Các yếu tố này được tích hợp trong Diffusion Transformer bằng cách sử dụng các cơ chế chú ý khác nhau, cho phép hệ thống phối hợp chuyển động toàn cầu, biểu cảm khuôn mặt và bản sắc hình ảnh trong suốt quá trình tạo.

Đối với cái đầu tiên, thay vì dựa vào các điểm mốc khuôn mặt, DreamActor sử dụng các biểu diễn khuôn mặt ngầm để hướng dẫn việc tạo biểu cảm, dường như cho phép kiểm soát tốt hơn các động lực khuôn mặt trong khi tách biệt bản sắc và tư thế đầu khỏi biểu cảm.

Để tạo ra những biểu diễn này, đường ống dẫn đầu tiên phát hiện và cắt vùng khuôn mặt trong mỗi khung hình của video điều khiển, thay đổi kích thước nó thành 224×224. Các khuôn mặt cắt được xử lý bởi một mã hóa chuyển động khuôn mặt được đào tạo trước trên PD-FGC, sau đó được điều kiện bởi một MLP lớp.

PD-FGC, được sử dụng trong DreamActor, tạo ra một đầu nói từ một hình ảnh tham chiếu với kiểm soát tách biệt của đồng bộ hóa môi (từ âm thanh), tư thế đầu, chuyển động mắt và biểu cảm (từ các video riêng biệt), cho phép điều khiển chính xác và độc lập từng yếu tố. Nguồn: https://arxiv.org/pdf/2211.14506

Kết quả là một chuỗi các mã chuyển động khuôn mặt, được tiêm vào Diffusion Transformer thông qua một cross-attention lớp.

Cùng một khuôn khổ cũng hỗ trợ một phiên bản âm thanh, trong đó một mã hóa riêng biệt được đào tạo để ánh xạ đầu vào âm thanh trực tiếp đến các mã chuyển động khuôn mặt. Điều này cho phép tạo ra hoạt hình khuôn mặt đồng bộ – bao gồm cả chuyển động môi – mà không cần video điều khiển.

Nội dung âm thanh. Nhấp để phát. Đồng bộ hóa môi được dẫn xuất hoàn toàn từ âm thanh, mà không có video diễn viên tham chiếu. Đầu vào nhân vật duy nhất là ảnh tĩnh được thấy ở góc trên bên phải.

Thứ hai, để kiểm soát tư thế đầu độc lập với biểu cảm khuôn mặt, hệ thống giới thiệu một biểu diễn hình cầu đầu 3D (xem video nhúng trước trong bài viết này), tách biệt động lực khuôn mặt khỏi chuyển động đầu toàn cầu, cải thiện độ chính xác và linh hoạt trong quá trình tạo hoạt hình.

Các hình cầu đầu được tạo ra bằng cách trích xuất các tham số khuôn mặt 3D – như xoay và tư thế máy ảnh – từ video điều khiển bằng phương pháp theo dõi FaceVerse.

Sơ đồ cho dự án FaceVerse. Nguồn: https://www.liuyebin.com/faceverse/faceverse.html

Các tham số này được sử dụng để tạo ra một hình cầu màu được chiếu lên mặt phẳng hình ảnh 2D, được căn chỉnh không gian với đầu điều khiển. Kích thước của hình cầu khớp với đầu tham chiếu, và màu sắc của nó phản ánh hướng của đầu. Sự trừu tượng này giảm thiểu sự phức tạp của việc học chuyển động đầu 3D, giúp bảo tồn các hình dạng đầu được cách điệu hoặc phóng đại trong các nhân vật được vẽ từ hoạt hình.

Tư liệu hóa của hình cầu điều khiển ảnh hưởng đến hướng đầu.

Cuối cùng, để hướng dẫn chuyển động toàn thân, hệ thống sử dụng các khung xương 3D với chuẩn hóa chiều dài xương thích ứng. Các thông số cơ thể và tay được ước tính bằng 4DHumans và HaMeR, cả hai đều hoạt động trên mô hình cơ thể SMPL-X.

SMPL-X áp dụng một lưới tham số trên toàn bộ cơ thể con người trong hình ảnh, căn chỉnh với tư thế và biểu cảm ước tính để cho phép thao tác tư thế bằng cách sử dụng lưới như một hướng dẫn thể tích. Nguồn: https://arxiv.org/pdf/1904.05866

Từ những đầu ra này, các khớp chính được chọn, chiếu lên 2D và kết nối thành các bản đồ khung xương dựa trên dòng. Không giống như các phương pháp như Champ, mà kết xuất các lưới toàn thân, cách tiếp cận này tránh áp đặt các tiên đề hình dạng cố định, và bằng cách dựa hoàn toàn vào cấu trúc xương, mô hình được khuyến khích để suy diễn hình dạng và biểu cảm cơ thể trực tiếp từ các hình ảnh tham chiếu, giảm thiểu sự thiên vị đối với các loại cơ thể cố định và cải thiện sự khái quát hóa trên nhiều tư thế và hình dạng.

Trong quá trình đào tạo, các khung xương 3D được nối tiếp và truyền qua một mã hóa tư thế, tạo ra các tính năng được kết hợp với các潜ất video ồn để tạo ra các mã nhiễu được sử dụng bởi Diffusion Transformer.

Vào thời điểm suy luận, hệ thống tính đến sự khác biệt về xương giữa các đối tượng bằng cách chuẩn hóa chiều dài xương. Mô hình chỉnh sửa hình ảnh SeedEdit được đào tạo trước biến đổi cả hình ảnh tham chiếu và hình ảnh điều khiển thành một cấu hình tiêu chuẩn. RTMPose sau đó được sử dụng để trích xuất tỷ lệ xương, được sử dụng để điều chỉnh khung xương điều khiển để phù hợp với giải phẫu của đối tượng tham chiếu.

Tổng quan về đường ống suy luận. Các tham chiếu giả có thể được tạo ra để làm giàu các tín hiệu biểu cảm, trong khi các tín hiệu điều khiển hỗn hợp – chuyển động khuôn mặt ngầm và tư thế rõ ràng từ các hình cầu đầu và khung xương cơ thể – được trích xuất từ video điều khiển. Những tín hiệu này sau đó được đưa vào mô hình DiT để tạo ra đầu ra hoạt hình, với chuyển động khuôn mặt tách biệt với tư thế cơ thể, cho phép sử dụng âm thanh làm trình điều khiển.

Hướng dẫn biểu cảm

Để tăng cường tính trung thực của biểu cảm, đặc biệt là trong các khu vực bị che khuất hoặc hiếm khi nhìn thấy, hệ thống bổ sung hình ảnh tham chiếu chính với các tham chiếu giả được lấy mẫu từ video đầu vào.

Nhấp để phát. Hệ thống dự đoán nhu cầu phải kết xuất chính xác và nhất quán các khu vực bị che khuất. Đây là gần như phương pháp tiếp cận bitmap-CGI mà tôi đã thấy trong một dự án như thế này.

Các khung hình này được chọn cho sự đa dạng tư thế bằng RTMPose, và được lọc bằng sự tương似 CLIP để đảm bảo chúng vẫn nhất quán với bản sắc của đối tượng.

Tất cả các khung hình tham chiếu (chính và giả) được mã hóa bởi cùng một mã hóa hình ảnh và hợp nhất thông qua một cơ chế chú ý tự, cho phép mô hình truy cập vào các tín hiệu biểu cảm bổ sung. Thiết lập này cải thiện phạm vi chi tiết như các góc nhìn ngang hoặc kết cấu tay chân. Các tham chiếu giả luôn được sử dụng trong quá trình đào tạo và tùy chọn trong quá trình suy luận.

Đào tạo

DreamActor được đào tạo trong ba giai đoạn để dần dần giới thiệu sự phức tạp và cải thiện sự ổn định.

Trong giai đoạn đầu, chỉ có các khung xương 3D và các hình cầu đầu 3D được sử dụng làm tín hiệu điều khiển, loại bỏ các biểu diễn khuôn mặt. Điều này cho phép mô hình tạo video cơ bản, được khởi tạo từ MMDiT, thích nghi với hoạt hình con người mà không bị áp đảo bởi các điều khiển tinh vi.

Trong giai đoạn thứ hai, các biểu diễn khuôn mặt ngầm được thêm vào, nhưng tất cả các tham số khác đóng băng. Chỉ mã hóa chuyển động khuôn mặt và các lớp chú ý khuôn mặt được đào tạo tại thời điểm này, cho phép mô hình học các chi tiết biểu cảm một cách cô lập.

Trong giai đoạn cuối cùng, tất cả các tham số được giải phóng cho tối ưu hóa chung trên biểu cảm, tư thế và động lực khuôn mặt.

Dữ liệu và Thử nghiệm

Đối với giai đoạn thử nghiệm, mô hình được khởi tạo từ một điểm kiểm tra DiT được đào tạo trước và đào tạo trong ba giai đoạn: 20.000 bước cho mỗi hai giai đoạn đầu và 30.000 bước cho giai đoạn thứ ba.

Để cải thiện khả năng khái quát hóa trên nhiều độ dài và độ phân giải khác nhau, các đoạn video được lấy mẫu ngẫu nhiên với độ dài từ 25 đến 121 khung hình. Những đoạn này sau đó được thay đổi kích thước thành 960x640px, trong khi vẫn giữ nguyên tỷ lệ khung hình.

Đào tạo được thực hiện trên tám (hướng tới Trung Quốc) GPU NVIDIA H20, mỗi GPU có 96GB VRAM, sử dụng AdamW với tốc độ học 5e−6 (một mức khá cao).

Vào thời điểm suy luận, mỗi đoạn video chứa 73 khung hình. Để duy trì sự nhất quán trên các đoạn,潜ất cuối cùng từ một đoạn được tái sử dụng làm潜ất ban đầu cho đoạn tiếp theo, điều này đặt ngữ cảnh cho nhiệm vụ như một quá trình tạo video từ hình ảnh tuần tự.

Hướng dẫn phân loại miễn phí được áp dụng với trọng số 2,5 cho cả hình ảnh tham chiếu và tín hiệu điều khiển chuyển động.

Các tác giả xây dựng một tập dữ liệu đào tạo (không có nguồn được trích dẫn trong bài báo) bao gồm 500 giờ video từ các lĩnh vực đa dạng, bao gồm các ví dụ về (trong số những thứ khác) khiêu vũ, thể thao, phim và nói trước công chúng. Tập dữ liệu được thiết kế để bắt các chuyển động và biểu cảm con người trên một phổ rộng, với sự phân phối đều giữa các cảnh quay toàn thân và nửa thân.

Để tăng cường chất lượng tổng hợp khuôn mặt, Nersemble đã được tích hợp vào quá trình chuẩn bị dữ liệu.

Ví dụ từ tập dữ liệu Nersemble, được sử dụng để tăng cường dữ liệu cho DreamActor. Nguồn: https://www.youtube.com/watch?v=a-OAWqBzldU

Để đánh giá, các nhà nghiên cứu sử dụng tập dữ liệu của họ cũng như một điểm chuẩn để đánh giá khả năng khái quát hóa trên nhiều kịch bản khác nhau.

Hiệu suất của mô hình được đo bằng các chỉ số chuẩn từ các công việc trước: Fréchet Inception Distance (FID); Chỉ số tương tự cấu trúc (SSIM); Tương đồng hình ảnh được học (LPIPS); và Tỷ lệ tín hiệu trên nhiễu đỉnh (PSNR) cho chất lượng khung hình. Fréchet Video Distance (FVD) được sử dụng để đánh giá sự nhất quán thời gian và trung thực tổng thể của video.

Các tác giả thực hiện các thí nghiệm trên cả nhiệm vụ hoạt hình cơ thể và hoạt hình chân dung, tất cả đều sử dụng một hình ảnh tham chiếu (đối tượng) duy nhất.

Đối với hoạt hình cơ thể, DreamActor-M1 được so sánh với Animate Anyone; Champ; MimicMotion, và DisPose.

So sánh định lượng với các khuôn khổ đối thủ.

Mặc dù PDF cung cấp một hình ảnh tĩnh như một so sánh trực quan, một trong những video từ trang web dự án có thể làm nổi bật sự khác biệt một cách rõ ràng hơn:

AUDIO CONTENT. Nhấp để phát. Một so sánh trực quan trên các khuôn khổ thách thức. Video điều khiển được thấy ở góc trên cùng bên trái, và kết luận của các tác giả rằng DreamActor tạo ra kết quả tốt nhất dường như hợp lý.

Đối với các thử nghiệm hoạt hình chân dung, mô hình được đánh giá chống lại LivePortrait; X-Portrait; SkyReels-A1; và Act-One.

So sánh định lượng cho hoạt hình chân dung.

Các tác giả lưu ý rằng phương pháp của họ thắng trong các thử nghiệm định lượng, và cho rằng nó cũng vượt trội về chất lượng.

AUDIO CONTENT. Nhấp để phát. Ví dụ về so sánh hoạt hình chân dung.

Có thể lập luận rằng đoạn clip thứ ba và cuối cùng trong video trên cho thấy một sự đồng bộ hóa môi ít thuyết phục hơn so với một số khuôn khổ đối thủ, mặc dù chất lượng tổng thể là rất cao.

Kết luận

Khi dự đoán nhu cầu về các kết cấu được ngụ ý nhưng không thực sự có mặt trong hình ảnh đích duy nhất, Bytedance đã giải quyết một trong những thách thức lớn nhất đối với việc tạo video dựa trên khuếch tán – kết cấu nhất quán và lâu dài. Bước tiếp theo logic sau khi hoàn thiện cách tiếp cận như vậy sẽ là tạo một bản đồ tham chiếu từ đoạn clip được tạo ra ban đầu có thể được áp dụng cho các thế hệ khác nhau, để duy trì biểu cảm mà không cần LoRAs.

Mặc dù cách tiếp cận như vậy về cơ bản vẫn sẽ là một tham chiếu bên ngoài, nhưng điều này không khác gì việc ánh xạ kết cấu trong các kỹ thuật CGI truyền thống, và chất lượng của tính thực tế và khả năng thuyết phục là cao hơn nhiều so với những phương pháp cũ có thể đạt được.

Nói rằng, khía cạnh ấn tượng nhất của DreamActor là hệ thống hướng dẫn ba phần kết hợp, bắc cầu khoảng cách truyền thống giữa tổng hợp con người tập trung vào khuôn mặt và tập trung vào cơ thể theo một cách thông minh.

Nó chỉ còn để xem liệu một số nguyên tắc cốt lõi của nó có thể được tận dụng trong các dịch vụ dễ tiếp cận hơn; vì hiện tại, DreamActor dường như sẽ trở thành một dịch vụ tổng hợp khác, bị ràng buộc bởi các hạn chế về sử dụng và bởi sự không thực tế của việc thử nghiệm rộng rãi với một kiến trúc thương mại.

* Thay thế của tôi cho các liên kết của tác giả; chú thích nội tuyến

^† Like đã đề cập trước đó, không rõ hương vị Stable Diffusion nào được sử dụng trong dự án này.

Được xuất bản lần đầu vào thứ Sáu, ngày 4 tháng 4 năm 2025