Thêm Đối Thoại Vào Video Thực Với Trí Tuệ Nhân Tạo

Một khuôn khổ trí tuệ nhân tạo mới có thể viết lại, xóa hoặc thêm lời nói của một người vào video mà không cần quay lại, trong một hệ thống từ đầu đến cuối.

Ba năm trước, internet sẽ bị sốc bởi bất kỳ một trong 20-30 khuôn khổ video thay đổi trí tuệ nhân tạo được xuất bản trên các cổng thông tin học thuật hàng tuần; nhưng hiện tại, dòng nghiên cứu phổ biến này đã trở thành một nhánh khác của ‘Trí tuệ nhân tạo Slop’, và tôi bao phủ ít hơn những bản phát hành như vậy so với hai hoặc ba năm trước.

Tuy nhiên, một bản phát hành hiện tại trong dòng này đã thu hút sự chú ý của tôi: một hệ thống tích hợp có thể can thiệp vào các đoạn video thực và chèn thêm lời nói mới vào video hiện có (thay vì tạo một đoạn video sinh hoàn toàn từ một khuôn mặt hoặc khung hình, điều này phổ biến hơn).

Trong các ví dụ dưới đây, mà tôi đã chỉnh sửa từ nhiều video mẫu có sẵn trên trang web dự án, chúng ta đầu tiên thấy đoạn video nguồn thực, và sau đó, dưới đây, lời nói trí tuệ nhân tạo được chèn vào giữa đoạn video, bao gồm cả tổng hợp giọng nói và đồng bộ hóa môi:

Click để phát. Chỉnh sửa cục bộ với ghép – một trong nhiều phương thức được cung cấp bởi FacEDiT. Vui lòng tham khảo trang web nguồn để có độ phân giải tốt hơn. Nguồn – https://facedit.github.io/

Phương pháp này là một trong ba phương pháp được phát triển cho phương pháp mới, phương pháp này được gọi là ‘chỉnh sửa cục bộ với ghép’, và phương pháp mà các tác giả quan tâm nhất (cũng như tôi). Về cơ bản, đoạn video được kéo dài bằng cách sử dụng một trong các khung hình giữa làm điểm bắt đầu cho giải thích trí tuệ nhân tạo mới, và khung hình thực tiếp theo làm mục tiêu mà đoạn video sinh nên hướng tới. Trong các đoạn video trên, các khung hình ‘hạt giống’ và ‘mục tiêu’ này được đại diện bởi video trên cùng bị tạm dừng trong khi video dưới cùng cung cấp thông tin sinh.

Các tác giả định hình phương pháp tổng hợp khuôn mặt và giọng nói này như là phương pháp đầu tiên tích hợp đầy đủ từ đầu đến cuối cho việc chỉnh sửa video trí tuệ nhân tạo, quan sát tiềm năng của một khuôn khổ hoàn chỉnh như vậy cho sản xuất TV và phim:

‘Các nhà làm phim và nhà sản xuất truyền thông thường cần sửa đổi các phần cụ thể của video đã được quay – có thể một từ được nói sai hoặc kịch bản đã thay đổi sau khi quay. Ví dụ, trong cảnh nổi tiếng từ Titanic (1997) nơi Rose nói, “I’ll never let go, Jack,” đirector có thể quyết định sau đó nó nên là “I’ll never forget you, Jack”.

‘Truyền thống, những thay đổi như vậy đòi hỏi phải quay lại toàn bộ cảnh, điều này tốn kém và mất thời gian. Tổng hợp khuôn mặt nói chuyện cung cấp một giải pháp thay thế thực tế bằng cách tự động sửa đổi chuyển động khuôn mặt để phù hợp với lời nói sửa đổi, loại bỏ nhu cầu về việc quay lại.’

Mặc dù các can thiệp trí tuệ nhân tạo như vậy có thể gặp phải kháng cự văn hóa hoặc ngành công nghiệp, chúng cũng có thể tạo thành một loại chức năng mới trong các hệ thống và bộ công cụ VFX do con người lãnh đạo. Trong mọi trường hợp, hiện tại, các thách thức chỉ là kỹ thuật.

Bên cạnh việc kéo dài đoạn video thông qua lời nói trí tuệ nhân tạo mới, hệ thống mới cũng có thể thay đổi lời nói hiện có:

Click để phát. Một ví dụ về việc thay đổi lời nói hiện có thay vì chèn thêm lời nói mới. Vui lòng tham khảo trang web nguồn để có độ phân giải tốt hơn.

Trạng Thái Hiện Tại

Hiện tại không có hệ thống từ đầu đến cuối nào cung cấp khả năng tổng hợp như vậy; mặc dù một số nền tảng trí tuệ nhân tạo sinh như Veo series của Google có thể tạo ra âm thanh, và nhiều khuôn khổ khác có thể tạo ra âm thanh giả, hiện tại bạn phải tạo một pipeline khá phức tạp của các kiến trúc và thủ thuật khác nhau để can thiệp vào video thực như hệ thống mới – được gọi là FacEDiT – có thể thực hiện.

Hệ thống sử dụng Diffusion Transformers (DiT) kết hợp với Flow Matching để tạo ra chuyển động khuôn mặt có điều kiện dựa trên chuyển động và nội dung âm thanh xung quanh. Hệ thống tận dụng các gói phổ biến hiện có để xử lý tái tạo khuôn mặt, bao gồm LivePortrait (gần đây được Kling tiếp quản).

Bên cạnh phương pháp này, vì cách tiếp cận của họ là phương pháp đầu tiên tích hợp những thách thức này vào một giải pháp duy nhất, các tác giả đã tạo ra một chuẩn mực mới gọi là FacEDiTBench, cùng với một số tiêu chí đánh giá mới phù hợp với nhiệm vụ này.

Công việc mới mới có tiêu đề FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling, và đến từ bốn nhà nghiên cứu từ Đại học Khoa học và Công nghệ Pohang (POSTECH), Viện Khoa học và Công nghệ Hàn Quốc (KAIST), và Đại học Texas tại Austin.

Phương Pháp

FacEDiT được đào tạo để tái tạo chuyển động khuôn mặt bằng cách học cách lấp đầy các phần thiếu của hiệu suất ban đầu của diễn viên, dựa trên chuyển động xung quanh và âm thanh giọng nói. Như được hiển thị trong lược đồ dưới đây, quá trình này cho phép mô hình hoạt động như một công cụ lấp đầy khoảng trống trong quá trình đào tạo, dự đoán chuyển động khuôn mặt phù hợp với giọng nói trong khi vẫn nhất quán với video gốc:

Tổng quan về hệ thống FacEDiT, cho thấy cách chuyển động khuôn mặt được học thông qua việc lấp đầy tự giám sát trong quá trình đào tạo, được hướng dẫn bởi lời nói chỉnh sửa tại thời điểm suy luận, và cuối cùng được kết xuất trở lại vào video bằng cách tái sử dụng hình ảnh từ video gốc trong khi chỉ thay thế chuyển động được nhắm mục tiêu. Nguồn

Vào thời điểm suy luận, cùng một kiến trúc hỗ trợ hai đầu ra khác nhau tùy thuộc vào việc video được che khuất như thế nào: chỉnh sửa một phần, nơi chỉ một cụm từ được thay đổi và phần còn lại được để nguyên; hoặc tạo ra toàn bộ câu, nơi chuyển động mới được tổng hợp hoàn toàn từ đầu.

Mô hình được đào tạo thông qua flow matching, điều này coi việc chỉnh sửa video như một loại đường dẫn giữa hai phiên bản của chuyển động khuôn mặt.

Thay vì học cách đoán xem một khuôn mặt chỉnh sửa nên trông như thế nào từ đầu, flow matching học cách di chuyển dần dần và mượt mà giữa một bản giữ chỗ ồn ào và chuyển động chính xác. Để thực hiện điều này, hệ thống biểu diễn chuyển động khuôn mặt như một tập hợp số紧凑 được trích xuất từ mỗi khung hình sử dụng một phiên bản của hệ thống LivePortrait (xem lược đồ trên).

Những vector chuyển động này được thiết kế để mô tả biểu cảm và tư thế đầu mà không đan xen nhận dạng, để thay đổi giọng nói có thể được định vị mà không ảnh hưởng đến ngoại hình chung của người đó.

Đào Tạo FacEDiT

Để đào tạo FacEDiT, mỗi đoạn video được chia thành một loạt các ảnh chụp chuyển động khuôn mặt, và mỗi khung hình được ghép với phần âm thanh tương ứng. Các phần ngẫu nhiên của dữ liệu chuyển động sau đó được che giấu, và mô hình được yêu cầu đoán xem những chuyển động thiếu đó nên trông như thế nào, sử dụng cả giọng nói và chuyển động không bị che khuất xung quanh làm bối cảnh.

Vì các khoảng trống và vị trí của chúng thay đổi từ một ví dụ đào tạo này sang một ví dụ khác, mô hình dần dần học cách xử lý cả chỉnh sửa nội bộ nhỏ và khoảng trống dài hơn, để tạo ra toàn bộ chuỗi, tùy thuộc vào lượng thông tin nó được cung cấp.

Diffusion Transformer của hệ thống học cách phục hồi chuyển động bị che khuất bằng cách tinh chỉnh các đầu vào ồn ào theo thời gian. Thay vì đưa giọng nói và chuyển động vào mô hình cùng một lúc, âm thanh được luồn vào mỗi khối xử lý thông qua cross-attention, giúp hệ thống khớp chuyển động môi chính xác hơn với giọng nói.

Để duy trì tính hiện thực trên các chỉnh sửa, sự chú ý bị thiên vị về các khung hình lân cận hơn là toàn bộ dòng thời gian, buộc mô hình phải tập trung vào tính liên tục cục bộ và ngăn chặn các hiện tượng nhấp nháy hoặc chuyển động nhảy tại các cạnh của các khu vực đã chỉnh sửa. Các bản nhúng vị trí (nói cho mô hình biết mỗi khung hình xuất hiện ở đâu trong chuỗi) giúp mô hình duy trì dòng thời gian tự nhiên và bối cảnh.

Trong quá trình đào tạo, hệ thống học cách dự đoán chuyển động khuôn mặt bị che khuất bằng cách tái tạo các khoảng trống bị che dựa trên giọng nói và chuyển động không bị che khuất xung quanh. Vào thời điểm suy luận, cùng một thiết lập này được tái sử dụng, nhưng với các khoảng trống hiện được hướng dẫn bởi các chỉnh sửa trong giọng nói.

Khi một từ hoặc cụm từ được chèn, xóa hoặc thay đổi, hệ thống xác định khu vực bị ảnh hưởng, che khuất và tái tạo chuyển động để phù hợp với âm thanh mới. Tạo ra toàn bộ chuỗi được coi là một trường hợp đặc biệt, nơi toàn bộ khu vực được che khuất và tổng hợp từ đầu.

Dữ Liệu và Kiểm Tra

Hệ thống cơ bản bao gồm 22 lớp cho Diffusion Transformer, mỗi lớp có 16 đầu chú ý và chiều kích thước của 1024 và 2024px. Các tính năng chuyển động và hình ảnh được trích xuất bằng cách sử dụng các thành phần LivePortrait bị đóng băng, và giọng nói được mã hóa thông qua WavLM và sửa đổi bằng cách sử dụng VoiceCraft.

Một lớp chiếu chuyên dụng ánh xạ các tính năng giọng nói 786 chiều vào không gian ẩn của DiT, với chỉ DiT và các mô-đun chiếu được đào tạo từ đầu.

Đào tạo được thực hiện dưới tối ưu hóa AdamW với tốc độ học mục tiêu là 1e-4, trong một triệu bước, trên hai GPU A6000 (mỗi GPU có 48GB VRAM), với tổng kích thước batch là tám.

FacEDiTBench

Bộ dữ liệu FacEDiTBench chứa 250 ví dụ, mỗi ví dụ có một đoạn video của lời nói gốc và lời nói đã chỉnh sửa, và các bản ghi cho cả hai. Các video đến từ ba nguồn, với 100 đoạn từ HDTF, 100 từ Hallo3, và 50 từ CelebV-Dub. Mỗi đoạn được kiểm tra thủ công để xác nhận rằng cả âm thanh và video đều đủ rõ ràng để đánh giá.

GPT-4o được sử dụng để sửa đổi lại mỗi bản ghi để tạo ra các chỉnh sửa hợp lệ về mặt ngữ pháp. Những bản ghi sửa đổi này, cùng với lời nói gốc, được chuyển đến VoiceCraft để tạo ra âm thanh mới; và tại mỗi giai đoạn, cả bản ghi và giọng nói được tạo ra đều được xem xét thủ công về chất lượng.

Mỗi mẫu được gắn nhãn với loại chỉnh sửa, thời gian thay đổi, và độ dài của khoảng trống đã chỉnh sửa, và các chỉnh sửa được phân loại thành chèn, xóa, hoặc thay thế. Số lượng từ được thay đổi dao động từ các chỉnh sửa ngắn 1-3 từ, chỉnh sửa trung bình 4-6 từ, và chỉnh sửa dài hơn 7-10 từ.

Ba chỉ số tùy chỉnh được định nghĩa để đánh giá chất lượng chỉnh sửa. Độ liên tục hình ảnh, để đo lường mức độ mà một đoạn chỉnh sửa hòa hợp với video xung quanh, bằng cách so sánh sự khác biệt ở mức pixel tại các ranh giới; độ liên tục chuyển động, để đánh giá sự nhất quán của chuyển động khuôn mặt, bằng cách đo lường sự thay đổi của dòng chảy quang học trên các khung hình đã chỉnh sửa và không chỉnh sửa; và độ bảo toàn nhận dạng, để ước tính xem liệu ngoại hình của chủ thể có được giữ nguyên sau khi chỉnh sửa, bằng cách so sánh các bản nhúng khuôn mặt từ các chuỗi gốc và được tạo ra bằng cách sử dụng mô hình nhận dạng khuôn mặt ArcFace.

Kiểm Tra

Mô hình kiểm tra được đào tạo trên tài liệu từ ba bộ dữ liệu trên, với tổng cộng khoảng 200 giờ nội dung video, bao gồm cả vlog và phim, cũng như video YouTube độ phân giải cao.

Để đánh giá việc chỉnh sửa khuôn mặt nói chuyện, FacEDiTBench được sử dụng, ngoài phần kiểm tra HDTF, đã trở thành một tiêu chuẩn đánh giá cho tập hợp các nhiệm vụ này.

Vì không có hệ thống nào có thể so sánh trực tiếp có khả năng bao gồm tất cả các chức năng này, các tác giả đã chọn một số khuôn khổ có thể tái tạo một số chức năng mục tiêu, và có thể hoạt động như các đường cơ sở; cụ thể là KeyFace; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrait; và SadTalker.

Các chỉ số đã được thiết lập cũng được sử dụng để đánh giá chất lượng tạo ra và chỉnh sửa, với độ chính xác đồng bộ hóa môi được đánh giá thông qua SyncNet, báo cáo cả lỗi tuyệt đối giữa chuyển động môi và âm thanh (LSE-D) và điểm tin cậy (LSE-C); Fréchet Video Distance (FVD) lượng hóa mức độ hiện thực của video; và Học Perceptual Similarity Metrics (LPIPS), đo lường sự tương đồng về nhận thức giữa các khung hình được tạo ra và khung hình gốc.

Đối với việc chỉnh sửa, tất cả các chỉ số trừ LPIPS đều được áp dụng chỉ cho đoạn chỉnh sửa; đối với việc tạo ra, toàn bộ video được đánh giá, với độ liên tục ranh giới được loại trừ.

Mỗi mô hình được yêu cầu tạo ra một đoạn video phù hợp, sau đó được ghép vào đoạn video gốc (các nhà nghiên cứu lưu ý rằng phương pháp này thường giới thiệu các khoảng cách nhìn thấy được, nơi đoạn chỉnh sửa gặp phần video xung quanh). Một phương pháp khác cũng được kiểm tra, trong đó toàn bộ video được tạo ra lại từ âm thanh đã chỉnh sửa – nhưng điều này không thể bảo tồn các phần không chỉnh sửa, và không thành công trong việc bảo tồn hiệu suất gốc:

So sánh hiệu suất chỉnh sửa trên các hệ thống được thiết kế ban đầu cho việc tạo ra khuôn mặt nói chuyện, với FacEDiT vượt trội tất cả các đường cơ sở trên mọi chỉ số, đạt được lỗi đồng bộ hóa môi thấp hơn (LSE-D), điểm tin cậy đồng bộ hóa cao hơn (LSE-C), bảo toàn nhận dạng mạnh hơn (IDSIM), hiện thực video cao hơn (FVD), và chuyển tiếp mượt mà hơn trên các ranh giới chỉnh sửa (Pcontinuity, Mcontinuity). Các cột màu xám đánh dấu các tiêu chí chính để đánh giá chất lượng ranh giới; giá trị in đậm và gạch dưới chỉ ra kết quả tốt nhất và tốt thứ hai, tương ứng

Về những kết quả này, các tác giả nhận xét:

‘[Mô hình của chúng tôi] vượt trội so với các phương pháp hiện có trên nhiệm vụ chỉnh sửa. Nó đạt được độ liên tục ranh giới mạnh và bảo toàn nhận dạng cao, chứng tỏ khả năng của nó trong việc duy trì tính nhất quán thời gian và hình ảnh trong quá trình chỉnh sửa. Ngoài ra, độ chính xác đồng bộ hóa môi cao và FVD thấp của nó phản ánh tính hiện thực của video được tạo ra.’

Click để phát. Kết quả, được biên tập bởi tác giả này từ các video được xuất bản trên trang web dự án. Vui lòng tham khảo trang web nguồn để có độ phân giải tốt hơn.

Ngoài ra, một nghiên cứu về con người đã được thực hiện để đánh giá chất lượng được nhận thức trên cả chỉnh sửa và tạo ra.

Đối với mỗi so sánh, người tham gia xem sáu video và xếp hạng chúng theo chất lượng tổng thể, xem xét độ chính xác đồng bộ hóa môi, tự nhiên và hiện thực của chuyển động đầu. Trong các thử nghiệm chỉnh sửa, người tham gia cũng đánh giá sự mượt mà của chuyển tiếp giữa các đoạn chỉnh sửa và không chỉnh sửa:

Xếp hạng trung bình được chỉ định bởi các nhà đánh giá con người, nơi thấp hơn có nghĩa là tốt hơn. Trong cả chỉnh sửa và tạo ra, người tham gia đánh giá xem video trông tự nhiên và đồng bộ hóa như thế nào. Đối với chỉnh sửa, họ cũng đánh giá sự mượt mà của chuyển tiếp giữa các đoạn chỉnh sửa và không chỉnh sửa. Các số liệu in đậm và gạch dưới chỉ ra hai kết quả hàng đầu.

Trong nghiên cứu, FacEDiT luôn được xếp hạng cao nhất bởi một lợi thế rõ ràng, cả về chất lượng chỉnh sửa và sự mượt mà của chuyển tiếp, cũng như nhận được điểm số mạnh trong trường hợp tạo ra, cho thấy rằng những lợi thế được đo lường của nó chuyển thành đầu ra được ưa chuộng về mặt nhận thức.

Do không gian hạn chế, chúng tôi đề nghị người đọc tham khảo bài báo nguồn để biết thêm chi tiết về các nghiên cứu và thử nghiệm bổ sung được thực hiện và báo cáo trong công việc mới. Trên thực tế, các đề xuất nghiên cứu nguyên mẫu như vậy thường gặp khó khăn trong việc tạo ra các phần kết quả thử nghiệm có ý nghĩa, vì chính đề xuất đó cuối cùng là một baseline tiềm năng cho các công việc sau này.

Kết Luận

Ngay cả đối với suy luận, các hệ thống như vậy có thể yêu cầu tài nguyên tính toán đáng kể tại thời điểm suy luận, khiến cho người dùng cuối – ở đây, có lẽ là các cửa hàng VFX – khó duy trì công việc tại chỗ. Do đó, các phương pháp có thể được điều chỉnh để phù hợp với các tài nguyên địa phương thực tế sẽ luôn được các nhà cung cấp ưa chuộng, những người có nghĩa vụ pháp lý phải bảo vệ cảnh quay và tài sản trí tuệ của khách hàng.

Điều đó không có nghĩa là việc chỉ trích đề xuất mới, có thể hoạt động hoàn hảo dưới các trọng lượng được lượng tử hóa hoặc các tối ưu hóa khác, và là đề xuất đầu tiên thuộc loại này thu hút tôi trở lại con đường nghiên cứu này sau một thời gian khá lâu.

Được xuất bản lần đầu vào thứ Tư, ngày 17 tháng 12 năm 202. Được chỉnh sửa vào 20:10 EET, cùng ngày, để thêm khoảng cách trong đoạn văn đầu tiên.