Tạo ra Video AI Tốt hơn từ Chỉ Hai Hình ảnh

Video frame interpolation (VFI) là một vấn đề mở trong nghiên cứu video tạo sinh. Thử thách là tạo ra các khung trung gian giữa hai khung hình hiện có trong một chuỗi video.

Click để phát. Khung FILM, một sự hợp tác giữa Google và Đại học Washington, đã đề xuất một phương pháp nội suy khung hình hiệu quả vẫn phổ biến trong các lĩnh vực nghiệp dư và chuyên nghiệp. Ở bên trái, chúng ta có thể thấy hai khung hình riêng biệt và khác biệt được chồng lên nhau; ở giữa, ‘khung hình cuối’; và ở bên phải, sự tổng hợp cuối cùng giữa các khung hình. Nguồn: https://film-net.github.io/ và https://arxiv.org/pdf/2202.04901

Nói rộng ra, kỹ thuật này đã có từ hơn một thế kỷ trước và đã được sử dụng trong hoạt hình truyền thống từ đó. Trong bối cảnh đó, các khung hình chính sẽ được tạo ra bởi một nghệ sĩ hoạt hình chính, trong khi công việc ‘tweening’ các khung hình trung gian sẽ được thực hiện bởi các nhân viên khác, như một nhiệm vụ lebih thấp.

Trước khi xuất hiện của trí tuệ nhân tạo tạo sinh, nội suy khung hình đã được sử dụng trong các dự án như Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN), và Google’s Frame Interpolation for Large Motion (FILM – xem trên) để tăng tốc độ khung hình của một video hiện có hoặc cho phép tạo ra hiệu ứng chậm chuyển động nhân tạo. Điều này được thực hiện bằng cách chia nhỏ các khung hình hiện có của một đoạn clip và tạo ra các khung hình trung gian ước tính.

VFI cũng được sử dụng trong việc phát triển các codec video tốt hơn và, nói chung, trong hệ thống dựa trên dòng quang (bao gồm cả hệ thống tạo sinh), những hệ thống này sử dụng kiến thức trước về các khung hình chính để tối ưu hóa và định hình nội dung trung gian trước đó.

Khung hình cuối trong Hệ thống Video Tạo sinh

Các hệ thống tạo sinh hiện đại như Luma và Kling cho phép người dùng chỉ định một khung hình bắt đầu và một khung hình cuối, và có thể thực hiện nhiệm vụ này bằng cách phân tích các điểm chính trong hai hình ảnh và ước tính một quỹ đạo giữa hai hình ảnh.

Como chúng ta có thể thấy trong các ví dụ dưới đây, việc cung cấp một ‘khung hình cuối’ tốt hơn cho phép hệ thống video tạo sinh (trong trường hợp này, Kling) duy trì các khía cạnh như danh tính, ngay cả khi kết quả không hoàn hảo (đặc biệt là với các chuyển động lớn).

Click để phát. Kling là một trong số ngày càng nhiều các máy tạo video, bao gồm Runway và Luma, cho phép người dùng chỉ định một khung hình cuối. Trong hầu hết các trường hợp, chuyển động tối thiểu sẽ dẫn đến kết quả thực tế nhất và ít bị lỗi nhất. Nguồn: https://www.youtube.com/watch?v=8oylqODAaH8

Trong ví dụ trên, danh tính của người đó nhất quán giữa hai khung hình chính được cung cấp bởi người dùng, dẫn đến một video tạo sinh tương đối nhất quán.

Trong trường hợp chỉ có khung hình bắt đầu được cung cấp, cửa sổ chú ý của hệ thống tạo sinh thường không đủ lớn để ‘nhớ’ hình dạng của người đó tại đầu video. Thay vào đó, danh tính có thể thay đổi một chút với mỗi khung hình, cho đến khi tất cả sự giống nhau đều bị mất. Trong ví dụ dưới đây, một hình ảnh bắt đầu được tải lên và chuyển động của người đó được hướng dẫn bởi một lời nhắc văn bản:

Click để phát. Không có khung hình cuối, Kling chỉ có một nhóm nhỏ các khung hình trước đó để hướng dẫn việc tạo ra các khung hình tiếp theo. Trong các trường hợp cần có chuyển động đáng kể, sự suy giảm danh tính trở nên nghiêm trọng.

Chúng ta có thể thấy rằng sự giống nhau của diễn viên không bền vững với các hướng dẫn, vì hệ thống tạo sinh không biết người đó sẽ trông như thế nào nếu họ đang cười, và họ không cười trong hình ảnh hạt giống (hình ảnh tham chiếu duy nhất).

Đa số các đoạn video tạo sinh lan truyền đều được chăm sóc cẩn thận để giảm thiểu những hạn chế này. Tuy nhiên, tiến bộ của các hệ thống video tạo sinh nhất quán theo thời gian có thể phụ thuộc vào các phát triển mới từ lĩnh vực nghiên cứu về nội suy khung hình, vì giải pháp thay thế duy nhất là phụ thuộc vào CGI truyền thống như một video ‘hướng dẫn’ (và ngay cả trong trường hợp này, sự nhất quán của kết cấu và ánh sáng vẫn khó đạt được).

Thêm vào đó, việc suy diễn một khung hình mới từ một nhóm nhỏ các khung hình gần đây làm cho nó rất khó để đạt được các chuyển động lớn và táo bạo. Điều này là vì một vật thể di chuyển nhanh qua một khung hình có thể chuyển từ một bên sang bên kia trong không gian của một khung hình duy nhất, trái ngược với các chuyển động dần dần mà hệ thống có thể đã được đào tạo.

Tương tự, một thay đổi lớn và táo bạo về tư thế có thể dẫn đến không chỉ thay đổi danh tính, mà còn dẫn đến những bất hợp lý rõ ràng:

Click để phát. Trong ví dụ này từ Luma, chuyển động được yêu cầu không có vẻ được đại diện tốt trong dữ liệu đào tạo.

Framer

Điều này đưa chúng ta đến một bài báo gần đây từ Trung Quốc, tuyên bố đã đạt được một trạng thái mới về nội suy khung hình chân thực – và đây là lần đầu tiên đề xuất một tương tác người dùng dựa trên kéo-thả.

Framer cho phép người dùng chỉ đạo chuyển động bằng cách sử dụng giao diện kéo-thả trực quan, mặc dù nó cũng có chế độ ‘tự động’. Nguồn: https://www.youtube.com/watch?v=4MPGKgn7jRc

Các ứng dụng tập trung vào kéo-thả đã trở thành thường xuyên trong văn học gần đây, vì lĩnh vực nghiên cứu đang cố gắng cung cấp các công cụ cho hệ thống tạo sinh không dựa trên các kết quả thô được thu được từ các lời nhắc văn bản.

Hệ thống mới, có tên Framer, không chỉ có thể theo dõi kéo-thả của người dùng mà còn có chế độ ‘tự động’ thông thường. Ngoài việc tạo khung hình thông thường, hệ thống cũng có khả năng tạo ra các mô phỏng thời gian trôi và các góc nhìn mới của hình ảnh đầu vào.

Các khung hình trung gian được tạo ra cho một mô phỏng thời gian trôi trong Framer. Nguồn: https://arxiv.org/pdf/2410.18978

Về việc tạo ra các góc nhìn mới, Framer vượt qua một chút vào lãnh thổ của Neural Radiance Fields (NeRF) – mặc dù chỉ yêu cầu hai hình ảnh, trong khi NeRF thường yêu cầu sáu hoặc nhiều hình ảnh đầu vào.

Trong các thử nghiệm, Framer, được thành lập trên mô hình video tạo sinh khuếch tán ổn định của Stability.ai, đã có thể vượt qua các phương pháp đối thủ xấp xỉ, trong một nghiên cứu người dùng.

Vào thời điểm viết bài, mã nguồn được thiết lập để được phát hành trên GitHub. Các mẫu video (từ đó các hình ảnh trên được lấy) có sẵn trên trang web dự án và các nhà nghiên cứu cũng đã phát hành một video trên YouTube.

Bài báo mới có tên Framer: Interactive Frame Interpolation, và đến từ chín nhà nghiên cứu trên toàn Zhejiang University và Ant Group được hỗ trợ bởi Alibaba.

Phương pháp

Framer sử dụng nội suy dựa trên điểm chính trong cả hai chế độ, trong đó hình ảnh đầu vào được đánh giá về cấu trúc cơ bản và các điểm ‘di chuyển được’ được chỉ định khi cần thiết. Về hiệu quả, những điểm này tương đương với các điểm mốc trên khuôn mặt trong các hệ thống dựa trên ID, nhưng được khái quát hóa cho bất kỳ bề mặt nào.

Các nhà nghiên cứu tinh chỉnh Stable Video Diffusion (SVD) trên OpenVid-1M dataset, thêm một khả năng tổng hợp khung hình cuối cùng. Điều này tạo điều kiện cho một cơ chế kiểm soát quỹ đạo (phía trên bên phải trong hình ảnh lược đồ dưới đây) có thể đánh giá một con đường đến khung hình cuối (hoặc từ đó).

Lược đồ cho Framer.

Về việc thêm điều kiện khung hình cuối, các tác giả tuyên bố:

‘Để bảo tồn sự ưu tiên trực quan của SVD được đào tạo trước càng nhiều càng tốt, chúng tôi tuân theo mô hình điều kiện của SVD và tiêm điều kiện khung hình cuối vào không gian latent và không gian ngữ nghĩa, tương ứng.

‘Cụ thể, chúng tôi nối tiếp tính năng latent được mã hóa VAE của khung hình đầu tiên với tính năng latent nhiễu của khung hình đầu tiên, như đã làm trong SVD. Ngoài ra, chúng tôi nối tiếp tính năng latent của khung hình cuối cùng, zn, với tính năng latent nhiễu của khung hình cuối cùng, xem xét rằng điều kiện và các tính năng latent nhiễu tương ứng được sắp xếp theo không gian.

‘Ngoài ra, chúng tôi trích xuất nhúng hình ảnh CLIP của khung hình đầu tiên và cuối cùng riêng biệt và nối tiếp chúng cho tiêm tính năng chú ý chéo.’

Đối với chức năng kéo-thả, mô-đun quỹ đạo tận dụng khuôn khổ CoTracker do Meta Ai dẫn đầu, đánh giá nhiều đường dẫn có thể trước. Những đường dẫn này được thu hẹp xuống còn 1-10 đường dẫn có thể.

Các tọa độ điểm được thu được sau đó được chuyển đổi thông qua một phương pháp được truyền cảm hứng từ DragNUWA và DragAnything kiến trúc. Điều này thu được một điểm nóng Gaussian, xác định các khu vực mục tiêu cho chuyển động.

Sau đó, dữ liệu được cung cấp cho các cơ chế điều kiện của ControlNet, một hệ thống phù hợp phụ được thiết kế ban đầu cho Stable Diffusion và kể từ đó được điều chỉnh cho các kiến trúc khác.

Đối với chế độ tự động, việc khớp tính năng ban đầu được thực hiện thông qua SIFT, giải thích một quỹ đạo có thể được chuyển đến một cơ chế tự động cập nhật được truyền cảm hứng từ DragGAN và DragDiffusion.

Lược đồ cho ước tính quỹ đạo điểm trong Framer.

Dữ liệu và Kiểm tra

Đối với việc tinh chỉnh Framer, sự chú ý không gian và các khối dư được đông lạnh, và chỉ các lớp chú ý thời gian và các khối dư được ảnh hưởng.

Mô hình được đào tạo trong 10.000 lần lặp lại dưới AdamW, với tốc độ học 1e-4, và kích thước lô 16. Việc đào tạo diễn ra trên 16 GPU NVIDIA A100.

Vì các phương pháp trước đây đối với vấn đề này không cung cấp khả năng chỉnh sửa kéo-thả, các nhà nghiên cứu đã chọn so sánh chế độ tự động của Framer với chức năng tiêu chuẩn của các phương pháp cũ hơn.

Các khuôn khổ được kiểm tra cho danh mục các hệ thống tạo video dựa trên khuếch tán hiện tại là LDMVFI; Dynamic Crafter; và SVDKFI. Đối với ‘truyền thống’ hệ thống video, các khuôn khổ đối thủ là AMT; RIFE; FLAVR; và FILM đã đề cập trước đó.

Ngoài nghiên cứu người dùng, các thử nghiệm cũng được thực hiện trên DAVIS và UCF101 dataset.

Các thử nghiệm định tính chỉ có thể được đánh giá bởi các khả năng khách quan của nhóm nghiên cứu và bởi các nghiên cứu người dùng. Tuy nhiên, bài báo lưu ý rằng các chỉ số định lượng truyền thống chủ yếu không phù hợp với đề xuất tại tay:

‘[Reconstruction] các chỉ số như PSNR, SSIM và LPIPS không thể bắt được chất lượng của các khung hình trung gian một cách chính xác, vì chúng phạt các kết quả nội suy khác có thể xảy ra không được căn chỉnh pixel với video gốc.

‘Mặc dù các chỉ số tạo như FID cung cấp một số cải tiến, chúng vẫn còn thiếu vì chúng không tính đến sự nhất quán theo thời gian và đánh giá các khung hình trong cách ly.’

Mặc dù vậy, các nhà nghiên cứu đã thực hiện các thử nghiệm định tính với một số chỉ số phổ biến:

Kết quả định lượng cho Framer so với các hệ thống đối thủ.

Các tác giả lưu ý rằng mặc dù có những khó khăn, Framer vẫn đạt được điểm FVD tốt nhất trong số các phương pháp được thử nghiệm.

Dưới đây là các kết quả mẫu của bài báo cho một so sánh định tính:

So sánh định tính với các phương pháp trước đây. Vui lòng tham khảo bài báo để có độ phân giải tốt hơn, cũng như kết quả video tại https://www.youtube.com/watch?v=4MPGKgn7jRc.

Các tác giả bình luận:

‘[Phương pháp của chúng tôi] tạo ra các kết cấu rõ ràng hơn và chuyển động tự nhiên so với các kỹ thuật nội suy hiện có. Nó hoạt động đặc biệt tốt trong các tình huống có sự khác biệt đáng kể giữa các khung hình đầu vào, nơi các phương pháp truyền thống thường không thể nội suy nội dung một cách chính xác.

‘So với các phương pháp dựa trên khuếch tán khác như LDMVFI và SVDKFI, Framer thể hiện sự thích nghi tốt hơn với các trường hợp khó khăn và cung cấp khả năng kiểm soát tốt hơn.’

Đối với nghiên cứu người dùng, các nhà nghiên cứu đã thu thập 20 người tham gia, những người đã đánh giá 100 kết quả video được sắp xếp ngẫu nhiên từ các phương pháp được thử nghiệm. Do đó, 1000 xếp hạng đã được thu thập, đánh giá các đề xuất ‘thực tế’ nhất:

Kết quả từ nghiên cứu người dùng.

Como có thể thấy từ biểu đồ trên, người dùng đã ưu tiên mạnh mẽ cho kết quả từ Framer.

Video trên YouTube đồng hành phác thảo một số ứng dụng khác có thể có cho Framer, bao gồm cả việc tạo hình và tạo hình trung gian cho hoạt hình – nơi khái niệm này bắt đầu.

Kết luận

Thật khó để nhấn mạnh quá mức tầm quan trọng của thử thách này hiện tại cho nhiệm vụ tạo video dựa trên AI. Cho đến nay, các giải pháp cũ hơn như FILM và EbSynth (không phải AI) đã được sử dụng bởi cả cộng đồng nghiệp dư và chuyên nghiệp để tạo khung hình trung gian; nhưng những giải pháp này đi kèm với những hạn chế đáng kể.

Vì sự kiểm duyệt không trung thực của các video ví dụ chính thức cho các khuôn khổ T2V mới, có một sự hiểu lầm rộng rãi rằng các hệ thống học máy có thể suy diễn chính xác hình học trong chuyển động mà không cần đến các cơ chế hướng dẫn như mô hình 3D có thể biến dạng (3DMM) hoặc các phương pháp hỗ trợ khác như LoRAs.

Để trung thực, việc tạo khung hình trung gian bản thân nó, ngay cả khi nó có thể được thực hiện một cách hoàn hảo, chỉ là một ‘mánh lới’ hoặc gian lận đối với vấn đề này. Tuy nhiên, vì thường dễ dàng tạo ra hai hình ảnh khung hình được căn chỉnh tốt hơn là để hướng dẫn thông qua các lời nhắc văn bản hoặc các phương pháp thay thế hiện tại, điều đó thật tốt khi thấy sự tiến bộ lặp lại về một phiên bản AI của phương pháp cũ này.

Được xuất bản lần đầu vào thứ ba, ngày 29 tháng 10 năm 2024