Cầu nối khoảng trống trong Video Tạo sinh

Nghiên cứu mới từ Trung Quốc đang cung cấp một phương pháp cải tiến để nội suy khoảng trống giữa hai khung hình video cách nhau về thời gian – một trong những thách thức quan trọng nhất trong cuộc đua hiện tại nhằm đạt được tính thực tế cho video tạo sinh AI, cũng như cho nén codec video.

Trong video ví dụ dưới đây, chúng ta thấy ở cột bên trái một ‘khung hình bắt đầu’ (trên cùng bên trái) và ‘khung hình kết thúc’ (dưới cùng bên trái). Nhiệm vụ mà các hệ thống cạnh tranh phải thực hiện là đoán cách đối tượng trong hai bức tranh sẽ di chuyển từ khung hình A đến khung hình B. Trong hoạt hình, quá trình này được gọi là tweening, và có nguồn gốc từ thời kỳ im lặng của sản xuất phim.

Click để phát. Trong cột đầu tiên, bên trái, chúng ta thấy khung hình bắt đầu và kết thúc được đề xuất. Ở cột giữa và đầu cột thứ ba (bên phải), chúng ta thấy ba phương pháp trước đây để giải quyết thách thức này. Phía dưới cùng bên phải, chúng ta thấy phương pháp mới đạt được kết quả thuyết phục hơn trong việc cung cấp các khung hình trung gian. Nguồn: https://fcvg-inbetween.github.io/

Phương pháp mới được đề xuất bởi các nhà nghiên cứu Trung Quốc được gọi là Sự tạo sinh video điều kiện khung hình (FCVG), và kết quả của nó có thể được thấy ở phía dưới cùng bên phải của video trên, cung cấp một chuyển tiếp mượt mà và hợp lý từ một khung hình tĩnh này sang khung hình tĩnh khác.

Ngược lại, chúng ta có thể thấy rằng một trong những khuôn khổ được ca ngợi nhất cho nội suy video, dự án Frame Interpolation for Large Motion (FILM) của Google, gặp khó khăn, như nhiều nỗ lực tương tự gặp khó khăn, trong việc giải thích các chuyển động lớn và táo bạo.

Hai khuôn khổ cạnh tranh khác được hiển thị trong video, Kết hợp thời gian đảo ngược (TRF) và Tạo sinh lấp đầy (GI), cung cấp một sự giải thích ít bị méo hơn, nhưng đã tạo ra các động tác nhảy múa cuồng nhiệt và thậm chí là hài hước, không tôn trọng logic ngầm của hai khung hình được cung cấp.

Click để phát. Hai giải pháp không hoàn hảo cho vấn đề tweening. Trái, FILM coi hai khung hình như các mục tiêu hình thái đơn giản. Phải, TRF biết rằng một số hình thức nhảy múa cần được chèn, nhưng đưa ra một giải pháp không thực tế và thể hiện các dị tật giải phẫu.

Phía trên bên trái, chúng ta có thể xem xét kỹ hơn cách FILM tiếp cận vấn đề. Mặc dù FILM được thiết kế để có thể xử lý các chuyển động lớn, trái ngược với các phương pháp trước đây dựa trên lưu lượng quang học, nó vẫn thiếu hiểu biết ngữ nghĩa về những gì nên xảy ra giữa hai khung hình chính, và đơn giản thực hiện một phép biến hình giữa các khung hình theo phong cách của những năm 1980/90.

Để bên phải, trong video trên, chúng ta thấy nỗ lực của TRF, nơi Sự khuếch tán video ổn định (SVD) được sử dụng để ‘đoán’ cách một động tác nhảy múa phù hợp với hai khung hình được cung cấp bởi người dùng có thể là – nhưng nó đã thực hiện một sự xấp xỉ táo bạo và không thực tế.

FCVG, được hiển thị dưới đây, thực hiện một công việc thuyết phục hơn trong việc đoán chuyển động và nội dung giữa hai khung hình:

Click để phát. FCVG cải thiện các phương pháp trước đây, nhưng vẫn còn xa hoàn hảo.

Vẫn còn các hiện tượng phụ, chẳng hạn như biến hình không mong muốn của tay và nhận dạng khuôn mặt, nhưng phiên bản này là bề mặt đáng tin cậy nhất – và bất kỳ cải tiến nào đối với trạng thái hiện tại của nghệ thuật cần được xem xét trước độ khó khăn khổng lồ mà nhiệm vụ này đề xuất; và chướng ngại vật lớn mà thách thức này đặt ra cho tương lai của video tạo sinh AI.

Tại sao Nội suy quan trọng

Như chúng tôi đã điểm out trước, khả năng lấp đầy nội dung video giữa hai khung hình được cung cấp bởi người dùng một cách thuyết phục là một trong những cách tốt nhất để duy trì tính nhất quán thời gian trong video tạo sinh, vì hai bức ảnh thật và liên tiếp của cùng một người sẽ tự nhiên chứa các yếu tố nhất quán như quần áo, tóc và môi trường.

Khi chỉ sử dụng một khung hình bắt đầu duy nhất, cửa sổ chú ý hạn chế của một hệ thống tạo sinh, thường chỉ xem xét các khung hình gần đó, sẽ có xu hướng dần dần ‘phát triển’ các khía cạnh của chủ đề, cho đến khi (ví dụ) một người đàn ông trở thành một người đàn ông khác (hoặc một người phụ nữ), hoặc chứng minh rằng anh ta có ‘biến hình’ quần áo – trong số nhiều sự phân tâm khác thường được tạo ra trong các hệ thống video tạo sinh mã nguồn mở, và trong hầu hết các giải pháp trả phí, chẳng hạn như Kling:

Click để phát. Cho nguồn khung hình bắt đầu và kết thúc mới vào Kling, với lời nhắc ‘Một người đàn ông đang nhảy trên mái nhà’, không dẫn đến một giải pháp lý tưởng. Mặc dù Kling 1.6 có sẵn tại thời điểm tạo, V1.5 là phiên bản mới nhất hỗ trợ khung hình bắt đầu và kết thúc do người dùng nhập. Source: https://klingai.com/

Liệu Vấn đề đã được Giải quyết?

Ngược lại, một số hệ thống thương mại, mã nguồn đóng và độc quyền dường như đang làm tốt hơn với vấn đề – đáng chú ý là RunwayML, đã có thể tạo ra các nội suy giữa hai khung hình nguồn rất thuyết phục:

Click để phát. Nội suy dựa trên sự khuếch tán của RunwayML rất hiệu quả. Source: https://app.runwayml.com/

Lặp lại bài tập, RunwayML tạo ra một kết quả đáng tin cậy thứ hai:

Click để phát. Chạy thứ hai của chuỗi RunwayML.

Một vấn đề ở đây là chúng ta không thể học được gì về những thách thức liên quan, cũng không thể tiến bộ trong lĩnh vực mã nguồn mở, từ một hệ thống độc quyền. Chúng ta không thể biết liệu việc kết xuất vượt trội này có được đạt được bằng cách tiếp cận kiến trúc độc đáo, bằng dữ liệu (hoặc phương pháp lập dữ liệu như lọc và chú thích), hoặc bất kỳ sự kết hợp nào của những đổi mới nghiên cứu này.

Thứ hai, các công ty nhỏ hơn, chẳng hạn như các công ty hiệu ứng hình ảnh, không thể phụ thuộc vào các dịch vụ API doanh nghiệp đến doanh nghiệp trong dài hạn, những dịch vụ này có thể tiềm ẩn nguy cơ làm suy yếu kế hoạch hậu cần của họ với một mức giá tăng duy nhất – đặc biệt nếu một dịch vụ nào đó trở thành thị trường thống trị và do đó có nhiều khả năng tăng giá.

Khi Quyền bị Sai

Quan trọng hơn nhiều, nếu một mô hình thương mại hoạt động tốt được đào tạo trên dữ liệu không được cấp phép, như dường như là trường hợp với RunwayML, bất kỳ công ty nào sử dụng dịch vụ như vậy có thể gặp rủi ro pháp lý xuống dòng.

Vì luật pháp (và một số vụ kiện) tồn tại lâu hơn các tổng thống, và vì thị trường Mỹ quan trọng là trong số những nước có tính cách kiện tụng cao nhất trên thế giới, xu hướng hiện tại hướng tới sự giám sát lập pháp chặt chẽ hơn đối với dữ liệu đào tạo AI dường như sẽ tồn tại ‘chạm nhẹ’ của nhiệm kỳ tổng thống tiếp theo của Donald Trump.

Do đó, lĩnh vực nghiên cứu tầm nhìn máy tính sẽ phải giải quyết vấn đề này theo cách khó khăn, để bất kỳ giải pháp nào xuất hiện có thể tồn tại trong dài hạn.

FCVG

Phương pháp mới từ Trung Quốc được trình bày trong một bài báo có tiêu đề Sự tạo sinh lấp đầy khung hình thông qua sự tạo sinh video điều kiện khung hình, và đến từ năm nhà nghiên cứu trên Viện Công nghệ Harbin và Đại học Thiên Tân.

FCVG giải quyết vấn đề về sự模糊 trong nhiệm vụ nội suy bằng cách sử dụng điều kiện khung hình, cùng với một khuôn khổ giúp xác định đường viền trong các khung hình bắt đầu và kết thúc do người dùng cung cấp, điều này giúp quá trình theo dõi các chuyển tiếp giữa các khung hình cá nhân và hiệu ứng tổng thể một cách nhất quán hơn.

Điều kiện khung hình liên quan đến việc chia nhỏ việc tạo các khung hình trung gian thành các nhiệm vụ con, thay vì cố gắng lấp đầy một khoảng trống ngữ nghĩa rất lớn giữa hai khung hình (và khoảng cách đầu ra video yêu cầu càng dài, khoảng cách ngữ nghĩa đó càng lớn).

Trong đồ họa dưới đây, từ bài báo, các tác giả so sánh phương pháp đảo ngược thời gian (TRF) với phương pháp của họ. TRF tạo ra hai đường dẫn tạo video bằng cách sử dụng một mô hình hình ảnh sang video được đào tạo trước (SVD). Một là đường ‘tiến’ có điều kiện ở khung hình bắt đầu, và đường ‘lùi’ có điều kiện ở khung hình kết thúc. Cả hai đường đều bắt đầu từ tiếng ồn ngẫu nhiên giống nhau. Điều này được minh họa ở bên trái của hình ảnh dưới đây:

So sánh các phương pháp trước đây với FCVG. Source: https://arxiv.org/pdf/2412.11755

Các tác giả khẳng định rằng FCVG là một cải tiến so với các phương pháp đảo ngược thời gian vì nó giảm sự模糊 trong tạo video, bằng cách cung cấp một điều kiện rõ ràng cho mỗi khung hình, dẫn đến đầu ra ổn định và nhất quán hơn.

Phương pháp đảo ngược thời gian như TRF, bài báo khẳng định, có thể dẫn đến sự模糊, vì các đường tạo tiến và lùi có thể phân kỳ, gây ra sự không nhất quán hoặc không phù hợp. FCVG giải quyết vấn đề này bằng cách sử dụng điều kiện khung hình được suy dẫn từ các đường thẳng được khớp nối giữa các khung hình bắt đầu và kết thúc (phía dưới cùng bên phải của hình ảnh trên), giúp hướng dẫn quá trình tạo.

Click để phát. Một so sánh khác từ trang dự án FCVG.

Đảo ngược thời gian cho phép sử dụng các mô hình tạo video được đào tạo trước cho việc lấp đầy, nhưng có một số hạn chế. Chuyển động được tạo ra bởi các mô hình I2V là đa dạng hơn là ổn định. Trong khi điều này hữu ích cho các nhiệm vụ hình ảnh sang video (I2V) thuần túy, nó tạo ra sự模糊 và dẫn đến các đường video không phù hợp hoặc không nhất quán.

Đảo ngược thời gian cũng yêu cầu phải điều chỉnh các siêu tham số một cách vất vả, chẳng hạn như tốc độ khung hình cho mỗi video được tạo. Ngoài ra, một số kỹ thuật được sử dụng trong đảo ngược thời gian để giảm sự模糊 có thể làm chậm đáng kể quá trình suy luận, tăng thời gian xử lý.

Phương pháp

Các tác giả quan sát thấy rằng nếu vấn đề đầu tiên (đa dạng so với sự ổn định) có thể được giải quyết, tất cả các vấn đề tiếp theo có thể sẽ tự giải quyết. Điều này đã được cố gắng trong các đề xuất trước như GI và cũng ViBiDSampler.

Bài báo tuyên bố:

‘Tuy nhiên [vẫn] tồn tại sự ngẫu nhiên đáng kể giữa các đường này, do đó hạn chế hiệu quả của các phương pháp này trong việc xử lý các kịch bản liên quan đến các chuyển động lớn như thay đổi nhanh chóng trong tư thế con người. Sự模糊 trong đường nội suy chủ yếu xuất phát từ điều kiện không đủ cho các khung hình trung gian, vì hai hình ảnh đầu vào chỉ cung cấp điều kiện cho khung hình bắt đầu và kết thúc.

‘Do đó [chúng tôi] đề xuất cung cấp một điều kiện rõ ràng cho mỗi khung hình, điều này giảm đáng kể sự模糊 của đường nội suy.’

Chúng ta có thể thấy các khái niệm cốt lõi của FCVG hoạt động trong sơ đồ dưới đây. FCVG tạo ra một chuỗi các khung hình video bắt đầu và kết thúc nhất quán với hai khung hình đầu vào. Điều này đảm bảo rằng các khung hình là ổn định về thời gian bằng cách cung cấp các điều kiện cụ thể cho khung hình cho quá trình tạo video.

Sơ đồ suy luận của FCVG.

Trong sự tái cấu trúc này của phương pháp đảo ngược thời gian, phương pháp kết hợp thông tin từ cả hai hướng tiến và lùi, trộn chúng để tạo ra các chuyển tiếp mượt mà. Qua một quá trình lặp lại, mô hình dần dần tinh chỉnh các đầu vào nhiễu cho đến khi tập cuối cùng của các khung hình trung gian được tạo ra.

Giai đoạn tiếp theo liên quan đến việc sử dụng mô hình GlueStick được đào tạo trước để tạo ra các đường thẳng khớp nối giữa hai khung hình bắt đầu và kết thúc được tính toán, với việc sử dụng tùy chọn các tư thế xương sống để hướng dẫn mô hình, thông qua mô hình Sự khuếch tán video ổn định.

GlueStick suy dẫn các đường từ các hình dạng được giải thích. Những đường này cung cấp các neo khớp nối giữa các khung hình bắt đầu và kết thúc trong FCVG*.

Các tác giả lưu ý:

‘Chúng tôi đã tìm thấy thực nghiệm rằng nội suy tuyến tính là đủ cho hầu hết các trường hợp để đảm bảo sự ổn định thời gian trong các video lấp đầy, và phương pháp của chúng tôi cho phép người dùng chỉ định các đường nội suy không tuyến tính để tạo ra các video mong muốn.’

Quy trình thiết lập các điều kiện khung hình tiến và lùi. Chúng ta có thể thấy các màu được khớp nối đang giữ nội dung nhất quán khi quá trình hoạt hình phát triển.

Để tiêm các điều kiện khung hình thu được vào SVD, FCVG sử dụng phương pháp được phát triển cho sáng kiến ControlNeXt năm 2024. Trong quá trình này, các điều kiện kiểm soát được mã hóa ban đầu bởi nhiều khối ResNet, trước khi chuẩn hóa chéo giữa các nhánh điều kiện và SVD của quy trình.

Một tập nhỏ các video được sử dụng để tinh chỉnh mô hình SVD, với hầu hết các tham số của mô hình đóng băng.

‘[Những hạn chế trên] đã được giải quyết phần lớn trong FCVG: (i) Bằng cách chỉ định rõ ràng điều kiện cho mỗi khung hình, sự模糊 giữa các đường tiến và lùi được giảm đáng kể; (ii) Chỉ một tham số có thể điều chỉnh được giới thiệu, trong khi giữ các siêu tham số trong SVD là mặc định, cho kết quả thuận lợi trong hầu hết các kịch bản; (iii) Một sự kết hợp trung bình đơn giản, không có tái tiêm nhiễu, là đủ trong FCVG, và các bước suy luận có thể được giảm đáng kể 50% so với [GI].’

Sơ đồ rộng cho việc tiêm các điều kiện khung hình vào Sự khuếch tán video ổn định cho FCVG.

Dữ liệu và Kiểm tra

Để kiểm tra hệ thống, các nhà nghiên cứu đã tạo ra một tập dữ liệu bao gồm các cảnh đa dạng, bao gồm môi trường ngoài trời, tư thế con người và vị trí trong nhà, bao gồm các chuyển động như di chuyển máy quay, hành động nhảy múa và biểu cảm khuôn mặt, trong số những chuyển động khác. 524 đoạn phim được chọn từ các tập dữ liệu DAVIS và RealEstate10k. Tập dữ liệu này được bổ sung bằng các video có tốc độ khung hình cao từ Pexels. Tập dữ liệu được chia 4:1 giữa tinh chỉnh và kiểm tra.

Các chỉ số được sử dụng bao gồm Độ đo tương tự học được (LPIPS); Khoảng cách Inception Fréchet (FID); Khoảng cách Fréchet video (FVD); VBench; và Khoảng cách chuyển động video Fréchet.

Các tác giả lưu ý rằng không một trong những chỉ số này được thích hợp để ước tính sự ổn định thời gian, và đề cập chúng tôi đến các video trên trang dự án FCVG.

Bên cạnh việc sử dụng GlueStick để khớp nối đường thẳng, DWPose được sử dụng để ước tính tư thế con người.

Tinh chỉnh diễn ra trong 70.000 lần lặp lại dưới bộ tối ưu hóa AdamW trên một GPU NVIDIA A800, với tốc độ học 1×10^-6, với các khung hình được cắt thành các miếng 512×320.

Các khuôn khổ cạnh tranh trước đây được kiểm tra bao gồm FILM, GI, TRF và DynamiCrafter.

Đối với đánh giá định lượng, khoảng cách khung hình được giải quyết nằm trong khoảng từ 12 đến 23.

Kết quả định lượng so với các khuôn khổ trước đây.

Về những kết quả này, bài báo quan sát:

‘Phương pháp của chúng tôi đạt được hiệu suất tốt nhất trong số bốn phương pháp tạo sinh trên tất cả các chỉ số. Về so sánh LPIPS với FILM, FCVG của chúng tôi hơi kém hơn, trong khi thể hiện hiệu suất vượt trội trong các chỉ số khác. Xem xét sự vắng mặt của thông tin thời gian trong LPIPS, có thể phù hợp hơn khi ưu tiên các chỉ số khác và quan sát trực quan.

‘Hơn nữa, bằng cách so sánh kết quả dưới các khoảng cách khung hình khác nhau, FILM có thể hoạt động tốt khi khoảng cách nhỏ, trong khi các phương pháp tạo sinh phù hợp hơn cho khoảng cách lớn. Trong số các phương pháp tạo sinh này, FCVG của chúng tôi thể hiện sự vượt trội đáng kể nhờ vào các điều kiện khung hình rõ ràng của nó.’

Đối với kiểm tra định tính, các tác giả đã tạo ra các video được hiển thị trên trang dự án (một số được nhúng trong bài viết này), và kết quả tĩnh và động^† trong tệp PDF,

Kết quả tĩnh từ bài báo. Vui lòng tham khảo tệp PDF nguồn để có độ phân giải tốt hơn, và lưu ý rằng tệp PDF chứa các hình động có thể được phát trong các ứng dụng hỗ trợ tính năng này.

Các tác giả bình luận:

‘Trong khi FILM tạo ra kết quả nội suy mượt mà cho các kịch bản chuyển động nhỏ, nó gặp khó khăn với các chuyển động lớn do các hạn chế vốn có của lưu lượng quang học, dẫn đến các hiện象 đáng chú ý như chuyển động nền và tay (trong trường hợp đầu tiên).

‘Các mô hình tạo sinh như TRF và GI gặp phải sự模糊 trong các đường hợp nhất, dẫn đến chuyển động trung gian không ổn định, đặc biệt là rõ ràng trong các cảnh phức tạp liên quan đến chuyển động con người và vật thể.

‘Ngược lại, phương pháp của chúng tôi nhất quán cung cấp kết quả hài lòng trên nhiều kịch bản.’Ngay cả khi có sự che khuất đáng kể (trong trường hợp thứ hai và thứ sáu), phương pháp của chúng tôi vẫn có thể bắt được chuyển động hợp lý. Hơn nữa, phương pháp của chúng tôi thể hiện sự mạnh mẽ đối với các hành động con người phức tạp (trong trường hợp cuối cùng).’

Các tác giả cũng phát hiện ra rằng FCVG tổng quát hóa một cách bất thường tốt cho các video hoạt hình:

Click để phát. FCVG tạo ra kết quả rất thuyết phục cho hoạt hình kiểu hoạt hình.

Kết luận

FCVG đại diện cho ít nhất một sự cải tiến đáng kể cho trạng thái hiện tại của nghệ thuật trong nội suy khung hình trong một bối cảnh không độc quyền. Các tác giả đã làm cho mã cho công việc này có sẵn trên GitHub, mặc dù tập dữ liệu liên quan chưa được phát hành tại thời điểm viết.

Nếu các giải pháp thương mại độc quyền đang vượt qua các nỗ lực mã nguồn mở thông qua việc sử dụng dữ liệu không được cấp phép từ web, dường như không có tương lai trong cách tiếp cận như vậy, ít nhất là đối với sử dụng thương mại; rủi ro đơn giản là quá lớn.

Do đó, ngay cả khi cảnh mã nguồn mở đang tụt lại phía sau sự trình diễn ấn tượng của các nhà lãnh đạo thị trường hiện tại, nó có thể là con rùa sẽ đánh bại thỏ đến vạch đích.

* Nguồn: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Yêu cầu Acrobat Reader, Okular, hoặc bất kỳ trình đọc PDF nào khác có thể tái tạo các hình động nhúng trong PDF.

Được xuất bản vào thứ Sáu, ngày 20 tháng 12 năm 2024