Nấu lên Sự nhất quán Câu chuyện cho Việc tạo Video Dài

Việc phát hành công khai gần đây của mô hình AI tạo video Hunyuan đã làm tăng cường các cuộc thảo luận đang diễn ra về khả năng của các mô hình tầm nhìn-ngôn ngữ đa phương thức lớn để tạo ra toàn bộ các bộ phim.

Tuy nhiên, như chúng tôi đã quan sát, đây là một triển vọng rất xa tại thời điểm này, vì một số lý do. Một trong số đó là cửa sổ chú ý rất ngắn của hầu hết các hệ thống video tạo sinh AI, vốn đấu tranh để duy trì sự nhất quán thậm chí trong một cú quay ngắn, chứ không nói đến một loạt các cú quay.

Một yếu tố khác là các tham chiếu nhất quán đến nội dung video (như các môi trường có thể khám phá, không nên thay đổi ngẫu nhiên nếu bạn quay lại các bước của chúng) chỉ có thể đạt được trong các mô hình khuếch tán bằng các kỹ thuật tùy chỉnh như điều chỉnh hạng thấp (LoRA), điều này hạn chế khả năng của các mô hình nền.

Do đó, sự tiến hóa của video tạo sinh dường như sẽ bị đình trệ trừ khi các phương pháp mới về tính liên tục của câu chuyện được phát triển.

Công thức cho Sự nhất quán

Với điều này trong tâm trí, một sự hợp tác mới giữa Mỹ và Trung Quốc đã đề xuất sử dụng video nấu ăn hướng dẫn như một khuôn mẫu có thể cho các hệ thống tính liên tục của câu chuyện trong tương lai.

Click để phát. Dự án VideoAuteur hệ thống hóa việc phân tích các phần của quá trình nấu ăn, để tạo ra một tập dữ liệu mới được chú thích chi tiết và một phương pháp dàn xếp cho việc tạo video nấu ăn. Tham khảo trang web nguồn để có độ phân giải tốt hơn. Nguồn: https://videoauteur.github.io/

Được đặt tên là VideoAuteur, công việc này đề xuất một đường ống hai giai đoạn để tạo video nấu ăn hướng dẫn sử dụng các trạng thái kết hợp, kết hợp các khung chính và chú thích, đạt được kết quả tốt nhất trong lĩnh vực này.

Trang web dự án VideoAuteur cũng bao gồm một số video hấp dẫn hơn sử dụng cùng một kỹ thuật, như một đoạn giới thiệu đề xuất cho một bộ phim Marvel/DC không tồn tại:

Click để phát. Hai siêu anh hùng từ các vũ trụ khác nhau đối mặt trong một đoạn giới thiệu giả từ VideoAuteur. Tham khảo trang web nguồn để có độ phân giải tốt hơn.

Trang web cũng có các video quảng cáo phong cách tương tự cho một loạt phim động vật Netflix không tồn tại và một quảng cáo ô tô Tesla (TSLA ).

Trong việc phát triển VideoAuteur, các tác giả đã thử nghiệm với các hàm mất mát đa dạng và các phương pháp mới. Để phát triển một quy trình tạo hướng dẫn nấu ăn, họ cũng đã tạo ra CookGen, tập dữ liệu lớn nhất tập trung vào lĩnh vực nấu ăn, với 200.000 đoạn video có độ dài trung bình là 9,5 giây.

Ở mức trung bình 768,3 từ mỗi video, CookGen là tập dữ liệu được chú thích chi tiết nhất trong loại của nó. Các mô hình tầm nhìn/ngôn ngữ đa dạng đã được sử dụng, cùng với các phương pháp khác, để đảm bảo rằng các mô tả được chi tiết, liên quan và chính xác nhất có thể.

Video nấu ăn đã được chọn vì các hướng dẫn nấu ăn có một câu chuyện có cấu trúc và không mơ hồ, khiến việc chú thích và đánh giá trở nên dễ dàng hơn. Ngoài các video khiêu dâm (có khả năng sẽ tham gia vào không gian này sớm hơn là muộn), khó có thể nghĩ đến bất kỳ thể loại nào khác vừa trực quan vừa có câu chuyện ‘công thức’.

Các tác giả tuyên bố:

‘Phương pháp đường ống tự hồi quy hai giai đoạn của chúng tôi, bao gồm một giám đốc câu chuyện dài và tạo video có điều kiện thị giác, chứng tỏ sự cải thiện hứa hẹn về tính nhất quán ngữ nghĩa và tính trung thực thị giác trong các video câu chuyện dài được tạo.

‘Thông qua các thí nghiệm trên tập dữ liệu của chúng tôi, chúng tôi quan sát thấy sự cải thiện về tính nhất quán không gian và thời gian trên các chuỗi video.’

‘Chúng tôi hy vọng công việc của chúng tôi có thể thúc đẩy nghiên cứu thêm về việc tạo video câu chuyện dài.’

Công việc mới này có tên VideoAuteur: Hướng tới Việc tạo Video Câu chuyện Dài, và đến từ tám tác giả từ Đại học Johns Hopkins, ByteDance và ByteDance Seed.

Thu thập Dữ liệu

Để phát triển CookGen, cung cấp năng lượng cho một hệ thống tạo video nấu ăn hai giai đoạn, các tác giả đã sử dụng tài liệu từ các YouCook và HowTo100M collections. Các tác giả so sánh quy mô của CookGen với các tập dữ liệu trước đó tập trung vào phát triển câu chuyện trong video tạo sinh, như Flintstones dataset, Pororo cartoon dataset, StoryGen, StoryStream của Tencent và VIST.

So sánh hình ảnh và độ dài văn bản giữa CookGen và các tập dữ liệu tương tự gần nhất. Nguồn: https://arxiv.org/pdf/2501.06173

CookGen tập trung vào các câu chuyện thế giới thực, đặc biệt là các hoạt động thủ tục như nấu ăn, cung cấp các câu chuyện rõ ràng và dễ dàng chú thích hơn so với các tập dữ liệu truyện tranh dựa trên hình ảnh. Nó vượt qua tập dữ liệu lớn nhất hiện có, StoryStream, với 150 lần khung hình và 5 lần mô tả văn bản dày đặc hơn.

Các nhà nghiên cứu đã tinh chỉnh một mô hình chú thích bằng cách sử dụng phương pháp của LLaVA-NeXT làm cơ sở. Các nhãn giả ASR thu được cho HowTo100M đã được sử dụng làm ‘hành động’ cho mỗi video, sau đó được tinh chỉnh thêm bằng các mô hình ngôn ngữ lớn (LLM).

Ví dụ, ChatGPT-4o đã được sử dụng để tạo ra một tập dữ liệu chú thích, và được yêu cầu tập trung vào các tương tác đối tượng-chủ thể (như tay cầm dụng cụ và thực phẩm), thuộc tính đối tượng và động lực học thời gian.

Vì các kịch bản ASR có khả năng chứa các sai sót và nói chung là ‘nhiễu’, Intersection-over-Union (IoU) đã được sử dụng như một thước đo để đo lường mức độ mà các chú thích phù hợp với phần của video mà chúng đang giải quyết. Các tác giả lưu ý rằng điều này là rất quan trọng cho việc tạo ra tính nhất quán của câu chuyện.

Các đoạn video được curate đã được đánh giá bằng Fréchet Video Distance (FVD), đo lường sự khác biệt giữa các ví dụ thực (thế giới thực) và các ví dụ được tạo, cả với và không có khung hình thực. Đến được một kết quả hiệu suất:

Sử dụng FVD để đánh giá khoảng cách giữa các video được tạo với các chú thích mới, cả với và không có khung hình được chụp từ các mẫu video.

Ngoài ra, các đoạn video đã được đánh giá bởi GPT-4o và sáu người chú thích, theo định nghĩa ‘ảo giác’ của LLaVA-Hound (tức là khả năng của một mô hình để tạo ra nội dung giả).

Các nhà nghiên cứu đã so sánh chất lượng của các chú thích với Qwen2-VL-72B collection, đạt được một điểm số略 cải thiện.

So sánh điểm số FVD và đánh giá của con người giữa Qwen2-VL-72B và tập dữ liệu của tác giả.

Phương pháp

Giai đoạn tạo sinh của VideoAuteur được chia giữa Giám đốc Câu chuyện Dài (LND) và mô hình tạo video có điều kiện thị giác (VCVGM).

LND tạo ra một chuỗi các bản nhúng thị giác hoặc khung hình chính mô tả dòng chảy của câu chuyện, tương tự như ‘điểm nhấn quan trọng’. VCVGM tạo ra các đoạn video dựa trên các lựa chọn này.

Sơ đồ cho đường ống xử lý của VideoAuteur. Giám đốc Câu chuyện Dài tạo ra các lựa chọn phù hợp để cung cấp cho mô块 tạo sinh Seed-X.

Các tác giả đã thảo luận rộng rãi về các ưu điểm khác nhau của một giám đốc hình ảnh-văn bản xen kẽ và một giám đốc khung hình ngôn ngữ, và kết luận rằng phương pháp đầu tiên là hiệu quả hơn.

Giám đốc hình ảnh-văn bản xen kẽ tạo ra một chuỗi bằng cách xen kẽ các thẻ văn bản và bản nhúng thị giác, sử dụng một mô hình tự hồi quy để dự đoán thẻ tiếp theo dựa trên ngữ cảnh kết hợp của cả văn bản và hình ảnh. Điều này đảm bảo sự liên kết chặt chẽ giữa thị giác và văn bản.

Ngược lại, giám đốc khung hình ngôn ngữ tổng hợp các khung hình chính bằng cách sử dụng một mô hình khuếch tán có điều kiện văn bản dựa chỉ trên chú thích, mà không kết hợp các bản nhúng thị giác vào quá trình tạo.

Các nhà nghiên cứu đã tìm thấy rằng trong khi phương pháp ngôn ngữ trung tâm tạo ra các khung hình chính trực quan, nó thiếu sự nhất quán trên các khung hình, cho rằng phương pháp xen kẽ đạt được điểm số cao hơn về tính hiện thực và tính nhất quán thị giác. Họ cũng tìm thấy rằng phương pháp này có thể học được một phong cách thị giác thực tế thông qua đào tạo, mặc dù đôi khi có một số yếu tố lặp lại hoặc nhiễu.

Không thường xuyên, trong một dòng nghiên cứu bị chi phối bởi việc áp dụng Stable Diffusion và Flux vào các công việc, các tác giả đã sử dụng mô hình SEED-X 7B-parameter đa phương thức của Tencent làm cơ sở cho đường ống tạo sinh của họ (mặc dù mô hình này đã tận dụng SDXL của Stability.ai cho một phần hạn chế của kiến trúc).

Các tác giả tuyên bố:

‘Không giống như đường ống cổ điển Hình ảnh-sang-Video (I2V) sử dụng một hình ảnh làm khung hình bắt đầu, phương pháp của chúng tôi tận dụng [bản nhúng thị giác hồi quy] làm điều kiện liên tục trong suốt [chuỗi]. ‘

‘Hơn nữa, chúng tôi cải thiện độ bền và chất lượng của các video được tạo bằng cách thích nghi mô hình để xử lý các bản nhúng thị giác nhiễu, vì các bản nhúng thị giác hồi quy có thể không hoàn hảo do lỗi hồi quy.’

Mặc dù các đường ống tạo sinh có điều kiện thị giác điển hình thường sử dụng các khung hình chính ban đầu làm điểm bắt đầu cho hướng dẫn mô hình, VideoAuteur mở rộng mô hình này bằng cách tạo ra các trạng thái thị giác đa phần trong một không gian latent ngữ nghĩa, tránh sự thiên vị của việc dựa vào ‘khung hình bắt đầu’ để tạo thêm.

Sơ đồ cho việc sử dụng bản nhúng trạng thái thị giác làm phương pháp điều kiện ưu việt.

Thử nghiệm

Theo phương pháp của SeedStory, các nhà nghiên cứu sử dụng SEED-X để áp dụng tinh chỉnh LoRA trên tập dữ liệu câu chuyện của họ, mô tả kết quả một cách bí ẩn là một ‘mô hình Sora-like’, được tiền huấn luyện trên các cặp video/văn bản lớn và có khả năng chấp nhận cả các điều kiện thị giác và văn bản.

32.000 video câu chuyện đã được sử dụng cho việc phát triển mô hình, với 1.000 được giữ lại làm mẫu xác thực. Các video đã được cắt xuống 448 pixel trên cạnh ngắn và sau đó cắt trung tâm xuống 448x448px.

Để đào tạo, việc tạo câu chuyện đã được đánh giá chủ yếu trên tập xác thực YouCook2. Tập Howto100M đã được sử dụng để đánh giá chất lượng dữ liệu và cũng để tạo video từ hình ảnh.

Để mất mát điều kiện thị giác, các tác giả đã sử dụng mất mát khuếch tán từ DiT và một công việc năm 2024 dựa trên Stable Diffusion.

Để chứng minh rằng việc xen kẽ là một phương pháp ưu việt, các tác giả đã so sánh VideoAuteur với một số phương pháp chỉ dựa trên đầu vào văn bản: EMU-2, SEED-X, SDXL và FLUX.1-schnell (FLUX.1-s).

Được một lời nhắc toàn cầu, ‘Hướng dẫn từng bước để nấu mapo tofu’, giám đốc xen kẽ tạo ra các hành động, chú thích và bản nhúng hình ảnh theo trình tự để kể lại quá trình. Hai hàng đầu tiên cho thấy các khung hình chính được giải mã từ không gian latent của EMU-2 và SEED-X. Những hình ảnh này thực tế và nhất quán nhưng ít được đánh bóng hơn so với những hình ảnh từ các mô hình tiên tiến như SDXL và FLUX.

Các tác giả tuyên bố:

‘Phương pháp ngôn ngữ trung tâm sử dụng mô hình hình ảnh-văn bản tạo ra các khung hình chính trực quan nhưng thiếu sự nhất quán trên các khung hình do thông tin tương hỗ hạn chế. Ngược lại, phương pháp tạo xen kẽ tận dụng các bản nhúng thị giác được căn chỉnh ngôn ngữ, đạt được một phong cách thị giác thực tế thông qua đào tạo. ‘

‘Tuy nhiên, nó đôi khi tạo ra các hình ảnh có các yếu tố lặp lại hoặc nhiễu, vì mô hình tự hồi quy đấu tranh để tạo ra các bản nhúng chính xác trong một lần đi.’

Đánh giá của con người cũng xác nhận thêm về việc cải thiện hiệu suất của phương pháp xen kẽ, với các phương pháp xen kẽ đạt được điểm số cao nhất trong một cuộc khảo sát.

So sánh các phương pháp từ một nghiên cứu của con người được thực hiện cho bài viết.

Tuy nhiên, chúng tôi lưu ý rằng các phương pháp ngôn ngữ trung tâm đạt được điểm số thẩm mỹ tốt nhất. Các tác giả cho rằng, tuy nhiên, đây không phải là vấn đề trung tâm trong việc tạo video câu chuyện dài.

Click để phát. Các đoạn được tạo cho một video xây dựng pizza, bởi VideoAuteur.

Kết luận

Dòng nghiên cứu phổ biến nhất liên quan đến thách thức này, tức là tính nhất quán của câu chuyện trong việc tạo video dài, liên quan đến các hình ảnh đơn. Các dự án thuộc loại này bao gồm DreamStory, StoryDiffusion, TheaterGen và ConsiStory của NVIDIA.

Trong một nghĩa nào đó, VideoAuteur cũng thuộc vào thể loại ‘tĩnh’ này, vì nó sử dụng các hình ảnh hạt giống từ đó các đoạn video được tạo. Tuy nhiên, việc xen kẽ video và nội dung ngữ nghĩa mang quá trình này gần hơn với một đường ống thực tế.

Được xuất bản lần đầu vào thứ Năm, ngày 16 tháng 1 năm 2025