Tư duy lại việc đào tạo Trí tuệ nhân tạo Video với Dữ liệu tập trung vào Người dùng

Loại nội dung mà người dùng có thể muốn tạo bằng cách sử dụng một mô hình sinh nhất như Flux hoặc Hunyuan Video có thể không phải lúc nào cũng dễ dàng có sẵn, ngay cả khi yêu cầu nội dung khá chung chung, và người ta có thể đoán rằng bộ sinh có thể xử lý nó.

Một ví dụ, được minh họa trong một bài báo mới mà chúng ta sẽ xem xét trong bài viết này, lưu ý rằng mô hình Sora của OpenAI đang ngày càng bị lu mờ, có một số khó khăn trong việc hiển thị một con đom đóm giải phẫu chính xác, sử dụng lời nhắc ‘Một con đom đóm đang phát sáng trên một lá cỏ vào một đêm hè yên tĩnh’:

Mô hình Sora của OpenAI có một sự hiểu biết hơi kỳ lạ về giải phẫu đom đóm. Nguồn: https://arxiv.org/pdf/2503.01739

Tôi đã thử nghiệm lời nhắc tương tự trên Sora ngày hôm nay và nhận được kết quả tốt hơn một chút. Tuy nhiên, Sora vẫn không thể hiển thị ánh sáng đúng cách – thay vì chiếu sáng vào đầu của đuôi đom đóm, nơi xảy ra sự phát sáng sinh học, nó đặt ánh sáng gần chân của côn trùng:

Thử nghiệm của tôi với lời nhắc của các nhà nghiên cứu trong Sora tạo ra kết quả cho thấy Sora không hiểu nơi ánh sáng của đom đóm thực sự đến từ đâu.

Ironically, động cơ sinh diffused của Adobe Firefly, được đào tạo trên các hình ảnh và video bản quyền của công ty, chỉ đạt được tỷ lệ thành công 1/3 trong trường hợp này, khi tôi thử nghiệm lời nhắc tương tự trong tính năng AI sinh của Photoshop:

Chỉ có lần tạo cuối cùng trong ba lần tạo đề xuất của lời nhắc của các nhà nghiên cứu tạo ra ánh sáng trong Adobe Firefly (tháng 3 năm 2025), mặc dù ít nhất ánh sáng được đặt ở phần chính xác của giải phẫu côn trùng.

Ví dụ này được các nhà nghiên cứu của bài báo mới này nêu ra để minh họa rằng sự phân phối, nhấn mạnh và phạm vi trong các tập dữ liệu đào tạo được sử dụng để thông báo cho các mô hình nền tảng phổ biến có thể không phù hợp với nhu cầu của người dùng, ngay cả khi người dùng không yêu cầu gì đặc biệt – một chủ đề mà đưa ra những thách thức liên quan đến việc thích nghi các tập dữ liệu đào tạo hyperscale để đạt được hiệu suất tốt nhất.

Các tác giả tuyên bố:

‘[Sora] không thể nắm bắt được khái niệm về một con đom đóm phát sáng trong khi vẫn tạo ra được cỏ và một đêm [hè]. Từ góc độ dữ liệu, chúng tôi suy luận rằng điều này chủ yếu là vì [Sora] chưa được đào tạo trên các chủ đề liên quan đến đom đóm, trong khi nó đã được đào tạo trên cỏ và đêm. Hơn nữa, nếu [Sora] đã xem video được hiển thị trong [hình ảnh trên], nó sẽ hiểu đom đóm phát sáng nên trông như thế nào.’

Họ giới thiệu một tập dữ liệu mới được biên soạn và đề xuất rằng phương pháp của họ có thể được tinh chỉnh trong công việc tương lai để tạo ra các tập dữ liệu phù hợp hơn với kỳ vọng của người dùng so với nhiều mô hình hiện có.

Dữ liệu cho Người dùng

Về cơ bản, đề xuất của họ đặt ra một cách tiếp cận biên soạn dữ liệu nằm giữa dữ liệu tùy chỉnh cho một loại mô hình như LoRA (và cách tiếp cận này quá cụ thể cho sử dụng chung); và các bộ sưu tập lớn và tương đối không phân biệt (như tập dữ liệu LAION cung cấp cho Stable Diffusion) không được cụ thể phù hợp với bất kỳ kịch bản sử dụng cuối cùng nào.

Phương pháp mới, cả về phương pháp và tập dữ liệu mới, được đặt tên (khá phức tạp) là Users’ FOcus in text-to-video, hoặc VideoUFO. Tập dữ liệu VideoUFO bao gồm 1,9 triệu đoạn video bao gồm 1291 chủ đề tập trung vào người dùng. Các chủ đề này đã được phát triển một cách tinh tế từ một tập dữ liệu video hiện có và được phân tích thông qua các mô hình ngôn ngữ đa dạng và các kỹ thuật Xử lý Ngôn ngữ Tự nhiên (NLP):

Các mẫu của các chủ đề được chưng cất trong bài báo mới.

Tập dữ liệu VideoUFO có một lượng lớn video mới được thu thập từ YouTube – ‘mới’ ở nghĩa là các video trong câu hỏi không có trong các tập dữ liệu video hiện tại trong văn học, và do đó trong nhiều tập con đã được biên soạn từ chúng (và nhiều video thực sự được tải lên sau khi tạo ra các tập dữ liệu cũ hơn mà bài báo đề cập).

Trên thực tế, các tác giả tuyên bố rằng chỉ có 0,29% trùng lặp với các tập dữ liệu video hiện có – một minh chứng ấn tượng về tính mới.

Một lý do cho điều này có thể là các tác giả chỉ chấp nhận các video YouTube có giấy phép Creative Commons sẽ ít có khả năng gây khó khăn cho người dùng hơn trong tương lai: có thể loại video này đã được ưu tiên ít hơn trong các lần thu thập trước của YouTube và các nền tảng lớn khác.

Thứ hai, các video được yêu cầu dựa trên nhu cầu người dùng được ước tính trước (xem hình ảnh trên), và không được thu thập một cách tùy tiện. Hai yếu tố này kết hợp có thể dẫn đến một bộ sưu tập mới như vậy.

Mặc dù không mọi thứ trong bài báo mới đều hoàn toàn thuyết phục, nhưng đây là một bài đọc thú vị nhấn mạnh mức độ mà chúng ta vẫn còn phụ thuộc vào sự phân phối không đều trong các tập dữ liệu, về các chướng ngại vật mà cảnh nghiên cứu thường phải đối mặt trong việc biên soạn dữ liệu.

Công việc mới được đặt tên là VideoUFO: Một Tập dữ liệu triệu cấp Tập trung vào Người dùng cho Sinh Video từ Văn bản, và đến từ hai nhà nghiên cứu, từ Đại học Công nghệ Sydney ở Úc và Đại học Zhejiang ở Trung Quốc.

Các mẫu được chọn từ tập dữ liệu cuối cùng.

Một ‘Người mua sắm Cá nhân’ cho Dữ liệu Trí tuệ nhân tạo

Nội dung và khái niệm được trình bày trong tổng số hình ảnh và video trên internet không nhất thiết phản ánh những gì người dùng cuối cùng có thể yêu cầu từ một hệ thống sinh; ngay cả khi nội dung và nhu cầu đúng có xu hướng trùng hợp (như khiêu dâm, có sẵn có dồi dào trên internet và là mối quan tâm lớn của nhiều người dùng AI), điều này có thể không phù hợp với ý định và tiêu chuẩn của nhà phát triển cho một hệ thống sinh mới.

Bên cạnh số lượng lớn nội dung không phù hợp được tải lên hàng ngày, một lượng lớn vật liệu có sẵn trên internet có khả năng đến từ các nhà quảng cáo và những người cố gắng thao túng SEO. Lợi ích thương mại của loại này làm cho sự phân phối của chủ đề xa rời sự vô tư; tệ hơn, việc phát triển các hệ thống lọc dựa trên AI có thể đối phó với vấn đề này là khó khăn, vì các thuật toán và mô hình được phát triển từ dữ liệu có ý nghĩa có thể phản ánh xu hướng và ưu tiên của dữ liệu nguồn.

Do đó, các tác giả của công việc mới này đã tiếp cận vấn đề bằng cách đảo ngược đề xuất, bằng cách xác định những gì người dùng có thể muốn, và thu được các video phù hợp với nhu cầu đó.

Trên bề mặt, cách tiếp cận này dường như có khả năng kích hoạt một cuộc đua đến đáy về mặt ngữ nghĩa cũng như đạt được sự cân bằng và trung lập theo kiểu Wikipedia. Việc hiệu chỉnh việc biên soạn dữ liệu xung quanh nhu cầu người dùng có nguy cơ khuếch đại sở thích của người dùng phổ thông trong khi đẩy những người dùng ngách sang bên lề, vì lợi ích của đa số sẽ luôn mang trọng lượng lớn hơn.

Tuy nhiên, hãy cùng xem cách bài báo giải quyết thách thức này.

Chưng cất Khái niệm với Sự cân nhắc

Các nhà nghiên cứu đã sử dụng tập dữ liệu VidProM năm 2024 làm nguồn cho phân tích chủ đề sẽ thông báo cho quá trình thu thập web sau này.

Tập dữ liệu này được chọn, theo các tác giả, vì nó là tập dữ liệu công khai duy nhất có hơn 1 triệu mẫu ‘được viết bởi người dùng thực’ – và nó nên được tuyên bố rằng tập dữ liệu này đã được biên soạn bởi hai tác giả của bài báo mới.

Bài báo giải thích*:

‘Trước hết, chúng tôi nhúng tất cả 1,67 triệu lời nhắc từ VidProM vào các vectơ 384 chiều bằng cách sử dụng SentenceTransformers Tiếp theo, chúng tôi nhóm các vectơ này bằng K-means. Lưu ý rằng ở đây chúng tôi đặt số lượng nhóm trước là một giá trị tương đối lớn, tức là 2.000, và hợp nhất các nhóm tương tự trong bước tiếp theo.

‘Cuối cùng, đối với mỗi nhóm, chúng tôi yêu cầu GPT-4o để kết luận một chủ đề [một hoặc hai từ].’

Các tác giả chỉ ra rằng một số khái niệm là riêng biệt nhưng đáng chú ý là liền kề, chẳng hạn như nhà thờ và nhà thờ lớn. Tiêu chí quá chi tiết cho các trường hợp như vậy sẽ dẫn đến các bản nhúng khái niệm (ví dụ) cho từng loại giống chó, thay vì thuật ngữ chó; trong khi tiêu chí quá rộng có thể đưa một số lượng lớn các khái niệm con vào một khái niệm quá đông đúc; do đó, bài báo lưu ý đến hành động cân bằng cần thiết để đánh giá các trường hợp như vậy.

Các dạng số ít và số nhiều được hợp nhất, và các động từ được khôi phục về dạng cơ bản (vô định). Các thuật ngữ quá rộng – chẳng hạn như hoạt hình, cảnh, phim và phong trào – đã được loại bỏ.

Do đó, 1.291 chủ đề đã được thu được (với danh sách đầy đủ có sẵn trong phần phụ lục của bài báo nguồn).

Thu thập Web có Lọc

Tiếp theo, các nhà nghiên cứu đã sử dụng API chính thức của YouTube để tìm kiếm các video dựa trên các tiêu chí được chưng cất từ tập dữ liệu năm 2024, nhằm thu được 500 video cho mỗi chủ đề. Ngoài giấy phép Creative Commons yêu cầu, mỗi video phải có độ phân giải 720p hoặc cao hơn và phải ngắn hơn bốn phút.

Theo cách này, 586.490 video đã được thu thập từ YouTube.

Các tác giả so sánh ID YouTube của các video đã tải xuống với một số tập dữ liệu phổ biến: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; và WebVid-10M.

Họ phát hiện ra rằng chỉ có 1.675 ID (0,29% đã đề cập) của các đoạn video VideoUFO có trong các bộ sưu tập cũ này, và phải thừa nhận rằng trong khi danh sách so sánh tập dữ liệu không phải là toàn diện, nó bao gồm tất cả các cầu thủ lớn và có ảnh hưởng nhất trong cảnh sinh video.

Phân chia và Đánh giá

Các video đã thu được sau đó được phân chia thành nhiều đoạn, theo phương pháp được nêu trong bài báo Panda-70M được trích dẫn ở trên. Các ranh giới shot được ước tính, các đoạn được khâu và các video được kết hợp được chia thành các đoạn riêng lẻ, với các chú thích ngắn và chi tiết được cung cấp.

Mỗi mục nhập dữ liệu trong tập dữ liệu VideoUFO có một đoạn, một ID, thời gian bắt đầu và kết thúc, và một chú thích ngắn và chi tiết.

Các chú thích ngắn được xử lý bằng phương pháp Panda-70M, và các chú thích video chi tiết được xử lý bằng Qwen2-VL-7B, theo các hướng dẫn được thiết lập bởi Open-Sora-Plan. Trong các trường hợp mà các đoạn không thể hiện được khái niệm mục tiêu dự định, các chú thích chi tiết cho từng đoạn như vậy đã được đưa vào GPT-4o mini, để xác định xem nó có thực sự phù hợp với chủ đề hay không. Mặc dù các tác giả đã muốn đánh giá thông qua GPT-4o, nhưng điều này sẽ quá tốn kém cho hàng triệu đoạn video.

Đánh giá chất lượng video được xử lý bằng sáu phương pháp từ VBench.

So sánh

Các tác giả đã lặp lại quá trình trích xuất chủ đề trên các tập dữ liệu trước đó. Để làm điều này, cần phải khớp ngữ nghĩa các danh mục được suy dẫn của VideoUFO với các danh mục không thể tránh khỏi khác nhau trong các bộ sưu tập khác; phải thừa nhận rằng các quá trình như vậy cung cấp các danh mục tương đương gần đúng, và do đó có thể quá chủ quan để đảm bảo các so sánh thực nghiệm.

Mặc dù vậy, trong hình ảnh dưới đây, chúng ta thấy kết quả mà các nhà nghiên cứu đã thu được bằng phương pháp này:

So sánh các thuộc tính cơ bản được suy dẫn trên VideoUFO và các tập dữ liệu trước đó.

Các nhà nghiên cứu thừa nhận rằng phân tích của họ dựa trên các chú thích và mô tả hiện có trong mỗi tập dữ liệu. Họ thừa nhận rằng việc tái chú thích các tập dữ liệu cũ bằng cùng phương pháp với VideoUFO có thể đã cung cấp một so sánh trực tiếp hơn. Tuy nhiên, xét đến khối lượng lớn các điểm dữ liệu, kết luận của họ rằng cách tiếp cận này sẽ quá tốn kém dường như là hợp lý.

Sinh

Các tác giả đã phát triển một điểm chuẩn để đánh giá hiệu suất của các mô hình sinh video từ văn bản trên các khái niệm tập trung vào người dùng, được gọi là BenchUFO. Điều này bao gồm việc chọn 791 danh từ từ 1.291 chủ đề được chưng cất trong VideoUFO. Đối với mỗi chủ đề được chọn, mười lời nhắc từ VidProM đã được chọn ngẫu nhiên.

Mỗi lời nhắc đã được truyền đến một mô hình sinh video từ văn bản, với chú thích sinh được sử dụng để đánh giá kết quả sinh. Với tất cả các video sinh được chú thích, SentenceTransformers đã được sử dụng để tính toán độ tương tự cosine cho cả lời nhắc đầu vào và mô tả đầu ra (được suy dẫn) trong mỗi trường hợp.

Sơ đồ cho quá trình BenchUFO.

Các mô hình sinh được đánh giá bao gồm: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; và Pyramidal.

Bên cạnh VideoUFO, MVDiT-VidGen và MVDit-OpenVid là các tập dữ liệu đào tạo thay thế.

Kết quả xem xét 10 chủ đề tệ nhất và tốt nhất trong số 791 chủ đề được chọn.

Kết quả về hiệu suất của các mô hình T2V công khai so với các mô hình được đào tạo của các tác giả trên BenchUFO.

Tại đây, các tác giả bình luận:

‘Các mô hình sinh video từ văn bản hiện tại không nhất quán thực hiện tốt trên tất cả các chủ đề tập trung vào người dùng. Cụ thể, có sự khác biệt điểm số từ 0,233 đến 0,314 giữa 10 chủ đề hàng đầu và 10 chủ đề thấp nhất. Những mô hình này có thể không hiểu rõ các chủ đề như “cá khổng lồ”, “tế bào động vật”, “Van Gogh” và “Ai Cập cổ đại” do không đủ đào tạo trên các video như vậy.’

‘Các mô hình sinh video từ văn bản hiện tại cho thấy một mức độ nhất quán nhất định trong các chủ đề thực hiện tốt nhất. Chúng tôi phát hiện ra rằng hầu hết các mô hình sinh video từ văn bản đều giỏi trong việc tạo video về các chủ đề liên quan đến động vật, chẳng hạn như “mòng biển”, “gấu trúc”, “cá heo”, “lừa” và “cú”. Chúng tôi suy luận rằng điều này một phần là do sự thiên vị về động vật trong các tập dữ liệu video hiện tại.’

Kết luận

VideoUFO là một đề xuất xuất sắc nếu chỉ từ góc độ dữ liệu mới. Nếu không có lỗi trong việc đánh giá và loại bỏ ID YouTube, và nếu tập dữ liệu chứa nhiều vật liệu mới đến mức độ mà cảnh nghiên cứu chưa từng thấy, thì đây là một đề xuất hiếm và có tiềm năng quý giá.

Điểm yếu là bạn cần phải tin vào phương pháp luận cốt lõi; nếu bạn không tin rằng nhu cầu người dùng nên thông báo cho các công thức thu thập web, bạn sẽ mua vào một tập dữ liệu đi kèm với những thiên vị riêng của nó.

Hơn nữa, tính hữu ích của các chủ đề được chưng cất phụ thuộc vào cả tính tin cậy của phương pháp chưng cất được sử dụng (điều này thường bị hạn chế bởi các ràng buộc về ngân sách), và cũng là các phương pháp tạo thành cho tập dữ liệu năm 2024 cung cấp vật liệu nguồn.

Được nói như vậy, VideoUFO chắc chắn xứng đáng được điều tra thêm – và nó có sẵn tại Hugging Face.

* Thay thế trích dẫn của các tác giả bằng liên kết.

Được xuất bản lần đầu vào thứ Tư, ngày 5 tháng 3 năm 2025