Thử thách của việc chú thích video ở hơn 1fps

Khả năng của các hệ thống học máy để nhận ra các sự kiện xảy ra trong một video là rất quan trọng đối với tương lai của việc tạo video dựa trên AI – không chỉ vì các tập dữ liệu video yêu cầu các chú thích chính xác để tạo ra các mô hình tuân thủ yêu cầu của người dùng, mà còn không làm cho mô hình hoang tưởng quá mức.

Một ví dụ về lược đồ chú thích từ dự án VidReCap của Google. Nguồn: https://sites.google.com/view/vidrecap

Việc chú thích thủ công cho số lượng video cần thiết cho các tập dữ liệu đào tạo hiệu quả là một việc không thể tưởng tượng được. Mặc dù có thể đào tạo các hệ thống AI để tự động chú thích video, nhưng vẫn cần rất nhiều ví dụ do con người tạo ra để làm cơ sở thực tế, cho sự đa dạng và phạm vi.

Quan trọng hơn, hầu hết các mô hình chú thích video dựa trên AI hiện tại hoạt động ở 1fps, điều này không đủ để phân biệt các biến thể trong nhiều kịch bản: thay đổi biểu cảm vi mô đột ngột cho các hệ thống nhận dạng cảm xúc; sự kiện nhanh trong các môn thể thao tốc độ cao như bóng rổ; chuyển động mạnh; cắt nhanh trong các bộ phim điện ảnh, nơi các hệ thống như PySceneDetect có thể không thể xác định chúng (hoặc không được sử dụng); và nhiều kịch bản khác nơi cửa sổ chú ý rõ ràng cần phải được chú ý nhiều hơn.

Nhấn để phát.Hành động nhanh nhưng thay đổi cuộc sống trong một trong những môn thể thao chậm nhất trên thế giới, khi Alex Higgins giành chức vô địch thế giới trước Ray Reardon vào năm 1982. Nguồn: https://www.youtube.com/watch?v=_1PuqKno_Ok

Di chuyển nhanh và phá vỡ logic

Tốc độ thấp này là tiêu chuẩn cho các lý do hậu cần khác nhau. Một trong số đó là việc chú thích video là một hoạt động tốn nhiều tài nguyên, cho dù hệ thống đang nghiên cứu một khung hình tuần tự tại một thời điểm hoặc sử dụng các phương pháp khác để gắn kết một chuỗi khung hình thành một chuỗi chú thích có thể giải thích được. Trong cả hai trường hợp, cửa sổ ngữ cảnh đều bị giới hạn bởi các hạn chế về phần cứng.

Một lý do khác cho việc 1fps trở thành tiêu chuẩn hiện tại là video không thường chứa các sự kiện nhanh; do đó, việc chú ý đến 300 khung hình của bàn bi-a tĩnh với cùng mức độ quan tâm như giây phút quyết định khi một quả bóng đen được ghi bàn để giành chức vô địch (xem ví dụ trên) là không cần thiết.

Có thể sử dụng các gợi ý thứ cấp rộng hơn để xác định các khoảnh khắc quan trọng trong một video thể thao, chẳng hạn như phản ứng của đám đông đối với một cú ném bóng rổ nhanh trong một trận bóng rổ. Tuy nhiên, những gợi ý như vậy có thể xảy ra vì các lý do khác (chẳng hạn như chấn thương của cầu thủ), và không thể dựa vào chúng. Đây là một ví dụ về cách một tập dữ liệu video bị dán nhãn sai có thể dẫn đến một mô hình video tạo ra mà hoang tưởng hoặc hiểu lầm các hướng dẫn, tức là vì mô hình có thể hiển thị một chấn thương của cầu thủ khi nó được yêu cầu tạo ra một cú ném bóng rổ (vì ‘gợi ý thứ cấp’ của sự phấn khích của đám đông không độc quyền cho một loại sự kiện cụ thể).

Đây là một vấn đề ‘ngân sách’ theo nhiều cách, và theo nhiều cách khác, nó là một vấn đề thủ tục. Các khuôn khổ cho đến nay đã hoạt động dựa trên nguyên tắc rằng các khung hình thưa thớt có thể hiệu quả nắm bắt thông tin thiết yếu, nhưng điều này hiệu quả hơn trong việc thiết lập thể loại và các khía cạnh khác của chủ đề video, vì bằng chứng trong trường hợp đó tồn tại trên nhiều khung hình.

F-16

Một bài báo mới từ Trung Quốc đang cung cấp một giải pháp, dưới dạng mô hình ngôn ngữ lớn đa phương thức (MLLM, hoặc đơn giản là LLM) đầu tiên có thể phân tích video ở 16fps thay vì 1fps tiêu chuẩn, đồng thời tránh được những hạn chế lớn của việc tăng tốc độ phân tích.

Trong các thử nghiệm, các tác giả tuyên bố rằng hệ thống mới, có tên F-16, vượt trội so với các mô hình độc quyền hiện tại như GPT-4o và Google’s Gemini-1.5 pro. Mặc dù các mô hình khác hiện tại có thể匹配 hoặc vượt qua kết quả của F-16 trong các thử nghiệm, nhưng các mô hình cạnh tranh này lớn hơn và cồng kềnh hơn.

Mặc dù F-16 được đào tạo trên một số phần cứng nghiêm túc (như chúng ta sẽ xem xét ngắn gọn), nhưng việc suy luận thường ít đòi hỏi hơn so với đào tạo. Do đó, chúng ta có thể hy vọng rằng mã (được hứa hẹn sẽ phát hành trong tương lai gần) sẽ có thể chạy trên các GPU cấp trung hoặc cao cấp.

Điều cần thiết cho sự sống còn của cảnh quan người chơi (và điều đó bao gồm cả cảnh quan VFX chuyên nghiệp, hầu hết thời gian) là một mô hình chú thích video như vậy có thể hoạt động, có thể quantized, trên các hệ thống tiêu dùng, để toàn bộ cảnh quan video tạo ra không di chuyển đến các hệ thống thương mại dựa trên API, hoặc buộc người tiêu dùng phải kết nối các khuôn khổ cục bộ với các dịch vụ GPU trực tuyến thương mại.

Beyond Scaling Up

Các tác giả quan sát thấy rằng loại phương pháp này là một giải pháp thay thế thực tế để mở rộng tập dữ liệu. Người ta cũng có thể suy luận rằng nếu bạn muốn ném nhiều dữ liệu hơn vào vấn đề, đây vẫn là loại phương pháp có thể được ưu tiên, vì hệ thống mới phân biệt các sự kiện theo cách tinh tế hơn.

Họ tuyên bố:

‘Lấy mẫu tốc độ khung hình thấp có thể dẫn đến mất thông tin hình ảnh quan trọng, đặc biệt là trong các video có cảnh thay đổi nhanh, chi tiết phức tạp hoặc chuyển động nhanh. Ngoài ra, nếu các khung hình chính bị bỏ lỡ, nhưng mô hình được đào tạo trên các nhãn phụ thuộc vào thông tin khung hình chính, nó có thể gặp khó khăn trong việc căn chỉnh dự đoán của mình với nội dung dự kiến, có thể dẫn đến hoang tưởng và hiệu suất giảm…’

‘… F-16 đạt được hiệu suất SOTA trong hiểu video chung trong số các mô hình có kích thước tương tự và thể hiện lợi thế rõ ràng trong việc hiểu video tốc độ cao, vượt trội so với các mô hình thương mại như GPT-4o. Công việc này mở ra các hướng mới cho việc cải tiến hiểu video tốc độ cao trong nghiên cứu MLLM đa phương thức.’

Bài báo mới này có tiêu đề Cải thiện hiểu video LLM với 16 khung hình mỗi giây, và đến từ tám tác giả trên các trường đại học Tsinghua và ByteDance.

Phương pháp

Vì các khung hình liên tiếp thường chứa thông tin trùng lặp, F-16 áp dụng một bộ chỉnh hợp tốc độ cao để nén và mã hóa các chi tiết chuyển động chính while giữ lại các ngữ nghĩa hình ảnh. Mỗi khung hình đầu tiên được xử lý bởi một bộ mã hóa hình ảnh được đào tạo trước, trích xuất các biểu diễn tính năng trước khi được chuyển đến một bộ chỉnh hợp dựa trên Gaussian Error Linear Units (GELUs).

Kiến trúc của F-16 xử lý video ở 16 FPS, bắt được nhiều khung hình hơn so với các mô hình tốc độ thấp truyền thống, và bộ chỉnh hợp tốc độ cao của nó giữ lại các ngữ nghĩa hình ảnh trong khi mã hóa hiệu quả các động lực học chuyển động mà không thêm các token hình ảnh bổ sung. Nguồn: https://arxiv.org/pdf/2503.13956

Để xử lý số lượng khung hình tăng lên một cách hiệu quả, F-16 nhóm các khung hình thành các cửa sổ xử lý nhỏ, hợp nhất các tính năng hình ảnh bằng cách sử dụng một Perceptron đa lớp ba lớp, giúp giữ lại chỉ các chi tiết chuyển động quan trọng nhất, và giảm sự trùng lặp không cần thiết, trong khi vẫn giữ nguyên dòng thời gian của các hành động. Một lớp max-pooling không gian进一步 nén số lượng token, giữ chi phí tính toán trong giới hạn.

Các token video đã được xử lý sau đó được đưa vào Qwen2-7B LLM, tạo ra các phản hồi văn bản dựa trên các tính năng hình ảnh đã trích xuất và một lời nhắc người dùng đã cho.

Bằng cách cấu trúc đầu vào video theo cách này, F-16 cho phép, theo các tác giả, nhận dạng sự kiện chính xác hơn trong các cảnh động, đồng thời vẫn duy trì hiệu quả.

Phiên bản rút gọn

F-16 mở rộng một LLM hình ảnh được đào tạo trước, LLaVA-OneVision, để xử lý video bằng cách chuyển đổi đường ống dẫn hình ảnh của nó. Trong khi các LLM hình ảnh tiêu chuẩn xử lý các khung hình riêng lẻ, bộ chỉnh hợp tốc độ cao của F-16 định dạng lại nhiều khung hình thành một dạng mà mô hình có thể xử lý hiệu quả hơn; điều này tránh làm cho hệ thống quá tải với thông tin trùng lặp trong khi vẫn giữ lại các gợi ý chuyển động quan trọng cho việc hiểu video chính xác.

Để đảm bảo tính tương thích với nền tảng dựa trên hình ảnh của nó, F-16 tái sử dụng các tham số được đào tạo trước bằng cách tái cấu trúc bộ chỉnh hợp của nó thành sub-ma trận. Cách tiếp cận này cho phép nó tích hợp kiến thức từ các mô hình khung hình đơn lẻ trong khi thích nghi với đầu vào video tuần tự.

Bộ chỉnh hợp đầu tiên nén các chuỗi khung hình thành một định dạng được tối ưu hóa cho LLM, giữ lại các tính năng thông tin nhất trong khi loại bỏ các chi tiết không cần thiết. Thiết kế kiến trúc cho phép hệ thống xử lý video tốc độ cao trong khi giữ chi phí tính toán dưới sự kiểm soát, điều mà các tác giả cho là bằng chứng rằng việc mở rộng quy mô không phải là cách duy nhất (hoặc tốt nhất) để tiến bộ trong việc chú thích video.

Thay đổi tốc độ

Vì việc xử lý video ở 16 FPS cải thiện việc hiểu chuyển động nhưng tăng chi phí tính toán, đặc biệt là trong quá trình suy luận, F-16 giới thiệu một phương pháp giải mã tốc độ khung hình biến đổi, cho phép nó điều chỉnh tốc độ khung hình động mà không cần đào tạo lại.

Các bộ chỉnh hợp khung hình đơn và tốc độ cao có sẵn cho F-16.

Khả năng này cho phép mô hình hoạt động hiệu quả ở tốc độ khung hình thấp hơn khi độ chính xác cao không cần thiết, và giảm chi phí tính toán.

Vào thời điểm thử nghiệm, khi một tốc độ khung hình thấp hơn được chọn, F-16 tái sử dụng các tham số bộ chỉnh hợp đã được đào tạo trước bằng cách lặp lại các khung hình đầu vào để phù hợp với các chiều ожидаемые. Điều này đảm bảo rằng mô hình vẫn có thể xử lý video hiệu quả mà không cần thay đổi kiến trúc của nó.

Không giống như việc lấy mẫu giảm naively (tức là, chỉ đơn giản là loại bỏ các khung hình), điều có thể làm mất các chi tiết chuyển động quan trọng, phương pháp này giữ lại các biểu diễn chuyển động đã học được của bộ chỉnh hợp, duy trì độ chính xác ngay cả ở tốc độ khung hình giảm. Đối với việc hiểu video chung, việc đặt tốc độ khung hình thấp hơn có thể tăng tốc quá trình suy luận mà không mất nhiều hiệu suất, trong khi phân tích chuyển động tốc độ cao vẫn có thể tận dụng khả năng 16 FPS đầy đủ.

Dữ liệu và Thử nghiệm

Được xây dựng trên Qwen2-7B, FP-16 mở rộng LLaVA-OneVision bằng cách sử dụng SigLIP làm bộ mã hóa hình ảnh. Với các khung hình video được lấy mẫu ở 16 FPS, tối đa 1.760 khung hình có thể được lấy từ mỗi video. Đối với các đoạn video dài hơn, các khung hình được lấy mẫu đều (tức là thưa hơn).

Để đào tạo, F-16 sử dụng cùng các tập dữ liệu video chung như LLaVA-Video, bao gồm LLaVA-Video-178K, NExT-QA, ActivityNet-QA, và PerceptionTest.

F-16 cũng được tinh chỉnh trên các tập dữ liệu thể thao tốc độ cao FineGym, Diving48, và SoccerNet. Các tác giả cũng thu thập một bộ sưu tập gồm 276 trận đấu NBA được chơi giữa ngày 13 và 25 tháng 11 năm 2024, tập trung vào việc liệu một cú sút có thành công hay không (một nhiệm vụ đòi hỏi xử lý tốc độ cao).

Mô hình được đánh giá bằng bộ thử nghiệm NSVA, với hiệu suất được đo bằng điểm F1.

Các mô hình thể dục dụng cụ và lặn được đánh giá dựa trên độ chính xác của việc nhận dạng sự kiện, trong khi các mô hình bóng đá và bóng rổ theo dõi các đường chuyền và kết quả sút.

Mô hình được đào tạo trong 1 epoch bằng cách sử dụng 128 GPU NVIDIA H100 (và ở mức 80GB VRAM mỗi GPU, điều này đòi hỏi sử dụng 10,24 terabyte bộ nhớ GPU; ngay cả theo tiêu chuẩn gần đây, đây là cụm GPU có thông số kỹ thuật cao nhất mà tôi đã gặp phải khi theo dõi các tài liệu nghiên cứu về thị giác máy tính). Một tốc độ học của 2×10⁻⁵ đã được sử dụng trong quá trình đào tạo.

Ngoài ra, một LoRA đã được tinh chỉnh trên dữ liệu thể thao sử dụng các bộ điều chỉnh LoRA với 64 GPU trong 5 kỷ. Tại đây, chỉ mô hình ngôn ngữ lớn được đào tạo, trong khi bộ mã hóa hình ảnh được đông lạnh.

Các khuôn khổ đối thủ được thử nghiệm trong vòng đầu tiên cho ‘hiểu video chung’ là GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; LLaVA-Video-7B; và NVILA-7B;

Các mô hình được đánh giá trên Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; và LongVideoBench.

So sánh kết quả QA video trên các mô hình, hiển thị giới hạn FPS và hiệu suất trên nhiều điểm chuẩn. F-16 đạt được SOTA trong số các mô hình 7B trên Video-MME, NQA, TPB và MB, cạnh tranh với các mô hình độc quyền như GPT-4o và Gemini-1.5-Pro.

Trong số những kết quả này, các tác giả tuyên bố:

‘Trên các tập dữ liệu Video-MME Short, Medium và NeXT-QA – mỗi tập được thiết kế cho việc hiểu video ngắn – mô hình của chúng tôi vượt trội so với mô hình SOTA 7B trước đó với độ chính xác cao hơn 3,2%, 1,0% và 0,9%, nhấn mạnh hiệu suất mạnh mẽ của nó trên video ngắn. ‘

‘Đối với các điểm chuẩn đánh giá việc hiểu video dài, chẳng hạn như Video-MME Long, LongVideoBench và MLVU, thách thức lớn hơn do lấy mẫu khung hình thưa hơn, khiến các khung hình trong cửa sổ xử lý hiển thị sự thay đổi lớn hơn. ‘

‘Điều này làm tăng khó khăn cho bộ chỉnh hợp mô thức để mã hóa hiệu quả các thay đổi thời gian trong biểu diễn token bị giới hạn. Do đó, F-16 gặp phải sự sụt giảm hiệu suất so với [LLaVA-Video-7B], được đào tạo trên cùng một tập dữ liệu video.’

Xử lý tốc độ cao của F-16, theo các tác giả, cũng dẫn đến sự cải thiện 13,5% trên TemporalBench và lợi ích 2,5% trên MotionBench, so với các mô hình 7B hiện có, và hoạt động ở mức tương tự như các mô hình thương mại như GPT-4o và Gemini-1.5-Pro.

Hiểu video thể thao tốc độ cao

F-16 đã được thử nghiệm trên FineGym, Diving48, SoccerNet và các tập dữ liệu NBA để đánh giá khả năng hiểu các hành động thể thao tốc độ cao của nó.

Sử dụng 10.000 đoạn video NBA được chú thích thủ công, quá trình đào tạo tập trung vào việc di chuyển bóng và hành động của cầu thủ, và liệu các mô hình có thể xác định chính xác liệu một cú sút có thành công hay không, sử dụng bộ thử nghiệm NSVA được đánh giá bằng điểm F1.

Kết quả phân tích video thể thao tốc độ cao. F-16 với bộ chỉnh hợp tốc độ cao hoạt động tốt hơn so với đối tác tốc độ thấp trên tất cả các nhiệm vụ thể thao. GPT-4o và Gemini-1.5-Pro cũng được đánh giá trên NBA và SoccerNet QA, nơi kiến thức đào tạo trong lĩnh vực không được yêu cầu.

Trên FineGym, đo lường việc nhận dạng hành động thể dục dụng cụ, F-16 hoạt động tốt hơn 13,8% so với mô hình SOTA 7B trước đó, thể hiện sự cải thiện trong việc hiểu chuyển động tinh tế.

Diving48 yêu cầu xác định các chuỗi chuyển động phức tạp như giai đoạn cất cánh, quay, lộn và chuyến bay, và F-16 cho thấy độ chính xác cao hơn trong việc nhận dạng các chuyển tiếp này.

Đối với SoccerNet, mô hình phân tích các đoạn video 10 giây, xác định các đường chuyền bóng, và kết quả cho thấy sự cải thiện so với các mô hình 7B hiện có, chỉ ra rằng tốc độ khung hình cao hơn đóng góp vào việc theo dõi các chuyển động nhỏ và nhanh.

Trong tập dữ liệu NBA, khả năng của F-16 trong việc xác định kết quả sút bóng đạt gần độ chính xác của các mô hình độc quyền lớn hơn như GPT-4o và Gemini-1.5-Pro, gợi ý thêm rằng tốc độ khung hình cao hơn tăng cường khả năng của nó trong việc xử lý chuyển động động.

Tốc độ khung hình biến đổi

F-16 đã được thử nghiệm ở các tốc độ khung hình khác nhau để đo khả năng thích ứng của nó. Thay vì đào tạo lại, nó xử lý tốc độ khung hình thấp hơn bằng cách lặp lại các khung hình để phù hợp với cấu trúc đầu vào của bộ chỉnh hợp. Phương pháp này giữ lại hiệu suất hơn là việc đơn giản là loại bỏ các khung hình (mà có thể dẫn đến mất độ chính xác).

Kết quả cho thấy rằng trong khi giảm tốc độ khung hình có một số tác động đến việc nhận dạng chuyển động, F-16 vẫn vượt trội so với các mô hình tốc độ thấp và duy trì kết quả mạnh mẽ ngay cả dưới 16 FPS.

Trái, thời gian tiêu thụ của các mô块 khác nhau của F-16 trong quá trình suy luận, được đo trên 300 video từ tập dữ liệu Video-MME Long với các tốc độ khung hình thử nghiệm khác nhau và độ dài chuỗi. Phải, so sánh hiệu suất Video-MME cho các mô hình được đào tạo và thử nghiệm ở các tốc độ khung hình khác nhau. Đường liền nét đại diện cho các mô hình được đào tạo và thử nghiệm ở cùng một tốc độ khung hình, trong khi đường đứt nét cho thấy hiệu suất khi một mô hình được đào tạo ở 16 FPS và được thử nghiệm ở tốc độ khung hình thấp hơn.

Xử lý tốc độ cao của F-16 làm tăng nhu cầu tính toán, mặc dù bộ chỉnh hợp của nó giúp quản lý các chi phí này bằng cách nén các token hình ảnh trùng lặp.

Mô hình yêu cầu nhiều phép tính hơn cho mỗi video so với các mô hình tốc độ khung hình thấp hơn, nhưng cũng đạt được độ chính xác tốt hơn trên mỗi token, gợi ý rằng chiến lược chọn khung hình và nén token của nó giúp bù đắp cho tính toán bổ sung.

Kết luận

Thật khó để đánh giá cao tầm quan trọng hoặc thách thức của dòng nghiên cứu này – đặc biệt là trong năm nay, được cho là năm đột phá cho video tạo ra, làm nổi bật những điểm yếu của việc tạo và chú thích dữ liệu video vào tầm nhìn rõ nét.

Cũng cần nhấn mạnh rằng những thách thức liên quan đến việc có được các mô tả chính xác về các chi tiết nội bộ của video không thể được giải quyết chỉ bằng cách ném VRAM, thời gian hoặc không gian đĩa vào vấn đề. Phương pháp mà các sự kiện được phân lập / trích xuất từ các đoạn video dài và nhàm chán (như các đoạn video golf hoặc bi-a, chẳng hạn) sẽ được hưởng lợi từ việc suy nghĩ lại các phương pháp ngữ nghĩa và cơ chế hiện đang thống trị các giải pháp SOTA – vì một số hạn chế này đã được thiết lập trong thời gian tài nguyên nghèo hơn.

(ngẫu nhiên, ngay cả khi 16fps có vẻ như là một tốc độ khung hình rất thấp cho năm 2025, điều thú vị là đây cũng là tốc độ đào tạo gốc của các đoạn video được sử dụng trong mô hình video tạo ra Wan 2.1 rất phổ biến, và tốc độ mà nó hoạt động với ít vấn đề nhất. Hy vọng rằng cảnh quan nghiên cứu sẽ theo dõi chặt chẽ ‘entropy tiêu chuẩn’ có thể xảy ra ở đây; đôi khi các hạn chế lỗi thời có thể duy trì các tiêu chuẩn trong tương lai)

Được xuất bản lần đầu vào thứ Tư, ngày 19 tháng 3 năm 2025