Trí tuệ nhân tạo thích đọc sách hơn xem phim

Thật ngạc nhiên khi thấy các mô hình trí tuệ nhân tạo khó xem và bình luận về nội dung video thực sự, ngay cả khi chúng được thiết kế cho nhiệm vụ đó. Chúng quan tâm hơn đến văn bản viết.

Nếu bạn đã từng thử tải lên một đoạn video ngắn vào ChatGPT hoặc một mô hình tầm nhìn/ngôn ngữ phổ biến khác, bạn có thể đã ngạc nhiên khi nhận ra rằng chúng không thể phân tích video. Mặc dù các mô hình như ChatGPT-4o+ có thể phân tích các khung hình riêng lẻ – dưới dạng hình ảnh, chẳng hạn như JPEG và PNG – chúng thích người dùng trích xuất các khung hình của riêng họ và tải chúng lên dưới dạng hình ảnh (mà chúng sẵn sàng bình luận).

Trong trường hợp của loạt GPT của OpenAI, người ta có thể, khá tốn công, trích xuất một chuỗi khung hình hoàn chỉnh từ một đoạn video và cung cấp cho ChatGPT, để thực hiện các mục đích như tạo một bản nhạc tường thuật do AI tạo cho video:

Hình ảnh và mã từ một hướng dẫn của OpenAI về phân tích nhiều khung hình trích xuất để phát triển một bản tường thuật do AI tạo cho một đoạn video. Nguồn

Nhưng việc chuyển đổi từ video sang khung hình thuộc về người dùng, hoặc bằng cách gọi các hàm trong một quy trình lớn hơn, như trong ví dụ trên, hoặc bằng cách trích xuất các khung hình bằng FFMPEG hoặc các giải pháp chỉnh sửa video miễn phí và trả phí.

Đến một mức độ nhất định, có lẽ là một mức độ lớn, các hạn chế về phân tích video trong các sản phẩm quy mô lớn như ChatGPT phụ thuộc vào sử dụng tài nguyên: chỉ cần trang bị một trường hợp AI với một số codec video phổ biến nhất và cam kết tài nguyên tính toán cho quá trình trích xuất tốn nhiều đĩa và CPU – không phải là một vấn đề nhỏ, nếu hàng trăm triệu người dùng quyết định bắt đầu sử dụng các tiện ích này mỗi ngày.

Bên cạnh đó, phân tích thời gian có thể vẽ một bức tranh rất khác so với một khung hình duy nhất (hãy tưởng tượng một người bước vào một ngôi nhà với tâm trạng hạnh phúc và sau đó phát hiện một xác); do đó, việc xem xét toàn bộ ‘checksum’ thời gian của thậm chí một đoạn video ngắn cũng là một nhiệm vụ đòi hỏi nhiều tài nguyên và chuyên sâu – cũng như một lĩnh vực nghiên cứu chuyên biệt, chẳng hạn như sự phát triển liên tục của các khuôn khổ như Optical Flow – cơ bản là ‘mở rộng’ một đoạn video để nó có thể được coi là một tài liệu tĩnh:

Sơ đồ dòng quang học突出 cách chuyển động được theo dõi trên các khung hình trong một chuỗi video, với các vector màu xanh lá cây chỉ hướng và cường độ chuyển động. Những bản đồ này cung cấp sự liên tục thời gian cần thiết cho các mô hình ngôn ngữ tầm nhìn và cũng có thể đóng vai trò là hướng dẫn cấu trúc trong các quy trình làm việc VFX. Nguồn

Nhường chỗ cho Tóm tắt

Tuy nhiên, vì các mô hình như Notebook LM của Google và các bản ChatGPT gần đây hơn có thể đọc các siêu dữ liệu liên quan (tức là nội dung văn bản nhúng cung cấp ngữ cảnh cho video theo một cách nào đó), chúng không cấm tải lên tệp video; và đôi khi, chúng thậm chí sẽ cố gắng giải thích một video không có siêu dữ liệu nào:

Trong trường hợp sau, tôi đã tải lên một đoạn video ngẫu nhiên 6 giây từ bộ phim Italy Bàn tay của Chúa (2021) vào NotebookLM, đảm bảo rằng đoạn video không chứa văn bản hữu ích nào, cả trong siêu dữ liệu và tên tệp.

NotebookLM sau đó đã tưởng tượng một cách tinh vi về các tài liệu hoàn toàn không liên quan đến video*, cùng với một bản podcast đối thoại ngẫu nhiên không liên quan trong năm phút:

Một khoảnh khắc hàng ngày trong một đoạn video 6 giây từ một bộ phim Italy được hiểu lầm một cách hoang đường bởi NotebookLM. Nguồn: Google NotebookLM

Mặc dù Notebook, giống như ChatGPT, sẽ chấp nhận một video YouTube làm đầu vào, nhưng nó chỉ làm như vậy nếu video có một lớp văn bản có thể giải thích và/hoặc phụ đề (không phải phụ đề raster hóa được đốt vào video).

Theo cách này, công việc khó khăn của việc thực sự nhìn và nghe nội dung của video và thực hiện giải thích ngữ nghĩa của nó (một yêu cầu pháp lý đối với YouTube, do các biện pháp bảo vệ bản quyền của nó, và hệ thống bảo vệ danh tính đang chờ xử lý) đã được thực hiện sau khi người dùng tải lên, khi và khi đoạn video có thể được phân bổ các tài nguyên xử lý cần thiết.

Giải thích video thực sự tốn kém và tốn thời gian, và như vậy, ngay cả các mô hình được đào tạo cụ thể để thực hiện nhiệm vụ này cũng thích đọc văn bản hơn là thực sự nhìn vào video.

TL;DW

Điều này, theo một bài báo mới từ Đại học Bristol của Anh, có tiêu đề Video không đáng một nghìn lời, trong đó hai tác giả kết luận rằng các mô hình ngôn ngữ tầm nhìn hiện tại (VLM) – các mô hình được thiết kế để phân tích video một cách nỗ lực hơn và tham gia vào trả lời câu hỏi video (VQA) – cũng mặc định sang thông tin dựa trên văn bản mỗi khi có thể.

Khi được cung cấp cả hình ảnh chuyển động và câu hỏi và câu trả lời nhiều lựa chọn, các tác giả của bài báo đã tìm thấy rằng các mô hình thường dựa trên mẫu trong văn bản, chứ không phải bất cứ điều gì xảy ra trên màn hình – trong nhiều trường hợp, ngay cả khi câu hỏi được loại bỏ hoàn toàn.

Trong những gì có vẻ như là một hình thức cắt góc hoặc gian lận, điều quan trọng nhất đối với hầu hết các mô hình là có thể phát hiện ra mẫu trong các câu trả lời có thể; chỉ khi nhiệm vụ trở nên khó khăn hơn, bằng cách thêm nhiều lựa chọn trả lời, thì các AI mới bắt đầu chú ý đến video.

Các tác giả đã tiến hành các bài kiểm tra VQA dưới nhiều điều kiện khác nhau đối với sáu mô hình VLM có các độ dài ngữ cảnh khác nhau, trên bốn tập dữ liệu phù hợp; và phát hiện ra rằng kết quả cho thấy các mô hình phụ thuộc vào văn bản hơn nội dung video.

Ví dụ từ nghiên cứu cho thấy một mô hình phân tích video đánh giá những gì nó thấy so với những gì nó đọc. Đoạn video cho thấy một người dệt tre, nhưng mô hình phân bổ nhiều tầm quan trọng hơn cho văn bản câu hỏi và trả lời so với các khung hình video.

Phương pháp

Để hiểu được mỗi phần đầu vào đóng góp như thế nào vào quyết định của mô hình, công việc mới này sử dụng một phương pháp từ lý thuyết trò chơi gọi là Giá trị Shapley. Ban đầu được thiết kế để phân chia lợi nhuận một cách công bằng giữa các cầu thủ trong một liên minh, Giá trị Shapley phân bổ tín dụng cho mỗi ‘cầu thủ’ dựa trên tác động cá nhân của họ.

Hiệu quả thì, các ‘cầu thủ’ trong kịch bản này là các khung hình video hoặc các thành phần văn bản (chú thích, phụ đề, chú thích, v.v.) của một nhiệm vụ VQA; và ‘lợi nhuận’ là câu trả lời cuối cùng của mô hình. Bằng cách kiểm tra hệ thống những gì xảy ra khi mỗi phần được thêm hoặc loại bỏ, kỹ thuật này tiết lộ tầm quan trọng của mỗi yếu tố trong việc đạt được câu trả lời được chọn.

Thống kê

Hai thước đo đơn giản được định nghĩa để so sánh mức độ đóng góp của mỗi phương thức (tức là video, câu hỏi hoặc câu trả lời) vào quyết định của mô hình: Đóng góp phương thức đo lường phần đóng góp của mỗi loại đầu vào; ở đây, tất cả các giá trị Shapley có sẵn được tổng hợp và phần đóng góp của mỗi phương thức được tính toán dưới dạng phần trăm của tổng.

Thứ hai, Đóng góp tính năng mỗi sửa lỗi cho thực tế là một số phương thức, như video, chứa nhiều tính năng hơn những phương thức khác. Thay vào đó, giá trị Shapley trung bình được tính toán cho mỗi tính năng, và những giá trị trung bình này được so sánh để xác định phương thức nào có ảnh hưởng thống trị.

Dữ liệu và Kiểm tra

Các tác giả đã kiểm tra cách tiếp cận này trên sáu mô hình VLM có các đặc điểm khác nhau được thiết kế để đảm bảo các nguyên tắc của các thử nghiệm là rộng rãi và có thể áp dụng chung. Do đó, các mô hình được chọn vì các độ dài ngữ cảnh khác nhau, các độ tuổi khác nhau (tức là thời gian kể từ khi khuôn khổ được phát hành) và các cấu hình kiến trúc khác nhau.

Các đối thủ là FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (được Qwen2 hỗ trợ); và LongVA (cũng sử dụng Qwen2).

Để có sự đa dạng, bốn tập dữ liệu mục tiêu được chọn là EgoSchema, một tập dữ liệu VQA được thiết kế để không thể hoàn thành nếu không xem toàn bộ video; HD-EPIC, một tập dữ liệu tập trung vào nhà bếp với một số video bất thường dài; MVBench, một tập hợp được biên soạn từ các đóng góp từ các tập dữ liệu khác; và LVBench, đặt câu hỏi VQA cho các video rất dài.

Từ những tập dữ liệu này, các tác giả đã tạo ra 60 câu hỏi – 10 câu hỏi cho mỗi loại câu hỏi.

Các thước đo đóng góp làm rõ rằng hầu hết các mô hình phụ thuộc ít hơn vào video so với văn bản, đặc biệt là khi được đánh giá theo từng khung hình. Ngay cả khi video cho thấy một sự đóng góp hợp lý, ảnh hưởng của từng khung hình thường rất nhỏ, cho thấy rằng mặc dù mô hình có thể sử dụng video tổng thể, nhưng nó không chú ý đến các khung hình riêng lẻ. VideoLLaMA3 là ngoại lệ chính ở đây, với sự phụ thuộc vào hình ảnh nặng hơn, đặc biệt là trên các chuỗi dài hơn trong LVBench:

Điểm đóng góp phương thức và điểm đóng góp tính năng mỗi trên các mô hình và tập dữ liệu, cho thấy trọng lượng tương đối của đầu vào video, câu hỏi và câu trả lời. Màu sắc mát mẻ cho thấy sự đóng góp mạnh mẽ; màu sắc ấm cho thấy sự ảnh hưởng yếu hoặc không đáng kể. Trên hầu hết các thiết lập, ngôn ngữ rõ ràng là thống trị, với video thường bị đẩy sang một bên – đặc biệt là trong ảnh hưởng từng khung hình.

Về văn bản, câu hỏi thường quan trọng hơn câu trả lời, đặc biệt là trong các mô hình mạnh hơn. Điều này rõ ràng nhất trong các tập dữ liệu như EgoSchema, nơi các câu hỏi dài hơn và tự nhiên hơn, trong khi các câu trả lời ngắn và đôi khi là sơ đồ.

MVBench đảo ngược điều này một chút, vì cấu trúc câu trả lời nhị phân của nó làm cho các token câu trả lời có vẻ quan trọng hơn.

Trên tất cả các mô hình và tập dữ liệu, tầm nhìn bị đẩy sang một bên, với ngôn ngữ thực hiện hầu hết công việc nặng nhọc.

Bài báo cho biết:

‘[Đối với] các mô hình ngữ cảnh dài, video cho thấy sự đóng góp giảm đáng kể, có nghĩa là các giá trị Shapley theo từng khung hình nhỏ hơn nhiều so với các tính năng văn bản tương ứng.

‘Video như một phương thức tổng thể vẫn rõ ràng là rất phù hợp, nhưng điều này cho thấy rằng các giá trị Shapley của các khung hình riêng lẻ tập trung nhiều xung quanh zero, và sự chú ý của mô hình đến chúng ít được hướng dẫn hơn so với văn bản.’

Để kiểm tra xem mỗi phần của đầu vào đóng góp như thế nào vào độ chính xác của mô hình, các nhà nghiên cứu đã tiến hành các thử nghiệm bổ sung bằng cách sử dụng che giấu – che giấu một hoặc nhiều phần của đầu vào và xem độ chính xác của mô hình thay đổi như thế nào khi kết quả:

Nếu hiệu suất giảm mạnh khi một phần đầu vào cụ thể bị loại bỏ, phần đó có khả năng quan trọng; nếu mô hình hoạt động tương tự, điều đó cho thấy phần bị thiếu không được sử dụng nhiều.

Tác động hiệu suất của việc che giấu video, câu hỏi hoặc câu trả lời trên bốn điểm chuẩn VQA. Điểm cho thấy sự thay đổi so với đường cơ sở không che giấu. Màu đỏ cho thấy độ chính xác thấp hơn, màu xanh cho thấy độ chính xác cao hơn. Các mô hình thường giữ được điểm số cao mà không có video, nhưng mất nhiều hơn khi câu trả lời (văn bản) bị xóa. Câu hỏi có thể thường được che giấu với hiệu ứng tối thiểu.

Kết quả (được minh họa ở trên) cho thấy rằng câu trả lời (văn bản trong dữ liệu nhiều lựa chọn) mang lại trọng lượng nhất trên toàn bộ. Che giấu câu trả lời thường gây ra sự sụt giảm lớn nhất trong độ chính xác, thường giảm hiệu suất của mô hình xuống gần ngẫu nhiên.

Tuy nhiên, che giấu câu hỏi thường có ít tác động, điều này hỗ trợ phát hiện trước đó rằng các mô hình thường đánh giá thấp câu hỏi.

Trong một số trường hợp, độ chính xác thậm chí còn cải thiện khi câu hỏi bị xóa, điều này cho thấy rằng các mô hình đôi khi chỉ khớp câu trả lời với các gợi ý trực quan hoặc văn bản thay vì đánh giá đúng câu hỏi.

Các mô hình cũng khác nhau về sự phụ thuộc vào video: một số duy trì độ chính xác hợp lý mà không có nó, điều này xác nhận thêm sự đóng góp hạn chế của các tính năng video trong nhiều thiết lập hiện tại.

Các tác giả sau đó đã kiểm tra xem các mô hình có thể bị ép buộc phải dựa vào video bằng cách thêm nhiều câu trả lời sai vào các lựa chọn nhiều lựa chọn.

Khi các câu trả lời sai dễ dàng và được tái sử dụng từ các câu hỏi khác, hiệu suất được cải thiện, vì các mô hình khớp mẫu văn bản mà không cần nhiều suy luận. Nhưng với mười hoặc nhiều câu trả lời không liên quan, chúng bắt đầu dựa vào video và câu hỏi nhiều hơn:

Đóng góp tính năng mỗi và độ chính xác cho video, câu hỏi và câu trả lời, khi các câu trả lời sai bổ sung được thêm vào mỗi thử nghiệm VQA, cho thấy rằng việc tăng số lượng câu trả lời sai làm giảm sự thống trị của văn bản và tăng sự ảnh hưởng tương đối của các tính năng trực quan và câu hỏi.

Đối với VideoLLaMA3, việc che giấu video làm giảm độ chính xác xuống 40% trên EgoSchema và 15% trên LVBench, cho thấy rằng việc tăng đơn giản số lượng câu trả lời có thể chuyển các mô hình khỏi các捷径 văn bản và hướng tới suy luận đa phương thức thực sự.

Các nhà nghiên cứu cũng đã khám phá cách phân bổ thuộc tính trên các đầu vào và dưới đây chúng ta thấy các bản đồ nhiệt của các giá trị Shapley cho mỗi đầu vào mô hình:

Bản đồ nhiệt của các giá trị Shapley cho bốn tập dữ liệu, nơi mỗi hàng thể hiện một cặp VQA, và mỗi cột là một tính năng. Các tính năng video xuất hiện ở bên trái, tiếp theo là văn bản. Các giá trị mạnh hơn trong các khu vực văn bản (đỏ) xác nhận rằng các mô hình phụ thuộc nhiều hơn vào ngôn ngữ hơn là video.

Nhận xét về kết quả trên, các tác giả cho biết:

‘Độ lớn của các giá trị Shapley lớn hơn nhiều về phía bên phải của mỗi bản đồ nhiệt, đại diện cho các thuộc tính câu hỏi và câu trả lời. Đường ranh giới rõ ràng này là nơi các khung hình video kết thúc và các tính năng văn bản bắt đầu, chứng minh rằng đóng góp của phương thức video ít hơn nhiều so với câu hỏi/trả lời. ‘

Tóm lại, trên tất cả các tập dữ liệu, các giá trị mạnh hơn nhiều về phía văn bản, cho thấy mạnh mẽ rằng các mô hình phụ thuộc nhiều hơn vào ngôn ngữ hơn là các gợi ý trực quan. Ngay cả khi video được sử dụng, sự đóng góp được phân bổ mỏng trên nhiều khung hình, thường không có mẫu nhất quán nào.

Dưới đây chúng ta thấy một ví dụ được chú thích từ EgoSchema. 16 khung hình ‘quan trọng’ nhất được chọn bằng cách sử dụng các giá trị Shapley và được tô màu theo ảnh hưởng của chúng, với màu xanh cho thấy sự đóng góp tích cực và màu đỏ cho thấy sự đóng góp tiêu cực:

Thuộc tính Shapley cho một ví dụ EgoSchema, cho thấy 16 khung hình ảnh hưởng nhất và tất cả các đầu vào văn bản. Các đóng góp video là tối thiểu so với văn bản, chiếm ưu thế trong suy luận của mô hình. Màu xanh và đỏ chỉ ảnh hưởng tích cực và tiêu cực đến câu trả lời được chọn.

Kết quả là gần như mọi khung hình đều có ảnh hưởng yếu so với các từ trong câu hỏi và câu trả lời. Các gợi ý trực quan rất thưa thớt và không nhất quán, trong khi các danh từ như ‘ghế’ và ‘hàng rào’ hướng mô hình đến lựa chọn đúng – hoặc tránh nó, tùy thuộc vào ngữ cảnh.

Kết luận

Bất kỳ ai từng tham gia chỉnh sửa video hoặc phân tích video đều biết rằng những quá trình này tốn nhiều tài nguyên và hiểu tại sao các công ty phân tích hàng triệu yêu cầu AI mỗi ngày không thể cho phép người dùng chạy các quy trình chỉnh sửa và giải thích video tùy ý:

Một điều cần nhớ trong trường hợp này là hầu như mọi giao diện API AI bạn sẽ cố gắng (ngoài một bản demo mới và ngắn hạn trong hỗ trợ nghiên cứu khoa học mới) đều nhằm thực hiện mong muốn của người dùng ở mức sử dụng tài nguyên tối thiểu.

Điều đó có nghĩa là dựa vào siêu dữ liệu hiện có từ dữ liệu người dùng cung cấp hoặc truy xuất RAG, nếu có thể; và trích xuất (nếu tuyệt đối cần thiết) siêu dữ liệu cho các định dạng có thể phân tích hơn như PDF, tài liệu và hình ảnh đơn:

Điều không nằm trong khả năng là chạy video tải lên của bạn qua CLIP hoặc phiên bản YOLO mới nhất, hoặc qua bất kỳ mô hình ngôn ngữ tầm nhìn nào tốn nhiều tài nguyên và tốn thời gian có thể xác định những gì trong các khung hình và hiểu những gì đang xảy ra trong video được cung cấp, tính đến thời gian.

Tuy nhiên, điều này không có nghĩa là các hiện tượng mà bài báo hiện tại ghi lại nhất thiết phải bắt nguồn từ các phương pháp kiến trúc tiết kiệm. Các tác giả lưu ý rằng văn bản thống trị các mô hình đào tạo đa phương thức hiện tại, cho thấy rằng ‘ngôn ngữ hình ảnh’ ít phát triển hơn, ít quan trọng hoặc ít thông tin trong một ngữ cảnh đa phương thức, hoặc (ít nhất là hiện tại) ít được hiểu hơn,

* Thật thú vị, tài liệu mà NotebookLM đưa ra dường như hoàn toàn nguyên bản hoặc hoàn toàn không được lập chỉ mục bởi Google, vì tôi không thể tìm thấy bất kỳ kết quả nào có thể đã lọt vào dữ liệu đào tạo và kích hoạt đầu ra này.

Được xuất bản lần đầu vào thứ Sáu, ngày 31 tháng 10 năm 2025; chỉnh sửa 14:20 để định dạng