Dạy AI Đánh Giá Video Tốt Hơn

Mặc dù các mô hình ngôn ngữ tầm nhìn lớn (LVLMs) có thể là những công cụ hữu ích trong việc giải thích một số tài liệu về tầm nhìn máy tính khó hiểu hoặc thách thức, nhưng có một lĩnh vực chúng gặp khó khăn: xác định giá trị và chất lượng chủ quan của bất kỳ ví dụ video nào đi kèm với các bài báo mới*.

Đây là một khía cạnh quan trọng của một bài báo, vì các bài báo khoa học thường nhằm tạo ra sự phấn khích thông qua văn bản hấp dẫn hoặc hình ảnh – hoặc cả hai.

Tuy nhiên, trong trường hợp của các dự án liên quan đến tổng hợp video, các tác giả phải hiển thị đầu ra video thực tế hoặc risk bị từ chối; và chính trong những trình diễn này mà khoảng cách giữa những tuyên bố táo bạo và hiệu suất thế giới thực thường trở nên rõ ràng nhất.

Tôi Đã Đọc Sách, Không Xem Phim

Hiện tại, hầu hết các mô hình ngôn ngữ lớn (LLMs) và mô hình ngôn ngữ tầm nhìn lớn (LVLMs) phổ biến dựa trên API sẽ không tham gia phân tích nội dung video bằng bất kỳ cách nào, định lượng hoặc định tính. Thay vào đó, chúng chỉ có thể phân tích các bản ghi liên quan – và, có thể, các luồng thảo luận và tài liệu phụ khác dựa trên văn bản.

Các phản đối đa dạng của GPT-4o, Google Gemini và Perplexity khi được yêu cầu phân tích video trực tiếp, không cần bản ghi hoặc nguồn văn bản khác.

Tuy nhiên, một LLM có thể che giấu hoặc phủ nhận khả năng không thể xem video thực sự, trừ khi bạn gọi chúng ra về điều đó:

Sau khi được yêu cầu cung cấp đánh giá chủ quan về video của một bài báo nghiên cứu mới và sau khi giả vờ có một ý kiến thực sự, ChatGPT-4o cuối cùng đã thừa nhận rằng nó không thể xem video trực tiếp.

Mặc dù các mô hình như ChatGPT-4o là đa phương thức và có thể phân tích ảnh riêng lẻ (như một khung hình được trích xuất từ video, xem hình ảnh trên), vẫn có một số vấn đề:

Thứ nhất, không có cơ sở nào để tin vào ý kiến định tính của LLM, không chỉ vì LLMs có xu hướng ‘làm hài lòng mọi người’ hơn là thảo luận chân thành.

Thứ hai, nhiều vấn đề của video được tạo ra, nếu không phải là hầu hết, có thể có một khía cạnh thời gian hoàn toàn bị mất trong một khung hình – và do đó, việc kiểm tra các khung hình riêng lẻ không có mục đích.

Cuối cùng, LLM chỉ có thể đưa ra một ‘phán quyết giá trị’ giả định dựa trên (một lần nữa) kiến thức dựa trên văn bản, ví dụ như về hình ảnh giả mạo hoặc lịch sử nghệ thuật. Trong trường hợp như vậy, kiến thức lĩnh vực được đào tạo cho phép LLM tương quan các đặc điểm hình ảnh được phân tích với các bản nhúng được học dựa trên insight của con người:

Dự án FakeVLM cung cấp khả năng phát hiện giả mạo có针 đối thông qua mô hình tầm nhìn ngôn ngữ đa phương thức chuyên dụng. Nguồn: https://arxiv.org/pdf/2503.14905

Điều này không có nghĩa là một LLM không thể thu được thông tin trực tiếp từ video; ví dụ, với sự trợ giúp của các hệ thống AI phụ trợ như YOLO, một LLM có thể xác định các đối tượng trong video – hoặc có thể làm điều này trực tiếp, nếu được đào tạo cho một số chức năng đa phương thức trên mức trung bình.

Nhưng cách duy nhất mà một LLM có thể đánh giá video một cách chủ quan (tức là, ‘Điều đó không trông giống thật đối với tôi’) là bằng cách áp dụng một hàm mất mát dựa trên một số liệu được biết đến phản ánh ý kiến của con người tốt hoặc được thông tin trực tiếp bởi ý kiến của con người.

Các hàm mất mát là các công cụ toán học được sử dụng trong quá trình đào tạo để đo lường mức độ mà dự đoán của mô hình khác với các câu trả lời chính xác. Chúng cung cấp phản hồi hướng dẫn quá trình học tập của mô hình: lỗi càng lớn, hàm mất mát càng cao. Khi đào tạo tiến triển, mô hình điều chỉnh các tham số của nó để giảm hàm mất mát này, dần dần cải thiện khả năng đưa ra dự đoán chính xác.

Các hàm mất mát được sử dụng cả để điều chỉnh quá trình đào tạo của các mô hình và để hiệu chỉnh các thuật toán được thiết kế để đánh giá đầu ra của các mô hình AI (như đánh giá nội dung mô phỏng photorealistic từ một mô hình video tạo ra).

Tầm Nhìn Điều Kiện

Một trong những số liệu/metric phổ biến nhất là Fréchet Inception Distance (FID), đo lường chất lượng của hình ảnh được tạo ra bằng cách đo sự tương似 giữa phân phối của chúng (ở đây có nghĩa là ‘làm thế nào hình ảnh được phân bố hoặc nhóm lại bởi các tính năng hình ảnh‘) và phân phối của hình ảnh thực.

Cụ thể, FID tính toán sự khác biệt thống kê, sử dụng các giá trị trung bình và hiệu ứng, giữa các tính năng được trích xuất từ cả hai tập hợp hình ảnh bằng cách sử dụng (thường bị chỉ trích) mạng phân loại Inception v3. Một điểm FID thấp hơn cho thấy hình ảnh được tạo ra tương tự như hình ảnh thực, ngụ ý chất lượng hình ảnh và đa dạng tốt hơn.

Tuy nhiên, FID về cơ bản là so sánh và có thể được cho là tự tham chiếu. Để khắc phục điều này, cách tiếp cận Fréchet Conditional Distance (CFD, 2021) khác với FID bằng cách so sánh hình ảnh được tạo ra với hình ảnh thực và đánh giá điểm dựa trên mức độ mà cả hai tập hợp hình ảnh phù hợp với một điều kiện bổ sung, chẳng hạn như một nhãn lớp (tất nhiên là chủ quan) hoặc hình ảnh đầu vào.

Bằng cách này, CFID tính đến mức độ mà hình ảnh đáp ứng các điều kiện dự kiến, không chỉ là tính thực tế hoặc đa dạng chung của chúng.

Ví dụ từ sự kiện CFD năm 2021. Nguồn: https://github.com/Michael-Soloveitchik/CFID/

CFD tuân theo xu hướng gần đây trong việc tích hợp giải thích định tính của con người vào các hàm mất mát và thuật toán số liệu. Mặc dù cách tiếp cận lấy con người làm trung tâm này đảm bảo rằng thuật toán kết quả sẽ không ‘không có tâm hồn’ hoặc chỉ là cơ học, nhưng nó cũng đưa ra một số vấn đề: khả năng thiên vị; gánh nặng cập nhật thuật toán theo các phương pháp mới; và thực tế là điều này sẽ loại bỏ khả năng có các tiêu chuẩn so sánh nhất quán trong nhiều năm trên các dự án; và hạn chế về ngân sách (số lượng người đóng góp ít hơn sẽ làm cho các quyết định trở nên đáng ngờ hơn, trong khi số lượng lớn hơn có thể ngăn cản các bản cập nhật hữu ích do chi phí).

cFreD

Điều này đưa chúng ta đến một bài báo mới từ Mỹ, dường như cung cấp Khoảng cách Fréchet Điều kiện (cFreD), một cách tiếp cận mới đối với CFD được thiết kế để phản ánh tốt hơn sở thích của con người bằng cách đánh giá cả chất lượng hình ảnh và sự đồng bộ hóa văn bản-hình ảnh

Kết quả một phần từ bài báo mới: xếp hạng hình ảnh (1–9) bởi các số liệu khác nhau cho lời nhắc "Một phòng khách với một chiếc ghế sofa và một máy tính xách tay đang nghỉ trên ghế sofa." Màu xanh lá cây đánh dấu mô hình hàng đầu được đánh giá cao bởi con người (FLUX.1-dev), màu tím là mô hình thấp nhất (SDv1.5). Chỉ cFreD phù hợp với xếp hạng của con người. Vui lòng tham khảo bài báo nguồn để có kết quả đầy đủ, mà chúng tôi không có không gian để tái tạo ở đây. Nguồn: https://arxiv.org/pdf/2503.21721

Các tác giả lập luận rằng các phương pháp đánh giá hiện có cho tổng hợp văn bản-sang-hình ảnh, chẳng hạn như Điểm Inception (IS) và FID, không phù hợp với phán quyết của con người vì chúng chỉ đo chất lượng hình ảnh mà không xem xét cách hình ảnh phù hợp với lời nhắc của chúng:

‘Ví dụ, hãy xem xét một tập dữ liệu có hai hình ảnh: một con chó và một con mèo, mỗi hình ảnh được ghép với lời nhắc tương ứng. Một mô hình văn bản-sang-hình ảnh hoàn hảo có thể vô tình hoán đổi các ánh xạ này (tức là tạo ra một con mèo cho lời nhắc về chó và ngược lại) sẽ đạt được FID gần như bằng không vì phân phối tổng thể của chó và mèo được duy trì, mặc dù không phù hợp với lời nhắc dự kiến.

‘Chúng tôi chỉ ra rằng cFreD nắm bắt tốt hơn việc đánh giá chất lượng hình ảnh và điều kiện trên văn bản đầu vào và dẫn đến sự tương quan tốt hơn với sở thích của con người.’

Bài báo cho thấy số liệu được đề xuất của tác giả, cFreD, đạt được sự tương quan cao hơn với sở thích của con người so với FID, FDDINOv2, CLIPScore và CMMD trên ba tập dữ liệu chuẩn (PartiPrompts, HPDv2 và COCO).

Khái Niệm và Phương Pháp

Các tác giả lưu ý rằng tiêu chuẩn vàng hiện tại để đánh giá các mô hình văn bản-sang-hình ảnh liên quan đến việc thu thập dữ liệu sở thích của con người thông qua các cuộc so sánh được thực hiện bởi đám đông, tương tự như các phương pháp được sử dụng cho các mô hình ngôn ngữ lớn (chẳng hạn như LMSys Arena).

Ví dụ, PartiPrompts Arena sử dụng 1.600 lời nhắc tiếng Anh, trình bày cho người tham gia các cặp hình ảnh từ các mô hình khác nhau và yêu cầu họ chọn hình ảnh được ưa thích.

Tương tự, Text-to-Image Arena Leaderboard sử dụng so sánh của người dùng về đầu ra của mô hình để tạo ra xếp hạng thông qua điểm ELO. Tuy nhiên, việc thu thập loại dữ liệu đánh giá của con người này là tốn kém và chậm, dẫn đến một số nền tảng – như PartiPrompts Arena – ngừng cập nhật hoàn toàn.

Bảng xếp hạng Artificial Analysis Image Arena, xếp hạng các nhà lãnh đạo hiện tại trong lĩnh vực AI tạo ra hình ảnh. Nguồn: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Mặc dù các phương pháp thay thế được đào tạo trên dữ liệu sở thích của con người tồn tại, hiệu quả của chúng trong việc đánh giá các mô hình trong tương lai vẫn còn không chắc chắn, vì sở thích của con người liên tục thay đổi. Do đó, các số liệu tự động như FID, CLIPScore và số liệu được đề xuất của tác giả, cFreD, có vẻ sẽ vẫn là các công cụ đánh giá quan trọng.

Giả định rằng cả hình ảnh thực và hình ảnh được tạo ra có điều kiện trên lời nhắc đều theo phân phối Gaussian, mỗi phân phối được định nghĩa bởi các giá trị trung bình và hiệp phương sai có điều kiện. cFreD đo khoảng cách Fréchet dự kiến trên các lời nhắc giữa các phân phối có điều kiện này. Điều này có thể được biểu diễn trực tiếp dưới dạng thống kê có điều kiện hoặc bằng cách kết hợp thống kê không điều kiện với hiệp phương sai liên quan đến lời nhắc.

Bằng cách tích hợp lời nhắc theo cách này, cFreD có thể đánh giá cả tính thực tế của hình ảnh và sự nhất quán của chúng với văn bản cho trước.

Dữ Liệu và Kiểm Tra

Để đánh giá mức độ cFreD tương quan với sở thích của con người, các tác giả đã sử dụng xếp hạng hình ảnh từ nhiều mô hình được nhắc với cùng một văn bản. Đánh giá của họ dựa trên hai nguồn: Điểm Sở thích của Con người v2 (HPDv2) tập dữ liệu kiểm tra, bao gồm chín hình ảnh được tạo ra và một hình ảnh COCO cơ bản cho mỗi lời nhắc; và PartiPrompts Arena, chứa đầu ra từ bốn mô hình trên 1.600 lời nhắc.

Các tác giả đã thu thập các điểm dữ liệu Arena phân tán thành một tập dữ liệu duy nhất; trong trường hợp hình ảnh thực không được xếp hạng cao nhất trong đánh giá của con người, họ đã sử dụng hình ảnh được xếp hạng cao nhất làm tài liệu tham khảo.

Để kiểm tra các mô hình mới hơn, họ đã lấy mẫu 1.000 lời nhắc từ tập dữ liệu đào tạo và kiểm tra của COCO, đảm bảo không có sự chồng chéo với HPDv2, và tạo ra hình ảnh bằng cách sử dụng chín mô hình từ Bảng xếp hạng Arena Leaderboard. Các hình ảnh COCO ban đầu đã được sử dụng làm tài liệu tham khảo trong phần đánh giá này.

Phương pháp cFreD đã được đánh giá thông qua bốn số liệu thống kê: FID; FDDINOv2; CLIPScore; và CMMD. Nó cũng được đánh giá chống lại bốn số liệu được đào tạo trên dữ liệu sở thích của con người: Điểm Thẩm mỹ; Phần thưởng Hình ảnh; HPSv2; và MPS.

Các tác giả đã đánh giá sự tương quan với phán quyết của con người từ cả góc độ xếp hạng và điểm số: đối với mỗi số liệu, điểm số của mô hình đã được báo cáo và xếp hạng được tính toán cho sự phù hợp với kết quả đánh giá của con người, với cFreD sử dụng DINOv2-G/14 cho các bản nhúng hình ảnh và Trình mã hóa văn bản ConvNext-B của OpenCLIP cho các bản nhúng văn bản†.

Công việc trước đây về việc học sở thích của con người đo lường hiệu suất bằng cách sử dụng độ chính xác xếp hạng cho mỗi mục, tính toán độ chính xác xếp hạng cho mỗi cặp hình ảnh-văn bản trước khi tính trung bình kết quả.

Thay vào đó, các tác giả đã đánh giá cFreD bằng cách sử dụng độ chính xác xếp hạng toàn cầu, đánh giá hiệu suất xếp hạng tổng thể trên toàn bộ tập dữ liệu; đối với các số liệu thống kê, họ đã suy ra xếp hạng trực tiếp từ điểm số thô; và đối với các số liệu được đào tạo trên dữ liệu sở thích của con người, họ đã tính trung bình xếp hạng được phân配 cho mỗi mô hình trên tất cả các mẫu, sau đó xác định xếp hạng cuối cùng từ những trung bình này.

Ban đầu, các thử nghiệm sử dụng mười khuôn khổ: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; và LAFITE.

Xếp hạng mô hình và điểm số trên tập dữ liệu kiểm tra HPDv2 sử dụng các số liệu thống kê (FID, FDDINOv2, CLIPScore, CMMD và cFreD) và các số liệu được đào tạo trên dữ liệu sở thích của con người (Điểm Thẩm mỹ, Phần thưởng Hình ảnh, HPSv2 và MPS). Kết quả tốt nhất được hiển thị ở dạng chữ đậm, kết quả tốt thứ hai được gạch chân.

Trong số các kết quả ban đầu, các tác giả nhận xét:

‘cFreD đạt được sự tương quan cao nhất với sở thích của con người, đạt được sự tương quan của 0,97. Trong số các số liệu thống kê, cFreD đạt được sự tương quan cao nhất và tương đương với HPSv2 (0,94), một mô hình được đào tạo rõ ràng trên dữ liệu sở thích của con người.

‘Ngược lại, cFreD đạt được sự tương quan hoặc vượt trội so với HPSv2 (0,94) mà không cần đào tạo trên dữ liệu sở thích của con người.

‘Những kết quả này cho thấy cFreD cung cấp xếp hạng đáng tin cậy hơn trên nhiều mô hình so với các số liệu tự động và các số liệu được đào tạo trên dữ liệu sở thích của con người.’

Trong số tất cả các số liệu được đánh giá, cFreD đã đạt được độ chính xác xếp hạng cao nhất (91,1%), cho thấy – theo các tác giả – sự phù hợp mạnh mẽ với các đánh giá của con người.

HPSv2 theo sau với 88,9%, trong khi FID và FDDINOv2 tạo ra điểm số cạnh tranh với 86,7%. Mặc dù các số liệu được đào tạo trên dữ liệu sở thích của con người thường phù hợp tốt với các đánh giá của con người, cFreD đã chứng minh là số liệu mạnh mẽ và đáng tin cậy nhất.

Sau đó, các tác giả đã tiến hành một vòng đánh giá trên PartiPrompts Arena, sử dụng SDXL; Kandinsky 2; Würstchen; và Karlo V1.0.

Xếp hạng mô hình và điểm số trên PartiPrompt sử dụng các số liệu thống kê (FID, FDDINOv2, CLIPScore, CMMD và cFreD) và các số liệu được đào tạo trên dữ liệu sở thích của con người (Điểm Thẩm mỹ, Phần thưởng Hình ảnh và MPS). Kết quả tốt nhất được hiển thị ở dạng chữ đậm, kết quả tốt thứ hai được gạch chân.

Tại đây, bài báo cho biết:

‘Trong số các số liệu thống kê, cFreD đạt được sự tương quan cao nhất với đánh giá của con người (0,73), với FID và FDDINOv2 đều đạt được sự tương quan của 0,70. Ngược lại, điểm CLIP cho thấy sự tương quan rất thấp (0,12) với các đánh giá của con người.

‘Trong danh mục được đào tạo trên dữ liệu sở thích của con người, HPSv2 có sự phù hợp mạnh nhất, đạt được sự tương quan cao nhất (0,83), tiếp theo là Phần thưởng Hình ảnh (0,81) và MPS (0,65). Những kết quả này cho thấy cFreD là một số liệu tự động mạnh mẽ, nhưng HPSv2 nổi bật như một công cụ hiệu quả nhất trong việc nắm bắt các xu hướng đánh giá của con người trong PartiPrompts Arena.’

Cuối cùng, các tác giả đã thực hiện một đánh giá trên tập dữ liệu COCO bằng cách sử dụng chín mô hình văn bản-sang-hình ảnh hiện đại: FLUX.1[dev]; Playgroundv2.5; Janus Pro; và các biến thể Stable Diffusion SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 và 1.5.

Xếp hạng sở thích của con người được lấy từ Bảng xếp hạng Text-to-Image, và được đưa ra dưới dạng điểm ELO:

Xếp hạng mô hình trên các lời nhắc COCO được lấy mẫu ngẫu nhiên sử dụng các số liệu tự động (FID, FDDINOv2, CLIPScore, CMMD và cFreD) và các số liệu được đào tạo trên dữ liệu sở thích của con người (Điểm Thẩm mỹ, Phần thưởng Hình ảnh, HPSv2 và MPS). Độ chính xác xếp hạng dưới 0,5 cho thấy nhiều cặp không phù hợp hơn là phù hợp, và kết quả tốt nhất được hiển thị ở dạng chữ đậm, kết quả tốt thứ hai được gạch chân.

Về vòng này, các nhà nghiên cứu cho biết:

‘Trong số các số liệu thống kê (FID, FDDINOv2, CLIP, CMMD và cFreD được đề xuất của chúng tôi), chỉ cFreD thể hiện sự tương quan mạnh mẽ với sở thích của con người, đạt được sự tương quan của 0,33 và độ chính xác xếp hạng không tầm thường là 66,67%. ‘Kết quả này đặt cFreD vào vị trí thứ ba về sự phù hợp tổng thể, chỉ sau các số liệu được đào tạo trên dữ liệu sở thích của con người, Phần thưởng Hình ảnh, HPSv2 và MPS.

‘Đáng chú ý, tất cả các số liệu thống kê khác cho thấy sự phù hợp yếu hơn với xếp hạng ELO và, do đó, đảo ngược xếp hạng, dẫn đến độ chính xác xếp hạng dưới 0,5.

‘Những phát hiện này cho thấy cFreD nhạy cảm với cả tính trung thực của hình ảnh và sự nhất quán của lời nhắc, củng cố giá trị của nó như một phương pháp thay thế thực tế, không cần đào tạo để chuẩn hóa việc tạo ra hình ảnh từ văn bản.’

Các tác giả cũng đã kiểm tra Inception V3 như một xương sống, nhấn mạnh sự phổ biến của nó trong tài liệu, và phát hiện ra rằng InceptionV3 hoạt động khá tốt, nhưng bị vượt qua bởi các xương sống dựa trên biến đổi như DINOv2-L/14 và ViT-L/16, những xương sống này nhất quán hơn trong việc phù hợp với xếp hạng của con người – và họ cho rằng điều này hỗ trợ việc thay thế InceptionV3 trong các thiết lập đánh giá hiện đại.

Tỷ lệ thắng cho thấy bao nhiêu lần xếp hạng của mỗi xương sống hình ảnh phù hợp với xếp hạng thực sự được dẫn xuất từ con người trên tập dữ liệu COCO.

Kết Luận

Rõ ràng rằng trong khi các giải pháp có sự tham gia của con người là cách tiếp cận tối ưu để phát triển các số liệu và hàm mất mát, quy mô và tần suất cập nhật cần thiết cho các kế hoạch như vậy sẽ tiếp tục khiến chúng không thực tế – có thể cho đến khi sự tham gia rộng rãi của công chúng trong các đánh giá được khuyến khích chung; hoặc, như trường hợp của CAPTCHAs, được áp dụng.

Uy tín của hệ thống mới của các tác giả vẫn phụ thuộc vào sự phù hợp của nó với phán quyết của con người, mặc dù ở một mức độ xa hơn so với nhiều cách tiếp cận tham gia của con người gần đây; và tính hợp pháp của cFreD vẫn phụ thuộc vào dữ liệu sở thích của con người (tất nhiên, vì nếu không có điểm chuẩn này, tuyên bố rằng cFreD phản ánh đánh giá giống như con người sẽ không thể chứng minh).

Có thể việc ghi lại các tiêu chí hiện tại của chúng ta cho ‘tính thực tế’ trong đầu ra tạo ra vào một hàm số liệu có thể là một sai lầm trong dài hạn, vì định nghĩa của chúng ta về khái niệm này hiện đang bị tấn công bởi làn sóng mới của các hệ thống AI tạo ra, và sẽ được sửa đổi thường xuyên và đáng kể.

* Ở điểm này, tôi thường sẽ bao gồm một ví dụ minh họa video, có thể từ một bài báo học thuật gần đây; nhưng điều đó sẽ không công bằng – bất kỳ ai đã dành hơn 10-15 phút tìm kiếm đầu ra AI tạo ra trên Arxiv sẽ đã gặp phải các video bổ sung mà chất lượng chủ quan kém cho thấy rằng bài báo liên quan sẽ không được ca ngợi là một bài báo đột phá.

† Tổng cộng 46 mô hình xương sống hình ảnh đã được sử dụng trong các thí nghiệm, không phải tất cả đều được xem xét trong kết quả được đồ họa. Vui lòng tham khảo phụ lục của bài báo để có danh sách đầy đủ; những mô hình được giới thiệu trong các bảng và hình đã được liệt kê.

Được xuất bản lần đầu vào thứ ba, ngày 1 tháng 4 năm 2025