Sử dụng Trí tuệ nhân tạo để Dự đoán Phim Khối Lượng

Mặc dù ngành công nghiệp điện ảnh và truyền hình thường được coi là sáng tạo và mở, nhưng chúng đã lâu được coi là rủi ro. Chi phí sản xuất cao (có thể sắp mất lợi thế bù đắp của các địa điểm nước ngoài rẻ hơn, ít nhất là đối với các dự án của Mỹ) và một cảnh quan sản xuất phân mảnh làm cho nó khó khăn cho các công ty độc lập để hấp thụ một tổn thất đáng kể.

Do đó, trong thập kỷ qua, ngành công nghiệp đã quan tâm ngày càng tăng đến việc liệu máy học có thể phát hiện ra xu hướng hoặc mẫu trong cách khán giả phản ứng với các dự án phim và truyền hình được đề xuất.

Các nguồn dữ liệu chính vẫn là hệ thống Nielsen (cung cấp quy mô, mặc dù gốc gác của nó nằm trong TV và quảng cáo) và các phương pháp dựa trên mẫu như nhóm tập trung, trao đổi quy mô cho nhân khẩu học được chọn lọc. Loại sau này cũng bao gồm phản hồi từ thẻ điểm của các buổi xem phim miễn phí – tuy nhiên, tại thời điểm đó, hầu hết ngân sách sản xuất đã được chi tiêu.

Lý thuyết ‘Đại Hit’

Ban đầu, các hệ thống ML đã tận dụng các phương pháp phân tích truyền thống như hồi quy tuyến tính, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree và Forests, và Neural Networks, thường trong các kết hợp gần giống với phân tích thống kê trước AI, như một sáng kiến của Đại học Central Florida vào năm 2019 để dự đoán các chương trình TV thành công dựa trên sự kết hợp của diễn viên và nhà viết kịch (trong số các yếu tố khác):

Một nghiên cứu năm 2018 đánh giá hiệu suất của các tập dựa trên sự kết hợp của nhân vật và / hoặc nhà viết (hầu hết các tập được viết bởi hơn một người). Nguồn: https://arxiv.org/pdf/1910.12589

Công việc liên quan nhất, ít nhất là được triển khai trong tự nhiên (mặc dù thường bị chỉ trích) là trong lĩnh vực hệ thống giới thiệu:

Một đường ống giới thiệu video điển hình. Các video trong danh mục được lập chỉ mục bằng các tính năng có thể được chú thích thủ công hoặc trích xuất tự động. Các khuyến nghị được tạo ra trong hai giai đoạn bằng cách chọn các ứng viên video đầu tiên và sau đó xếp hạng chúng theo hồ sơ người dùng suy ra từ sở thích xem. Nguồn: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Tuy nhiên, những phương pháp này phân tích các dự án đã thành công. Trong trường hợp của các chương trình hoặc phim mới, không rõ loại chân lý nào sẽ được áp dụng nhất – không chỉ vì sự thay đổi trong sở thích công chúng, kết hợp với cải tiến và tăng cường nguồn dữ liệu, có nghĩa là nhiều thập kỷ dữ liệu nhất quán thường không có sẵn.

Đây là một ví dụ về vấn đề khởi động lạnh, nơi các hệ thống giới thiệu phải đánh giá các ứng viên mà không có dữ liệu tương tác trước đó. Trong những trường hợp như vậy, lọc cộng tác truyền thống bị phá vỡ, vì nó dựa trên các mẫu trong hành vi người dùng (như xem, xếp hạng hoặc chia sẻ) để tạo ra dự đoán. Vấn đề là trong trường hợp của hầu hết các bộ phim hoặc chương trình mới, vẫn chưa có đủ phản hồi từ khán giả để hỗ trợ những phương pháp này.

Comcast Dự đoán

Một bài báo mới từ Comcast Technology AI, liên kết với Đại học George Washington, đề xuất một giải pháp cho vấn đề này bằng cách sử dụng một mô hình ngôn ngữ với metadata cấu trúc về các bộ phim chưa phát hành.

Các đầu vào bao gồm diễn viên, thể loại, tóm tắt, xếp hạng nội dung, tâm trạng và giải thưởng, với mô hình trả về một danh sách xếp hạng các bộ phim có khả năng trở thành hit trong tương lai.

Các tác giả sử dụng đầu ra của mô hình như một thay thế cho sự quan tâm của khán giả khi không có dữ liệu tương tác nào có sẵn, hy vọng sẽ tránh được sự thiên vị sớm đối với các tiêu đề đã được biết đến.

Bài báo rất ngắn (ba trang) này, có tiêu đề Dự đoán Bộ phim Hit Trước khi Chúng Xảy ra với LLMs, đến từ sáu nhà nghiên cứu tại Comcast Technology AI và một từ GWU, và tuyên bố:

‘Kết quả của chúng tôi cho thấy rằng LLMs, khi sử dụng metadata của bộ phim, có thể vượt trội so với các baseline. Phương pháp này có thể phục vụ như một hệ thống hỗ trợ cho nhiều trường hợp sử dụng, cho phép đánh giá tự động số lượng lớn nội dung mới được phát hành hàng ngày và hàng tuần.

‘Bằng cách cung cấp thông tin sớm trước khi các đội biên tập hoặc thuật toán tích lũy đủ dữ liệu tương tác, LLMs có thể简化 quá trình xem xét nội dung.

‘Với sự cải tiến liên tục về hiệu quả của LLM và sự xuất hiện của các tác nhân giới thiệu, những thông tin từ công việc này là có giá trị và có thể thích ứng với nhiều lĩnh vực khác nhau.’

Nếu phương pháp này chứng minh được độ tin cậy, nó có thể giảm sự phụ thuộc của ngành công nghiệp vào các chỉ số hồi cứu và các tiêu đề được quảng cáo mạnh mẽ bằng cách giới thiệu một cách có thể mở rộng để đánh dấu nội dung hứa hẹn trước khi phát hành. Do đó, thay vì chờ đợi hành vi của người dùng để tín hiệu nhu cầu, các đội biên tập có thể nhận được dự báo sớm về sự quan tâm của khán giả, có thể phân phối lại sự phơi sáng trên một loạt các bản phát hành mới.

Phương pháp và Dữ liệu

Các tác giả phác thảo một quy trình làm việc bốn giai đoạn: xây dựng một tập dữ liệu chuyên dụng từ chưa phát hành metadata của bộ phim; thiết lập một mô hình baseline để so sánh; đánh giá các LLM phù hợp bằng cách sử dụng cả lý luận ngôn ngữ tự nhiên và dự đoán dựa trên nhúng; và tối ưu hóa đầu ra thông qua kỹ thuật nhắc trong chế độ tạo, sử dụng mô hình ngôn ngữ Llama 3.1 và 3.3 của Meta.

Because, các tác giả tuyên bố, không có tập dữ liệu công khai nào cung cấp một cách trực tiếp để kiểm tra giả thuyết của họ (vì hầu hết các bộ sưu tập hiện có đều tiền LLMs và thiếu metadata chi tiết), họ đã xây dựng một tập dữ liệu benchmark từ nền tảng giải trí của Comcast, phục vụ hàng chục triệu người dùng trên các giao diện trực tiếp và thứ ba.

Tập dữ liệu theo dõi các bộ phim mới được phát hành và liệu chúng có trở nên phổ biến sau đó hay không, với sự phổ biến được định nghĩa thông qua các tương tác của người dùng.

Tập dữ liệu tập trung vào các bộ phim chứ không phải là loạt phim, và các tác giả tuyên bố:

‘Chúng tôi tập trung vào các bộ phim vì chúng ít bị ảnh hưởng bởi kiến thức bên ngoài so với các loạt phim, cải thiện độ tin cậy của các thí nghiệm.’

Các nhãn được gán bằng cách phân tích thời gian cần thiết để một tiêu đề trở nên phổ biến trên các cửa sổ thời gian và kích thước danh sách khác nhau. LLM được nhắc với các trường metadata như thể loại, tóm tắt, xếp hạng, thời kỳ, diễn viên, đội ngũ, tâm trạng, giải thưởng và loại nhân vật.

Để so sánh, các tác giả sử dụng hai baseline: một thứ tự ngẫu nhiên; và một mô hình Popular Embedding (PE) (mà chúng tôi sẽ đến sớm).

Dự án sử dụng các mô hình ngôn ngữ lớn làm phương pháp xếp hạng chính, tạo ra các danh sách có thứ tự của các bộ phim với điểm phổ biến dự đoán và các lý do kèm theo – và các đầu ra này được định hình bởi các chiến lược kỹ thuật nhắc được thiết kế để hướng dẫn dự đoán của mô hình bằng cách sử dụng metadata cấu trúc.

Chiến lược nhắc định hình mô hình như một ‘trợ lý biên tập’ được giao nhiệm vụ xác định哪 các bộ phim sắp tới có khả năng trở nên phổ biến nhất, dựa chỉ trên metadata cấu trúc, và sau đó được giao nhiệm vụ sắp xếp lại một danh sách cố định của các tiêu đề không giới thiệu các mục mới, và trả về đầu ra ở định dạng JSON.

Mỗi phản hồi bao gồm một danh sách có thứ tự, điểm phổ biến được gán, lý do cho các xếp hạng, và tham chiếu đến bất kỳ ví dụ trước đó nào ảnh hưởng đến kết quả. Những mức độ metadata này được thiết kế để cải thiện khả năng nắm bắt ngữ cảnh của mô hình và khả năng dự đoán xu hướng khán giả trong tương lai.

Thử nghiệm

Thử nghiệm theo hai giai đoạn chính: ban đầu, các tác giả đã kiểm tra một số biến thể của mô hình để thiết lập một baseline, liên quan đến việc xác định phiên bản hoạt động tốt hơn so với một thứ tự ngẫu nhiên.

Thứ hai, họ đã kiểm tra các mô hình ngôn ngữ lớn trong chế độ tạo, bằng cách so sánh đầu ra của chúng với một baseline mạnh hơn, thay vì một thứ tự ngẫu nhiên, làm tăng độ khó của nhiệm vụ.

Điều này có nghĩa là các mô hình phải hoạt động tốt hơn so với một hệ thống đã chứng minh khả năng dự đoán哪 các bộ phim sẽ trở nên phổ biến. Do đó, các tác giả khẳng định, đánh giá phản ánh tốt hơn các điều kiện thực tế, nơi các đội biên tập và các hệ thống giới thiệu hiếm khi chọn giữa một mô hình và cơ hội, mà giữa các hệ thống cạnh tranh với các mức độ dự đoán khác nhau.

Lợi thế của Sự thiếu kiến thức

Một hạn chế chính trong thiết lập này là khoảng thời gian giữa ngày cắt của mô hình và ngày phát hành thực tế của các bộ phim. Vì các mô hình ngôn ngữ được đào tạo trên dữ liệu kết thúc từ sáu đến mười hai tháng trước khi các bộ phim được phát hành, chúng không có quyền truy cập vào thông tin sau khi phát hành, đảm bảo rằng các dự đoán dựa hoàn toàn trên metadata và không dựa trên bất kỳ phản hồi khán giả nào.

Đánh giá Baseline

Để xây dựng một baseline, các tác giả đã tạo ra các biểu diễn ngữ nghĩa của metadata bộ phim bằng cách sử dụng ba mô hình nhúng: BERT V4; Linq-Embed-Mistral 7B; và Llama 3.3 70B, lượng tử hóa thành 8-bit để đáp ứng các hạn chế của môi trường thử nghiệm.

Linq-Embed-Mistral được chọn để bao gồm do vị trí hàng đầu của nó trên bảng xếp hạng MTEB (Massive Text Embedding Benchmark) leaderboard.

Mỗi mô hình tạo ra vector embeddings của các bộ phim ứng viên, sau đó được so sánh với embeddings trung bình của 100 bộ phim phổ biến nhất từ các tuần trước khi phát hành mỗi bộ phim.

Sự phổ biến được suy ra bằng cách sử dụng tương đồng cosine giữa các embeddings này, với điểm tương đồng cao hơn cho thấy sự hấp dẫn dự đoán cao hơn. Độ chính xác của xếp hạng của mỗi mô hình được đánh giá bằng cách đo hiệu suất so với một baseline ngẫu nhiên.

Cải thiện hiệu suất của các mô hình Popular Embedding so với baseline ngẫu nhiên. Mỗi mô hình được kiểm tra bằng cách sử dụng bốn cấu hình metadata: V1 bao gồm chỉ thể loại; V2 bao gồm chỉ tóm tắt; V3 kết hợp thể loại, tóm tắt, xếp hạng nội dung, loại nhân vật, tâm trạng và thời kỳ phát hành; V4 thêm diễn viên, đội ngũ và giải thưởng vào cấu hình V3. Kết quả cho thấy cách các đầu vào metadata phong phú hơn ảnh hưởng đến độ chính xác của xếp hạng. Nguồn: https://arxiv.org/pdf/2505.02693

Kết quả (được hiển thị ở trên) cho thấy rằng BERT V4 và Linq-Embed-Mistral 7B đã cung cấp những cải tiến mạnh mẽ nhất trong việc xác định ba bộ phim phổ biến nhất, mặc dù cả hai đều hơi kém trong việc dự đoán bộ phim phổ biến nhất.

BERT cuối cùng được chọn làm mô hình baseline để so sánh với LLMs, vì hiệu quả và lợi ích tổng thể của nó vượt trội so với các hạn chế của nó.

Đánh giá LLM

Các nhà nghiên cứu đã đánh giá hiệu suất bằng cách sử dụng hai phương pháp xếp hạng: đôi và danh sách. Xếp hạng đôi đánh giá liệu mô hình có đúng thứ tự của một mục so với một mục khác; và xếp hạng danh sách xem xét độ chính xác của toàn bộ danh sách các ứng viên.

Điều này cho phép đánh giá không chỉ liệu các cặp bộ phim được xếp hạng chính xác (độ chính xác cục bộ), mà còn liệu toàn bộ danh sách các ứng viên phản ánh thứ tự phổ biến thực (độ chính xác toàn cầu) hay không.

Toàn bộ, không lượng tử hóa các mô hình được sử dụng để ngăn chặn sự mất mát hiệu suất, đảm bảo một so sánh nhất quán và có thể tái tạo giữa các dự đoán dựa trên LLM và các baseline dựa trên embeddings.

Đo lường

Để đánh giá hiệu quả của các mô hình ngôn ngữ trong việc dự đoán sự phổ biến của bộ phim, cả các chỉ số xếp hạng và phân loại được sử dụng, với sự chú ý đặc biệt đến việc xác định ba bộ phim phổ biến nhất.

Bốn chỉ số được áp dụng: Độ chính xác @ 1 đo lường tần suất mà mục phổ biến nhất xuất hiện ở vị trí đầu tiên; Hạng đảo ngược ghi lại vị trí của mục thực tế hàng đầu trong danh sách dự đoán bằng cách lấy nghịch đảo của vị trí của nó; Lợi ích tích lũy giảm dần chuẩn hóa (NDCG @ k) đánh giá độ chính xác của toàn bộ xếp hạng so với sự phổ biến thực, với điểm số cao hơn cho thấy sự phù hợp tốt hơn; và Lời nhắc @ 3 đo lường tỷ lệ của các bộ phim thực sự phổ biến xuất hiện trong ba dự đoán hàng đầu của mô hình.

Vì hầu hết các tương tác của người dùng xảy ra gần đầu của các menu được xếp hạng, việc đánh giá tập trung vào các giá trị thấp hơn của k, để phản ánh các trường hợp sử dụng thực tế.

Cải thiện hiệu suất của các mô hình ngôn ngữ lớn so với BERT V4, đo lường bằng cách tăng tỷ lệ phần trăm trên các chỉ số xếp hạng. Kết quả được tính trung bình trên mười lần chạy cho mỗi kết hợp mô hình và nhắc, với hai giá trị hàng đầu được đánh dấu. Các số liệu được báo cáo phản ánh sự cải thiện trung bình tỷ lệ phần trăm trên tất cả các chỉ số.

Hiệu suất của mô hình Llama 3.1 (8B), 3.1 (405B) và 3.3 (70B) được đánh giá bằng cách đo lường sự cải thiện của các chỉ số so với baseline BERT V4 đã được thiết lập trước đó. Mỗi mô hình được kiểm tra bằng cách sử dụng một loạt các nhắc, từ tối thiểu đến thông tin phong phú, để kiểm tra ảnh hưởng của chi tiết đầu vào đến chất lượng dự đoán.

Các tác giả tuyên bố:

‘Hiệu suất tốt nhất được đạt được khi sử dụng Llama 3.1 (405B) với nhắc thông tin phong phú nhất, tiếp theo là Llama 3.3 (70B). Dựa trên xu hướng quan sát được, khi sử dụng một nhắc phức tạp và dài (MD V4), một mô hình ngôn ngữ phức tạp hơn thường dẫn đến hiệu suất cải thiện trên các chỉ số khác nhau. Tuy nhiên, nó nhạy cảm với loại thông tin được thêm vào.’

Hiệu suất được cải thiện khi các giải thưởng của diễn viên được bao gồm như một phần của nhắc, trong trường hợp này là số lượng giải thưởng chính được nhận bởi năm diễn viên hàng đầu trong mỗi bộ phim. Dữ liệu phong phú hơn này là một phần của cấu hình nhắc chi tiết nhất, vượt trội so với một phiên bản đơn giản hơn không bao gồm sự công nhận của diễn viên. Lợi ích này rõ ràng nhất trong các mô hình lớn hơn, Llama 3.1 (405B) và 3.3 (70B), cả hai đều cho thấy độ chính xác dự đoán mạnh hơn khi được cung cấp tín hiệu này về uy tín và sự quen thuộc của khán giả.

Ngược lại, mô hình nhỏ nhất, Llama 3.1 (8B), cho thấy hiệu suất cải thiện khi các nhắc trở nên chi tiết hơn một chút, tiến từ thể loại đến tóm tắt, nhưng giảm khi nhiều trường được thêm vào, cho thấy mô hình thiếu khả năng tích hợp các nhắc phức tạp một cách hiệu quả, dẫn đến sự suy yếu về khả năng tổng quát hóa.

Khi các nhắc bị giới hạn ở thể loại alone, tất cả các mô hình đều dưới hiệu suất so với baseline, cho thấy rằng dữ liệu metadata hạn chế là không đủ để hỗ trợ dự đoán có ý nghĩa.

Kết luận

LLMs đã trở thành biểu tượng của trí tuệ nhân tạo tạo sinh, điều này có thể giải thích tại sao chúng đang được sử dụng trong các lĩnh vực mà các phương pháp khác có thể phù hợp hơn. Dù vậy, vẫn còn nhiều điều chúng ta không biết về khả năng của chúng trong các ngành công nghiệp khác nhau, vì vậy việc cho chúng một cơ hội là hợp lý.

Trong trường hợp này, cũng như trong các thị trường chứng khoán và dự báo thời tiết, chỉ có một mức độ giới hạn mà dữ liệu lịch sử có thể phục vụ làm nền tảng cho dự đoán trong tương lai. Trong trường hợp của các bộ phim và chương trình truyền hình, chính phương pháp phân phối hiện nay là một mục tiêu di động, trái ngược với giai đoạn từ 1978-2011, khi cáp, vệ tinh và phương tiện di động (VHS, DVD, v.v.) đại diện cho một loạt các gián đoạn lịch sử tạm thời hoặc đang phát triển.

Không phương pháp dự đoán nào có thể tính đến mức độ thành công hoặc thất bại của những sản phẩm khác có thể ảnh hưởng đến tính khả thi của một tài sản được đề xuất – và tuy nhiên, đây thường là trường hợp trong ngành công nghiệp điện ảnh và truyền hình, vốn yêu thích việc đi theo xu hướng.

Dù vậy, khi được sử dụng một cách suy nghĩ, LLMs có thể giúp tăng cường các hệ thống giới thiệu trong giai đoạn khởi động lạnh, cung cấp hỗ trợ hữu ích trên một loạt các phương pháp dự đoán.

Được xuất bản lần đầu vào Thứ Ba, ngày 6 tháng 5 năm 2025