Sử dụng Trí tuệ nhân tạo để Tóm tắt Video Hướng dẫn Chi tiết

Nếu bạn là người tăng tốc video hướng dẫn trên YouTube để có được thông tin bạn thực sự muốn; tham khảo bản chuyển thể của video để thu thập thông tin thiết yếu ẩn trong thời lượng dài và thường có tài trợ; hoặc hy vọng WikiHow đã tạo ra một phiên bản ít tốn thời gian hơn của thông tin trong video hướng dẫn; thì một dự án mới từ UC Berkeley, Google Research và Brown University có thể sẽ làm bạn quan tâm.

Dự án có tiêu đề TL;DW? Tóm tắt Video Hướng dẫn với Task Relevance & Cross-Modal Saliency, bài báo mới này mô tả việc tạo ra một hệ thống tóm tắt video hỗ trợ trí tuệ nhân tạo có thể xác định các bước quan trọng từ video và loại bỏ mọi thứ khác, dẫn đến các bản tóm tắt ngắn gọn giúp nhanh chóng đi đến vấn đề chính.

Sự khai thác của WikiHow đối với các đoạn video dài hiện có cho cả văn bản và thông tin video được dự án IV-Sum sử dụng để tạo ra các bản tóm tắt giả mà cung cấp sự thật cho việc đào tạo hệ thống. Nguồn: https://arxiv.org/pdf/2208.06773.pdf

Các bản tóm tắt kết quả có một phần nhỏ thời lượng của video gốc, trong khi thông tin đa phương thức (tức là dựa trên văn bản) cũng được ghi lại trong quá trình này để các hệ thống trong tương lai có thể tự động tạo ra các bài đăng blog theo phong cách WikiHow có thể tự động phân tích một video hướng dẫn dài dòng thành một bài viết ngắn gọn và có thể tìm kiếm, hoàn chỉnh với hình minh họa, có thể tiết kiệm thời gian và giảm bực tức.

Hệ thống mới này được gọi là IV-Sum (‘Tóm tắt Video Hướng dẫn’), và sử dụng thuật toán nhận dạng thị giác máy tính nguồn mở ResNet-50 cùng với một số kỹ thuật khác để xác định các khung và đoạn video quan trọng.

Quy trình công việc khái niệm cho IV-Sum.

Hệ thống được đào tạo trên các bản tóm tắt giả được tạo từ cấu trúc nội dung của trang web WikiHow, nơi những người thực thường chuyển đổi các video hướng dẫn phổ biến thành một dạng đa phương tiện phẳng hơn, thường sử dụng các đoạn video ngắn và hình ảnh động GIF lấy từ các video hướng dẫn nguồn.

Thảo luận về việc sử dụng các bản tóm tắt WikiHow như một nguồn dữ liệu sự thật cho hệ thống, các tác giả tuyên bố:

‘Mỗi bài viết trên trang web WikiHow Videos bao gồm một video hướng dẫn chính thể hiện một nhiệm vụ thường bao gồm nội dung tài trợ, các đoạn video của người hướng dẫn nói chuyện với máy quay mà không có thông tin hình ảnh về nhiệm vụ, và các bước không quan trọng cho việc thực hiện nhiệm vụ.

‘Những người xem muốn có một cái nhìn tổng quan về nhiệm vụ sẽ thích một video ngắn hơn mà không có tất cả các thông tin không liên quan trên. Các bài viết WikiHow (ví dụ, xem Cách làm cơm sushi) chứa chính xác điều này: văn bản chứa tất cả các bước quan trọng trong video được liệt kê với hình ảnh / đoạn video minh họa cho các bước khác nhau trong nhiệm vụ.’

Kết quả cơ sở dữ liệu từ việc thu thập web này được gọi là WikiHow Summaries. Cơ sở dữ liệu bao gồm 2.106 video đầu vào và bản tóm tắt liên quan. Đây là một tập dữ liệu lớn hơn đáng kể so với những gì thường có sẵn cho các dự án tóm tắt video, thường yêu cầu việc ghi nhãn và chú thích thủ công tốn kém và耗 thời gian – một quá trình đã được tự động hóa phần lớn trong công việc mới, nhờ vào phạm vi hạn chế hơn của việc tóm tắt video hướng dẫn (thay vì video chung chung).

IV-Sum tận dụng các biểu diễn mạng nơ-ron convolutional 3D thời gian, thay vì các biểu diễn dựa trên khung hình mà đặc trưng cho các công việc tương tự trước đây, và một nghiên cứu loại bỏ chi tiết trong bài báo xác nhận rằng tất cả các thành phần của cách tiếp cận này đều quan trọng cho chức năng của hệ thống.

IV-Sum đã được thử nghiệm thuận lợi so với các khuôn khổ có thể so sánh được, bao gồm CLIP-It (trong đó một số tác giả của bài báo cũng đã làm việc).

IV-Sum đạt điểm tốt so với các phương pháp có thể so sánh được, có thể do phạm vi ứng dụng hạn chế hơn, so với các sáng kiến tóm tắt video chung chung.

Phương pháp

Giai đoạn đầu tiên trong quá trình tóm tắt liên quan đến việc sử dụng một thuật toán yếu và không giám sát tương đối để tạo ra các bản tóm tắt giả và điểm số quan trọng của khung hình cho một số lượng lớn video hướng dẫn được thu thập từ web, với chỉ một nhãn nhiệm vụ duy nhất trong mỗi video.

Sau đó, một mạng tóm tắt hướng dẫn được đào tạo trên dữ liệu này. Hệ thống lấy văn bản được chuyển tự động (ví dụ, phụ đề AI được tạo tự động bởi YouTube cho video) và video nguồn làm đầu vào.

Mạng bao gồm một bộ mã hóa video và một bộ chuyển đổi đánh giá đoạn (SST), và việc đào tạo được hướng dẫn bởi các điểm số quan trọng được chỉ định trong các bản tóm tắt giả. Bản tóm tắt cuối cùng được tạo ra bằng cách nối các đoạn đạt được điểm số quan trọng cao.

Từ bài báo:

‘Ý tưởng chính đằng sau đường ống tạo bản tóm tắt giả của chúng tôi là rằng, cho một số lượng lớn video của một nhiệm vụ, các bước quan trọng đối với nhiệm vụ có khả năng xuất hiện trên nhiều video (liên quan đến nhiệm vụ).

‘Ngoài ra, nếu một bước quan trọng, nó thường là người trình bày sẽ nói về bước này trước, trong hoặc sau khi thực hiện nó. Do đó, phụ đề cho video được lấy bằng cách sử dụng Nhận dạng Giọng nói Tự động (ASR) sẽ có khả năng tham chiếu đến các bước chính này (saliency đa phương thức).’

Để tạo bản tóm tắt giả, video đầu tiên được chia đều thành các đoạn, và các đoạn được nhóm dựa trên sự tương đồng về hình ảnh thành ‘các bước’ (các màu khác nhau trong hình ảnh trên). Các bước này sau đó được chỉ định điểm số quan trọng dựa trên ‘liên quan đến nhiệm vụ’ và ‘saliency đa phương thức’ (tức là mối tương quan giữa văn bản ASR và hình ảnh). Các bước có điểm số cao được chọn để đại diện cho các giai đoạn trong bản tóm tắt giả.

Hệ thống sử dụng Cross-Modal Saliency để giúp xác định sự liên quan của từng bước, bằng cách so sánh lời nói được diễn giải với hình ảnh và hành động trong video. Điều này được thực hiện bằng cách sử dụng một mô hình video-văn bản được đào tạo trước, trong đó mỗi phần tử được đào tạo chung dưới sự mất mát MIL-NCE, sử dụng một mã hóa video 3D CNN được phát triển bởi, trong số những người khác, DeepMind.

Một điểm số quan trọng chung được thu được từ giá trị trung bình của các giai đoạn phân tích nhiệm vụ và saliency đa phương thức.

Dữ liệu

Một tập dữ liệu bản tóm tắt giả ban đầu đã được tạo ra cho quá trình này, bao gồm hầu hết nội dung của hai tập dữ liệu trước đó – COIN, một tập dữ liệu năm 2019 chứa 11.000 video liên quan đến 180 nhiệm vụ; và Cross-Task, chứa 4.700 video hướng dẫn, trong đó 3.675 được sử dụng trong nghiên cứu. Cross-Task có 83 nhiệm vụ khác nhau.

Trên, các ví dụ từ COIN; dưới, từ Cross-Task. Nguồn, lần lượt: https://arxiv.org/pdf/1903.02874.pdf và https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Sử dụng các video có trong cả hai tập dữ liệu chỉ một lần, các nhà nghiên cứu đã có thể thu được 12.160 video bao gồm 263 nhiệm vụ khác nhau, và 628,53 giờ nội dung cho tập dữ liệu của họ.

Để tạo ra tập dữ liệu dựa trên WikiHow, và để cung cấp sự thật cho hệ thống, các tác giả đã thu thập video hướng dẫn dài từ WikiHow Videos, cùng với hình ảnh và đoạn video (tức là GIF) liên quan đến từng bước. Do đó, cấu trúc của nội dung được WikiHow dẫn xuất sẽ đóng vai trò như một mẫu cho việc xác định các bước trong hệ thống mới.

Các tính năng được trích xuất thông qua ResNet50 đã được sử dụng để ghép các đoạn video được chọn lọc trong hình ảnh WikiHow và thực hiện việc định vị các bước. Hình ảnh được thu thập giống nhất trong một cửa sổ video 5 giây đã được sử dụng làm điểm neo.

Các đoạn video ngắn hơn này sau đó được gắn lại với nhau thành các video sẽ tạo thành sự thật cho việc đào tạo mô hình.

Các nhãn đã được chỉ định cho từng khung hình trong video đầu vào, để tuyên bố liệu chúng có thuộc về bản tóm tắt đầu vào hay không, với mỗi video nhận được từ các nhà nghiên cứu một nhãn nhị phân cấp khung hình, và một điểm số bản tóm tắt trung bình được thu được thông qua các điểm số quan trọng cho tất cả khung hình trong đoạn.

Tại giai đoạn này, các ‘bước’ trong mỗi video hướng dẫn bây giờ đã được liên kết với dữ liệu dựa trên văn bản, và được gắn nhãn.

Đào tạo, Kiểm tra và Chỉ số

Tập dữ liệu WikiHow cuối cùng đã được chia thành 1.339 video kiểm tra và 768 video xác thực – một sự tăng đáng kể so với kích thước trung bình của các tập dữ liệu không thô dành cho phân tích video.

Các bộ mã hóa video và văn bản trong mạng mới đã được đào tạo chung trên một mạng S3D với trọng số được tải từ một mô hình HowTo100M được đào tạo trước dưới sự mất mát MIL-NCE.

Mô hình đã được đào tạo với bộ tối ưu hóa Adam tại tốc độ học 0,01 với kích thước batch 24, với liên kết Dữ liệu song song phân tán trải rộng quá trình đào tạo trên tám card đồ họa NVIDIA RTX 2080, với tổng 24GB VRAM phân tán.

IV-Sum sau đó đã được so sánh với các kịch bản khác nhau cho CLIP-It theo các công việc trước tương tự, bao gồm một nghiên cứu về CLIP-It. Các chỉ số được sử dụng bao gồm Độ chính xác, Độ nhớ và Giá trị F, trên ba baseline không giám sát (xem bài báo để biết chi tiết).

Kết quả được liệt kê trong hình ảnh trước, nhưng các nhà nghiên cứu lưu ý thêm rằng CLIP-It bỏ lỡ một số bước có thể tại các giai đoạn khác nhau trong các thử nghiệm mà IV-Sum không. Họ cho rằng điều này là do CLIP-It đã được đào tạo và phát triển bằng cách sử dụng các tập dữ liệu nhỏ hơn đáng kể so với tập dữ liệu WikiHow mới.

Ý nghĩa

Giá trị lâu dài có thể có của dòng nghiên cứu này (mà IV-Sum chia sẻ với thách thức rộng lớn hơn của phân tích video) có thể là làm cho các đoạn video hướng dẫn trở nên dễ tiếp cận hơn với việc lập chỉ mục của công cụ tìm kiếm thông thường, và cho phép loại ‘mảnh’ trong kết quả cho video mà Google thường trích xuất từ một bài viết thông thường dài hơn.

Đương nhiên, sự phát triển của bất kỳ quy trình hỗ trợ trí tuệ nhân tạo nào giảm bớt nghĩa vụ của chúng ta phải áp dụng sự chú ý tuyến tính và độc quyền cho nội dung video có thể có ảnh hưởng đến sự hấp dẫn của phương tiện này đối với một thế hệ nhà tiếp thị, những người mà sự không rõ ràng của video có thể là cách duy nhất họ cảm thấy có thể thu hút chúng ta.

Với việc xác định vị trí của ‘nội dung có giá trị’ khó khăn, video do người dùng đóng góp đã được người tiêu dùng truyền thông rộng rãi dung thứ về việc đặt sản phẩm, vị trí tài trợ và sự tự quảng bá chung mà video thường được bao gồm. Các dự án như IV-Sum mang lại hy vọng rằng cuối cùng, các phân đoạn của nội dung video sẽ trở nên tinh gọn và có thể tách rời khỏi những gì nhiều người coi là ‘hàng hóa thừa’ của quảng cáo trong nội dung và ngoại ngữ không liên quan.

Được xuất bản lần đầu vào ngày 16 tháng 8 năm 2022. Cập nhật 14:52 ngày 16 tháng 8, xóa cụm từ trùng lặp.