Công cụ mới được hỗ trợ bởi Trí tuệ nhân tạo cho phép chỉnh sửa video từ tài liệu văn bản có chủ đề

Một nhóm các nhà nghiên cứu khoa học máy tính từ Đại học Tsinghua và Beihand ở Trung Quốc, IDC Herzilya ở Israel và Đại học Harvard gần đây đã tạo ra một công cụ có thể tạo ra các video đã được chỉnh sửa dựa trên mô tả văn bản và một kho lưu trữ các đoạn video.

Một lượng lớn video được quay mỗi ngày bởi các nhà quay phim chuyên nghiệp, những người yêu thích và những người bình thường. Tuy nhiên, việc chỉnh sửa những video này thành một bản trình bày có ý nghĩa vẫn là một khoản đầu tư thời gian tốn kém, thường đòi hỏi phải sử dụng các công cụ chỉnh sửa phức tạp có thể xử lý các đoạn video thô. Đội ngũ nghiên cứu quốc tế gần đây đã phát triển một công cụ cho phép người dùng tạo ra các video dựa trên mô tả văn bản có chủ đề. Công cụ này có khả năng kiểm tra các đoạn video trong kho lưu trữ và chọn các đoạn video phù hợp với văn bản mô tả nhập vào. Mục tiêu là công cụ này phải thân thiện với người dùng và đủ mạnh để tạo ra các video chất lượng cao mà không cần kỹ năng chỉnh sửa video chuyên sâu hoặc phần mềm chỉnh sửa video đắt tiền.

Trong khi các nền tảng chỉnh sửa video hiện tại đòi hỏi kiến thức về kỹ thuật chỉnh sửa video, công cụ được tạo ra bởi các nhà nghiên cứu cho phép những người mới bắt đầu tạo ra các tác phẩm video một cách tự nhiên và trực quan hơn. “Write-A-Video”, như nó được gọi bởi các nhà tạo ra, cho phép người dùng chỉnh sửa video bằng cách chỉ cần chỉnh sửa văn bản đi kèm với video. Nếu người dùng xóa văn bản, thêm văn bản hoặc di chuyển câu xung quanh, những thay đổi này sẽ được phản ánh trong video. Các cảnh quay tương ứng sẽ được cắt hoặc thêm khi người dùng thao tác với văn bản và video cuối cùng sẽ được tùy chỉnh theo mô tả của người dùng.

Ariel Shamir, Hiệu trưởng Trường Khoa học Máy tính Efi Arazi tại IDC Herzliya, giải thích rằng công cụ Write-A-Video cho phép người dùng tương tác với video chủ yếu thông qua văn bản, sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để phù hợp với các cảnh quay video dựa trên ý nghĩa ngữ nghĩa được cung cấp. Một thuật toán tối ưu hóa sau đó được sử dụng để lắp ráp video bằng cách cắt và hoán đổi các cảnh quay. Công cụ cũng cho phép người dùng thử nghiệm với các phong cách trực quan khác nhau, điều chỉnh cách các cảnh được trình bày bằng cách sử dụng các cụm từ điện ảnh cụ thể sẽ tăng tốc hoặc giảm tốc độ hành động, hoặc thực hiện nhiều hoặc ít cảnh quay hơn.

Chương trình chọn các cảnh quay có thể dựa trên sự hấp dẫn về mặt thẩm mỹ. Chương trình xem xét cách các cảnh quay được khung hình, tập trung và chiếu sáng để xác định sự hấp dẫn về mặt thẩm mỹ. Công cụ sẽ chọn các cảnh quay được tập trung tốt hơn, thay vì mờ hoặc không ổn định, và nó cũng sẽ ưu tiên các cảnh quay được chiếu sáng tốt. Theo các nhà tạo ra Write-A-Video, người dùng có thể hiển thị video được tạo ra tại bất kỳ điểm nào và xem trước nó với một đoạn giới thiệu bằng giọng nói mô tả văn bản được sử dụng để chọn các đoạn video.

Theo nhóm nghiên cứu, thí nghiệm của họ đã chứng minh rằng các kỹ thuật kỹ thuật số kết hợp các khía cạnh của tầm nhìn máy tính và xử lý ngôn ngữ tự nhiên có thể hỗ trợ người dùng trong các quy trình sáng tạo như chỉnh sửa video.

“Công việc của chúng tôi chứng minh tiềm năng của việc ghép nối trực quan-ngữ nghĩa tự động trong chỉnh sửa tính toán dựa trên cụm từ, cung cấp một cách thông minh để làm cho việc tạo video trở nên dễ tiếp cận hơn với những người không chuyên nghiệp,” Shamir giải thích với TechXplore.

Các nhà nghiên cứu đã thử nghiệm công cụ của họ trên các kho lưu trữ video khác nhau kết hợp với tài liệu văn bản có chủ đề. Các nghiên cứu người dùng và đánh giá định lượng đã được thực hiện để diễn giải kết quả của thí nghiệm. Kết quả của các nghiên cứu người dùng cho thấy rằng những người không chuyên có thể tạo ra các video đã được chỉnh sửa chất lượng cao bằng công cụ này nhanh hơn so với các chuyên gia sử dụng phần mềm chỉnh sửa dựa trên khung hình. Như được báo cáo bởi TechXplore, nhóm sẽ trình bày công việc của họ trong vài ngày tới tại hội nghị SIGGRAPH Asia được tổ chức tại Úc. Các thực thể khác cũng đang sử dụng Trí tuệ nhân tạo để tăng cường chỉnh sửa video. Adobe (ADBE ) cũng đã làm việc trên các tiện ích mở rộng được hỗ trợ bởi Trí tuệ nhân tạo của riêng họ cho Premiere Pro, nền tảng chỉnh sửa của họ. Công cụ giúp mọi người đảm bảo rằng việc thay đổi tỷ lệ khung hình không cắt bỏ các phần quan trọng của video.