Sử dụng Trí tuệ nhân tạo để mô phỏng hạt phim

Make America Grainy Again: một công cụ trí tuệ nhân tạo mới có thể loại bỏ hạt phim từ các đoạn phim cũ, nén video ở một phần nhỏ của kích thước, sau đó đặt hạt phim trở lại để người xem không nhận thấy. Nó hoạt động với các tiêu chuẩn video hiện có và cắt giảm băng thông lên đến 90%, đồng thời giữ lại vẻ ngoài cổ điển.

Đối với nhiều người trong chúng ta khi xem phim hoặc chương trình truyền hình cũ, ‘tiếng sizzle’ của hạt phim là một dấu hiệu đáng tin cậy; ngay cả khi chúng ta không nhận thức được nó một cách có ý thức, hạt phim cho chúng ta biết rằng những gì chúng ta đang xem được tạo ra bằng hóa chất, không phải bằng mã, và gắn kết trải nghiệm với thế giới vật lý: sự lựa chọn cổ phiếu, độ phơi sáng, quá trình phòng thí nghiệm và thời đại đã qua:

Cách tiếp cận hạt phim của Hollywood đã thay đổi cùng với sự thay đổi trong văn hóa và phương pháp sản xuất. Trong những năm 1960, các loại phim và phương pháp nhiếp ảnh thay đổi đã góp phần tạo nên bản sắc hình ảnh đặc trưng của thập kỷ đó. Sau đó, các đạo diễn làm việc trong lĩnh vực kỹ thuật số đã cố ý tái giới thiệu hạt phim. Vào giữa những năm 1980, đạo diễn James Cameron đã chọn một loại phim Kodak đặc biệt thô cho bộ phim Aliens (1986, ở góc dưới bên phải của hình ảnh trên), có lẽ để tăng cường bầu không khí cũng như giúp che giấu dây từ hiệu ứng thực tế. Nguồn: https://archive.is/3ZSjN (bài viết gần đây nhất của tôi về chủ đề này)

Văn bản tương tự có sẵn từ các nguồn khác, nhưng chúng tôi sẽ tiếp tục với nội dung chính.

Christopher Nolan không bao giờ chuyển đổi. Trong khi hầu hết ngành công nghiệp đã chấp nhận kỹ thuật số vì tốc độ và tính linh hoạt của nó, đạo diễn nổi tiếng này vẫn kiên quyết với phim celluloid như một phương pháp kỷ luật và một yếu tố thẩm mỹ.

Denis Villeneuve, làm việc trong các pipeline kỹ thuật số, vẫn phân tích cảnh quay của mình thông qua các quy trình photochemical. Đối với các bộ phim Dune, quay bằng kỹ thuật số, cảnh quay đã được in ra phim và sau đó quét lại kỹ thuật số, chỉ để tạo ra bầu không khí và hiệu ứng.

Hạt phim giả

Những người sành phim và truyền hình thường liên kết hạt phim nhìn thấy với độ phân giải cao, nơi tỷ lệ bitrate (lượng dữ liệu được đẩy vào mỗi khung hình) cao đến mức thậm chí các chi tiết nhỏ nhất, như hạt halide, được bảo tồn.

Tuy nhiên, nếu các mạng phát trực tuyến thực sự cung cấp tỷ lệ bitrate như vậy, nó sẽ gây ra áp lực nghiêm trọng cho khả năng của mạng và có thể gây ra tình trạng giật lag và dừng. Do đó, các nền tảng như Netflix tạo ra các phiên bản AV1 được tối ưu hóa cho nội dung của họ và sử dụng khả năng tổng hợp hạt phim của codec AV1 để thêm hạt phim vào phim hoặc tập một cách thông minh và phù hợp, tiết kiệm 30% băng thông trong quá trình này.

AV1 được thiết kế để kết hợp hạt phim nhân tạo, như trong các ví dụ này. Nguồn: https://waveletbeam.com/index.php/av1-film-grain-synthesis

Sự ‘cuồng hạt phim’ là một hiện tượng tương đối hiếm trong các xu hướng atavistic như sự hồi sinh của vinyl, và khó nói liệu nó được sử dụng bởi các nền tảng phát trực tuyến để làm cho video được tối ưu hóa cao nhìn giống như ‘raw video’ thực sự đắt tiền (đối với những người xem đã vô tình liên kết các đặc điểm này); hoặc để đánh lạc hướng sự sụt giảm chất lượng cảm nhận mà các chương trình cũ 4:3 sẽ gặp phải khi các nhà cung cấp phát trực tuyến cắt chúng thành tỷ lệ khung hình widescreen; hoặc chỉ để chiều lòng thẩm mỹ ‘Nolan’ cổ điển nói chung.

Hạt phim được cô lập

Vấn đề là hạt phim cũng là tiếng ồn. Các hệ thống kỹ thuật số ghét tiếng ồn, và các codec phát trực tuyến như AV1 sẽ loại bỏ tiếng ồn đó để tiết kiệm băng thông, trừ khi các thiết lập hạt phim được cấu hình rõ ràng. Tương tự, các công cụ tăng tỷ lệ ảnh như dòng Topaz Gigapixel coi hạt phim là một lỗi cần được sửa.

Trong lĩnh vực tổng hợp hình ảnh dựa trên khuếch tán, hạt phim cực kỳ khó tạo ra, vì nó đại diện cho chi tiết cực nhỏ, và do đó thường chỉ xuất hiện trong các mô hình quá mức, vì toàn bộ kiến trúc mô hình khuếch tán (LDM) được thiết kế để phá vỡ tiếng ồn (như hạt phim) thành hình ảnh rõ ràng, chứ không phải xử lý các mảnh hạt phim như các thuộc tính ngầm trong phương tiện.

Do đó, việc tạo ra hạt phim thuyết phục bằng học máy là một thách thức. Và ngay cả khi có thể làm được, việc kết xuất nó trực tiếp vào video được tối ưu hóa sẽ chỉ làm tăng kích thước tệp video trở lại.

Do sự xem xét hậu cần này, các codec video hiện đại như Versatile Video Coding (VVC) cung cấp hạt phim như một dịch vụ ‘sidecar’.

VVC nén video sạch, không có hạt phim và loại bỏ hạt phim. Thay vì lãng phí dữ liệu để bảo tồn các mẫu hạt phim ngẫu nhiên, cao tần, nó phân tích hạt phim riêng biệt và mã hóa một tập hợp nhỏ các tham số (ví dụ: biên độ, tần số và chế độ trộn) mô tả cách tái tạo hạt phim tương tự trong quá trình phát lại.

Các tham số này được lưu trữ trong một FGC-SEI (Thông tin Tăng cường Tính cách Hạt phim Phim), được gửi cùng với dòng bit chính. Sau khi giải mã, một mô-đun tổng hợp sử dụng các hướng dẫn này để áp dụng hạt phim tổng hợp mô phỏng hạt phim ban đầu.

Điều này bảo tồn ‘hình ảnh’ của video có bitrate cao, giàu hạt phim, trong khi giữ bitrate thực tế thấp, vì bộ mã hóa không bị ép buộc phải dành tài nguyên để bảo tồn tiếng ồn không thể đoán trước.

Thêm vào đó, giống như các tệp phụ đề rời, nội dung ‘hạt phim’ này cụ thể cho video đang được xử lý; việc áp dụng các bộ lọc hạt phim chung chung trong các nền tảng như Photoshop hoặc After Effects, hoặc trong các pipeline xử lý tự động, sẽ không dẫn đến ‘hạt phim được điều chỉnh’, mà thay vào đó là một lớp tiếng ồn không liên quan:

Trái: hình ảnh gốc. Giữa: Bộ lọc hạt phim Camera Raw của Photoshop được áp dụng đồng đều trên tất cả các kênh. Phải: Bộ lọc hạt phim相同 được áp dụng riêng cho từng kênh. Nguồn hình ảnh (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (từ bài viết trước của tôi)

Bộ lọc ‘Hạt phim’ của Photoshop thêm nhiễu ngẫu nhiên đồng đều; nhưng hạt phim thực sự đến từ các tinh thể halide có kích thước khác nhau. Việc áp dụng bộ lọc này cho từng kênh riêng biệt (xem hình ảnh trên) chỉ tạo ra nhiều混乱 hơn, không phải tính thực tế. Hạt phim thực sự phản ánh cách ánh sáng chiếu lên các lớp phim vào thời điểm phơi sáng. Việc mô phỏng điều này sẽ đòi hỏi việc ước tính cách các khu vực khác nhau của hình ảnh sẽ kích hoạt từng lớp halide, không chỉ chia hiệu ứng này trên các lớp RGB.

FGA-NN

Vào lĩnh vực này, một bài báo nghiên cứu mới từ Pháp – một bài viết ngắn nhưng thú vị – cung cấp một phương pháp phân tích và tái tạo hạt phim vượt trội về chất lượng và số lượng:

So sánh giữa hạt phim thực và kết quả từ các phương pháp phân tích và tổng hợp khác nhau. Nguồn: https://arxiv.org/pdf/2506.14350

Hệ thống mới, có tên FGA-NN, không rời bỏ việc sử dụng tổng hợp hạt phim Gaussian truyền thống thông qua phương pháp VVC tiêu chuẩn, Versatile Film Grain Synthesis (VFGS). Điều mà hệ thống thay đổi là phân tích, sử dụng một mạng lưới thần kinh để ước tính các tham số tổng hợp một cách chính xác hơn

Vì vậy, hạt phim cuối cùng vẫn được tổng hợp sử dụng mô hình Gaussian truyền thống – nhưng mạng lưới cung cấp siêu dữ liệu tốt hơn cho một máy tạo theo quy tắc tiêu chuẩn, đạt được mô hình hiện đại.

Bài báo mới có tiêu đề FGA-NN: Mạng lưới thần kinh phân tích hạt phim, và đến từ ba nhà nghiên cứu tại InterDigital R&D, Cesson-Sévigné. Mặc dù bài báo không dài, hãy cùng xem một số khía cạnh chính của những tiến bộ mà phương pháp mới này cung cấp.

Phương pháp

Tóm lại: hệ thống FGA-NN lấy một video có hạt phim làm đầu vào và trích xuất một mô tả紧凑 của hạt phim, đầu ra các tham số trong định dạng FGC-SEI tiêu chuẩn được sử dụng bởi các codec hiện đại đa dạng. Những tham số này được truyền cùng với video, cho phép bộ giải mã tái tạo hạt phim sử dụng VFGS, thay vì mã hóa hạt phim trực tiếp.

Sơ đồ phân tích và áp dụng lại hạt phim trong phân phối video, sử dụng FGA-NN để trích xuất tham số và VFGS để tổng hợp.

Để đào tạo mạng lưới, các tác giả cần các cặp video có hạt phim và siêu dữ liệu FGC-SEI tương ứng. Vì hầu hết các đoạn phim có hạt phim không có siêu dữ liệu này, các nhà nghiên cứu đã tạo ra bộ dữ liệu của riêng họ bằng cách tạo ra các tham số FGC-SEI, áp dụng hạt phim tổng hợp cho các video sạch và sử dụng chúng làm ví dụ đào tạo.

Dữ liệu đào tạo cho FGA-NN được tạo ra bằng cách áp dụng hạt phim tổng hợp cho các đoạn phim sạch từ các bộ dữ liệu BVI-DVC và DIV2K. Các tham số FGC-SEI được tạo ngẫu nhiên và sử dụng với công cụ tổng hợp VFGS, cho phép mỗi video có hạt phim được ghép với siêu dữ liệu đã biết.

Mô hình dựa trên tần số được hỗ trợ bởi các tiêu chuẩn video hiện tại đã được sử dụng, với các phạm vi tham số bị giới hạn để duy trì tính hợp lý về mặt thị giác trên cả kênh luma và chroma.

Dữ liệu đào tạo cho bộ sưu tập mới được tạo ra bằng cách áp dụng hạt phim tổng hợp cho các đoạn phim sạch từ các bộ dữ liệu BVI-DVC và DIV2K. Các tham số FGC-SEI được tạo ngẫu nhiên và sử dụng với công cụ tổng hợp VFGS, cho phép mỗi video có hạt phim được ghép với siêu dữ liệu đã biết.

Tổng quan về các phạm vi tham số FGC-SEI được tạo ngẫu nhiên để tạo hạt phim tổng hợp cho đào tạo, áp dụng cho các đoạn phim sạch từ các bộ dữ liệu BVI-DVC và DIV2K. Các tham số được giới hạn để đảm bảo kết quả thị giác hợp lý trên cả kênh luma và chroma.

Mô hình lọc tần số, phương pháp tổng hợp duy nhất hiện được hỗ trợ trong các triển khai codec như Mô hình kiểm tra VVC (VTM), đã được sử dụng trên toàn bộ. Các phạm vi tham số được giới hạn để bảo tồn tính hợp lý về mặt thị giác trên cả kênh luma và chroma.

Hiệu ứng mạng

FGA-NN có hai mô hình được phối hợp, cho luma và chroma, mỗi mô hình được thiết kế để dự đoán các tham số cụ thể cần thiết để tái tạo hạt phim thực tế.

Đối với mỗi hình ảnh đầu vào, hệ thống ước tính một tập hợp các khoảng cường độ, các yếu tố tỷ lệ liên kết với mỗi khoảng, các tần số cắt ngang và dọc, và một điều chỉnh tỷ lệ tổng thể được gọi là Log2Scale. Để xử lý điều này, mô hình sử dụng một bộ trích xuất tính năng chung xử lý hình ảnh có hạt phim và cung cấp đầu vào cho bốn nhánh đầu ra riêng biệt, mỗi nhánh chịu trách nhiệm cho một nhiệm vụ dự đoán khác nhau:

Kiến trúc của phiên bản luma của FGA-NN. Một bộ trích xuất tính năng chung xử lý hình ảnh có hạt phim và cung cấp đầu vào cho bốn nhánh đầu ra riêng biệt, mỗi nhánh chịu trách nhiệm cho một nhiệm vụ dự đoán khác nhau: ranh giới khoảng, yếu tố tỷ lệ, tần số cắt, và Log2Scale toàn cầu. Mô hình chroma sử dụng cùng cấu trúc với kích thước đầu vào và đầu ra được điều chỉnh.

Ranh giới khoảng được dự đoán bằng hồi quy tuyến tính, trong khi các yếu tố tỷ lệ, tần số cắt và thiết lập tỷ lệ toàn cầu được xử lý như các vấn đề phân loại.

Kiến trúc được điều chỉnh để phản ánh độ phức tạp của mỗi nhiệm vụ, với các lớp nội bộ lớn hơn được sử dụng cho các dự đoán chi tiết hơn; cụ thể, mô hình chroma phản ánh cấu trúc của mô hình luma, nhưng điều chỉnh để phù hợp với các đặc điểm khác nhau của dữ liệu màu.

Đào tạo và Kiểm tra

FGA-NN được đào tạo sử dụng bốn hàm mục tiêu, mỗi hàm tương ứng với một nhiệm vụ dự đoán. Đối với đầu ra phân loại, một hàm mất mát cross-entropy được sử dụng để giảm khoảng cách giữa các nhãn dự đoán và nhãn thực.

Ranh giới khoảng được chuẩn hóa trong phạm vi 0-1 và được tối ưu hóa bằng cách sử dụng một hàm mất mát kết hợp: một hàm mất mát L1 mất mát (expL1) phạt các lỗi lớn hơn nhiều, và một phạt đơn điệu ngăn chặn các xu hướng giảm. Tất cả bốn mất mát được kết hợp, với trọng số cao được chỉ định cho các yếu tố cắt và tỷ lệ, trong khi ranh giới khoảng và Log2Scale được trọng số ở 1 và 0,1.

Đào tạo được thực hiện dưới bộ tối ưu hóa Adam, với tốc độ học 5e-4, trong 10.000 lần lặp, với kích thước batch là 64.

Công cụ so sánh duy nhất phù hợp cho các kiểm tra so sánh là FGA-CONVENT, cũng tạo ra giá trị trong định dạng FGC-SEI và được sử dụng cho xử lý hạt phim. Cả hai hệ thống đều được kiểm tra trên các chuỗi UHD từ bộ dữ liệu đánh giá chủ quan JVET, sử dụng các đoạn phim có hạt phim thực.

Các dòng đứt ngang dọc chỉ ra ranh giới khoảng cường độ, trong khi lợi ích Log2Scale được ghi chú trong nhãn trục.

Trong hình ảnh trên, chúng ta thấy các khung hình được cắt giống hệt nhau được tạo ra bởi VFGS sử dụng các tham số từ mỗi phương pháp, so sánh với bản gốc. Các ước tính luma tương ứng cũng được vẽ trên cùng với các giá trị thực được đặt thủ công sử dụng VFGS, nơi đây biểu đồ cường độ pixel trên trục X (0-255), các yếu tố tỷ lệ trên trục Y xanh (0-255), và tần số cắt trên trục Y xanh (2-14).

Các tác giả tuyên bố:

‘Có thể quan sát thấy FGA-NN chính xác nắm bắt xu hướng tổng thể của mẫu hạt phim thực và biên độ, dẫn đến hình ảnh được tổng hợp có hạt phim tương tự về mặt nhận thức so với hình ảnh thực.’

‘Mặt khác, FGA-CONVENT dự đoán một yếu tố tỷ lệ thấp hơn, được bù đắp bởi một yếu tố Log2Scale thấp hơn tương ứng do thiết kế của nó, và có xu hướng tạo ra một mẫu hạt phim thô hơn so với mẫu tham chiếu, dẫn đến một hình ảnh nhất quán về mặt thị giác nhưng khác biệt.’

Họ lưu ý rằng việc so sánh trực tiếp với các tham số hạt phim thực là không đáng tin cậy, vì tỷ lệ và Log2Scale có thể bù đắp cho nhau, và các lỗi nhỏ thường có ít tác động về mặt thị giác.

Kiểm tra niềm tin

Độ trung thực của hạt phim được đánh giá trên bốn luồng làm việc: FGA-NN với VFGS; FGA-CONVENT cộng VFGS; Style-FG; và 3R-INN. Kiểm tra sử dụng cả bộ dữ liệu FGC-SEI và FilmGrainStyle740k, so sánh đầu ra với hạt phim thực sử dụng Độ đo tương tự học được (LPIPS); JSD-NSS; và sự phân kỳ Kullback-Leibler (KL).

Kết quả kiểm tra trên bộ dữ liệu FilmGrainStyle740k. Style-FG và 3R-INN vượt trội so với các phương pháp khác do được đào tạo trên bộ dữ liệu này, với FGA-NN theo sát. FGA-CONVENT hoạt động dưới mức tối ưu, phản ánh sự phụ thuộc của nó vào phân tích nhiều khung hình và vùng đồng nhất – điều kiện không được đáp ứng trong trường hợp này khi sử dụng các đầu vào nhỏ, giàu kết cấu.

Về những kết quả này, các tác giả tuyên bố:

‘Trên bộ dữ liệu kiểm tra FilmGrainStyle740k, Style-FG và 3R-INN đạt được kết quả tốt nhất, vì những phương pháp này được đào tạo cụ thể trên bộ dữ liệu này, với FGA-NN theo sát. Hiệu suất của FGA-CONVENT kết hợp với VFGS là dưới mức tối ưu trên cả hai bộ dữ liệu kiểm tra. ‘

‘Điều này chỉ đơn giản là do phân tích dựa trên các vùng đồng nhất và khai thác thông tin từ nhiều khung hình trong một trường hợp phân tích hạt phim thực, trong khi trong đánh giá này, phân tích được cung cấp với một hình ảnh đơn lẻ (256×256 đến tối đa 768×512), thường chứa nhiều kết cấu. ‘

‘Điều này làm cho thách thức đối với phương pháp phân tích truyền thống trở nên khó khăn hơn, khiến cho việc áp dụng FGA-CONVENT vào các hình ảnh nhỏ như vậy là không thể.’

Cuối cùng, các tác giả lưu ý rằng trong khi các phương pháp học máy như 3R-INN và Style-FG tạo ra kết quả thị giác mạnh trên các bộ dữ liệu được kiểm soát, chi phí tính toán cao của chúng khiến chúng không phù hợp để triển khai trên các thiết bị của người dùng cuối.

So sánh các khung hình có bitrate thấp được tăng cường sử dụng các luồng làm việc phân tích và tổng hợp khác nhau (các cột thứ ba đến cuối).

Ngược lại, phương pháp được đề xuất trong bài báo mới kết hợp mô-đun phân tích FGA-NN nhẹ với phương pháp tổng hợp VFGS hiệu quả về mặt phần cứng, mà các tác giả mô tả là một giải pháp triển khai khả thi và hiệu quả hơn cho việc tái giới thiệu hạt phim trong video nén.

Họ tuyên bố thêm rằng lợi ích của FGA-NN có thể đáng kể ở quy mô lớn:

‘[Đ mã hóa] các video UHD có hạt phim ở bitrate trung bình đến thấp bằng cách sử dụng luồng làm việc phân tích và tổng hợp hạt phim của chúng tôi cho phép tiết kiệm bitrate lên đến 90% so với mã hóa bitrate cao.’

Kết luận

Sự ám ảnh với hạt phim là một trong những khái niệm kỳ lạ và thú vị nhất của thời đại hậu phân tích, và thú vị khi lưu ý rằng điều từng được coi là một hạn chế của phương tiện này bây giờ đã trở thành một biểu tượng của tính xác thực và chân thực, thậm chí đối với một thế hệ mới của người xem sinh ra sau sự suy giảm của phim.

Nên lưu ý rằng không có phương pháp tái tạo hạt phim hiện đại, bao gồm cả đổi mới này, có thể chính xác nắm bắt hiệu ứng thực sự của cách ánh sáng ảnh hưởng đến các lớp halide trong một quá trình photochemical thực, trên một loạt các điều kiện.

Được xuất bản lần đầu vào thứ Tư, ngày 18 tháng 6 năm 2025