Mang đến cho video AI chút ký ức về những điều đã qua

Hồi tháng Ba, chúng tôi đã xem xét khó khăn của video AI tạo sinh trong việc ghi nhớ những vật thể và địa điểm nó từng thấy để có thể tái hiện chúng lần nữa và duy trì tính nhất quán về hình ảnh.

Hệ quả là bạn có thể bước qua một cánh cửa trong thế giới do mô hình AI tạo ra, quay lại sau mười giây và thấy cánh cửa mình vừa đi qua đã biến mất.

Đây không phải là một lỗi nhỏ có thể dễ dàng khắc phục: vì video AI tạo sinh liên tục nghĩ ra “điều tiếp theo” cần xử lý, nó thực sự không thể nhớ được những gì đã xảy ra từ lâu hoặc những gì đã trôi khỏi cửa sổ ngữ cảnh hạn hẹp của nó.

Điều này có nghĩa là khi khám phá một mô hình thế giới AI đã được huấn luyện, trải nghiệm sẽ không giống như khám phá một môi trường CGI được dựng mô hình, nơi kết cấu và hình học đã cố định, được lưu dưới dạng dữ liệu vectơ và ảnh bitmap; thay vào đó, nó giống như bước đi trong giấc mơ về những xác suất gần đúng — bạn có thể bắt gặp cùng một thứ y hệt hai lần, nhưng đó chỉ là vì nó được tái tạo lần thứ hai từ không gian tiềm ẩn thông qua ngữ cảnh, chứ không phải vì mô hình thực sự nhớ đã tạo ra hoặc nhìn thấy nó.

Vì vậy, mô hình thế giới video AI tạo sinh điển hình giống như một người mắc chứng mất trí nhớ thuận chiều: họ nhớ rõ mọi chuyện trước một biến cố ở não — chẳng hạn như đột quỵ hoặc chấn thương — nhưng không thể hình thành ký ức mới kể từ biến cố đó (tình trạng này từng được công chúng biết đến rộng rãi qua nhân vật của Guy Pearce mắc chứng bệnh này trong phim Memento [2000], xuất hiện trong hình ảnh chính của bài viết).

Theo cách này, các mô hình video lưu giữ hiểu biết sâu sắc, ăn sâu về nhiều lĩnh vực, nhưng lại không có khả năng ghi nhớ bất cứ điều gì mới.

Dấu vết dẫn đường

Giải pháp HyDRA mà chúng tôi đề cập hồi tháng Ba dựa trên việc sử dụng một “ngân hàng bộ nhớ” gồm các mã thông báo hình ảnh được nén, cho phép các nhân vật do AI tạo ra đi khuất khỏi màn hình rồi quay trở lại với diện mạo như lúc xuất hiện lần đầu.

Một số phương pháp khác cũng sử dụng cách tiếp cận “để lại dấu vết” này; tuy nhiên, việc tạo ra và lưu lại hình học 3D phức tạp giải quyết được vấn đề nhưng phải đánh đổi bằng dung lượng tệp, khả năng phản hồi, độ trễ và những nút thắt tiềm ẩn khác.

Các “mô hình thế giới có nền tảng 3D” này bao gồm Gen3C do NVIDIA dẫn dắt. Cách tiếp cận HyDRA của mô hình này sử dụng phương pháp phổ biến nhất để giải quyết vấn đề cụ thể này: chuyển những gì nó “nhìn thấy” thành đám mây điểm, về cơ bản là hình học 3D đã được giản lược:

Nhấn để phát. Cách tiếp cận HyDRA sử dụng bộ nhớ đệm đám mây điểm 3D bền vững để định hướng quá trình tạo video, duy trì tính nhất quán của cảnh khi máy quay di chuyển và những khu vực đã xuất hiện trước đó hiện ra lần nữa. Nguồn

Các phương pháp tương tự khác gồm VMEM của Đại học Oxford ra mắt năm 2025 và dự án hợp tác SPMem do Đại học Stanford dẫn dắt trong cùng giai đoạn:

Nhấn để phát. Dự án hợp tác SPMem do Đại học Stanford dẫn dắt kết hợp bản đồ 3D bền vững của khung cảnh tĩnh với các khung hình video gần đây để ghi lại chuyển động và một số khung hình cũ được chọn để bổ sung chi tiết hình ảnh, giúp mô hình ghi nhớ các địa điểm khi quay lại đó. Nguồn 

Tuy nhiên, xử lý mọi hình học 3D đều tốn nhiều công sức và đặt ra yêu cầu cao đối với quá trình suy luận. Không dễ gì đi quanh một môi trường mà lúc nào cũng phải “dựng” nó lên như một nghệ sĩ đồ họa máy tính có thể làm. Hơn nữa, các đoạn phim, góc nhìn hoặc cảnh quay khác sau này cũng phải có khả năng tham chiếu đến phần hình học đã tạo ra, một yêu cầu không hề đơn giản.

Ghi chú gọn nhẹ hơn

Nỗ lực mới nhất trong lĩnh vực “bộ nhớ video AI” là một sự hợp tác mới do Tsinghua University dẫn dắt, mang tên Bộ nhớ phẳng bền vững cho các mô hình thế giới video:

Nhấn để phát. Trên trang dự án của sáng kiến PPMem do Tsinghua dẫn dắt, đây là ví dụ về cách hệ thống hoạt động. PPMem thay thế bộ nhớ 3D thể tích được dự án SPMem trước đó sử dụng bằng một tập hợp các bề mặt phẳng gọn hơn, đồng thời cập nhật và tái sử dụng chúng khi máy quay di chuyển để duy trì tính nhất quán của những môi trường đã thấy trước đó. Nguồn 

Như thể hiện trong đoạn video phía trên*, PPMem cải tiến các phương pháp trước đây bằng cách sử dụng một biểu diễn môi trường 3D gọn hơn. Thay vì lưu trữ hàng triệu điểm riêng lẻ để tái tạo những môi trường đã thấy trước đó, hệ thống xác định các bề mặt phẳng như tường, sàn và đồ nội thất, rồi lưu chúng dưới dạng các mặt phẳng hình học có thể tái sử dụng, gọi là các phần tử mặt phẳng; những phần tử này liên tục được bổ sung vào bộ nhớ cục bộ bền vững khi các phần mới của môi trường được tạo ra:

Hai ví dụ về PPMem tạo video đồng thời xây dựng bộ nhớ 3D bền vững. Mỗi ví dụ bắt đầu bằng một ảnh đầu vào ở bên trái, bên dưới là lộ trình dự kiến của camera. Đọc các khung hình được đánh số từ trái sang phải ở hàng đầu tiên rồi đến hàng thứ hai, ta thấy camera khám phá một cửa hàng hoặc khu vườn. Các ô ảnh nhỏ có màu cho thấy những bề mặt 3D được lưu trữ tích lũy dần theo hành trình, lưu giữ khung cảnh đã khám phá trước đó. Nguồn

Khi camera quay lại một địa điểm đã đi qua, các mặt phẳng được lưu trữ sẽ được chiếu trở lại vào trường nhìn, giúp định hướng quá trình tạo các khung hình mới và giảm lượng thông tin không gian cần lưu giữ, xử lý. Điều này cũng giúp ngăn các vật thể và khung cảnh quen thuộc thay đổi hoặc biến mất giữa những lần ghé thăm.

Theo các tác giả, việc sử dụng các phần tử nguyên thủy dạng mặt phẳng – những đối tượng tham số được xác định bằng các vectơ toán học – mang lại cách giải quyết linh hoạt và hiệu quả hơn cho «cách tiếp cận đánh dấu đường đi» bằng các dấu mốc:

‘Một mô hình tạo ra toàn bộ thế giới, chứ không chỉ những đoạn phim ngắn, cần có một dạng bộ nhớ cô đọng, có cấu trúc tương tự để ghi nhớ những gì nó đã tạo ra. Các phần tử nguyên thủy dạng mặt phẳng là lựa chọn tự nhiên cho vai trò này.

‘Mỗi phần tử nguyên thủy chỉ được xác định bằng 7 con số (độ sâu tại tâm, hai kích thước hình chữ nhật và một quaternion biểu diễn phép quay), qua đó thể hiện rõ cấu trúc hình học 3D; cách biểu diễn này cô đọng hơn nhiều bậc độ lớn so với biểu diễn theo từng điểm ảnh.’

Nhấpđể phát nếu cần. Các cụm phần tử nguyên thủy dạng mặt phẳng nhẹ do PPMem tạo ra có thể ghi nhận và lưu giữ cả chi tiết lẫn hình khối tổng thể khi camera di chuyển qua mô hình thế giới. Các vùng màu xanh lá được minh họa ở trên được lưu trong bộ nhớ khi chúng chuyển từ màu tối>xanh lá.

Khả năng biểu diễn thế giới đã khám phá bằng các mặt phẳng như vậy đương nhiên bị giới hạn bởi dung lượng bộ nhớ và những nút thắt dễ dự đoán khác. Điều đó có nghĩa là người dùng không thể đi quanh thế giới hàng giờ rồi quay lại và thấy mọi thứ vẫn nguyên vẹn như lúc rời đi. Tuy nhiên, những người yêu thích trò chơi điện tử hẳn đã quen với kiểu giới hạn «theo màn chơi» này: tài nguyên cục bộ mạnh mẽ nhưng hữu hạn thường cho kết quả tốt nhất trong những điều kiện giới hạn nhất định:

Nhấp để phát. Trong PPMem, khi camera di chuyển qua một môi trường, nó để lại những «mặt phẳng» nhẹ (được thể hiện bằng các vùng màu xanh lá) biểu thị những gì camera đã nhìn thấy; các mặt phẳng này vẫn còn đó nếu camera quay lại.

Vì vậy, ở trên, ta có thể thấy một màn chơi được «lập bản đồ» từng phòng một, cho đến khi toàn bộ tầng chuyển sang màu xanh lá và có thể tự do khám phá, với nhu cầu tạo thêm mặt phẳng giảm đi (nhưng không biến mất).

Phương pháp

PPMem được phát triển dựa trên Wan2.2-TI2V-5B (thay vì Wan2.1-T2V-1.3B được HyDRA sử dụng), một mô hình khuếch tán video có 5 tỷ tham số, đồng thời bổ sung hệ thống dự đoán hình học được điều chỉnh từ Plana3R. Mạng nền video hiện có được giữ nguyên, trong khi một luồng xử lý riêng được bổ sung để trích xuất thông tin hình học từ các biểu diễn bên trong mô hình:

Sơ đồ hệ thống tạo video và bộ nhớ 3D của PPMem. Luồng phía trên tạo video, còn luồng phía dưới ghi lại hình dạng và vị trí của các bề mặt nhìn thấy được. Những dữ liệu này được thêm vào bộ nhớ lưu trữ ở bên phải, sau đó được dùng để định hướng đoạn video tiếp theo. Các mũi tên ở phía dưới cho thấy cách thông tin này được đưa trở lại hệ thống.

Trong giai đoạn đầu tiên trong hai giai đoạn huấn luyện, Wan 2.2 được tinh chỉnh để tạo video theo điều khiển của camera, sử dụng các hình chiếu của ảnh nguồn và những khung hình trước đó nhằm xác định chuyển động dự kiến của camera. Sau đó, mạng nền video được đóng băng, còn các thành phần hình học mới được huấn luyện độc lập.

Trong quá trình huấn luyện, mô hình sử dụng hơn 80.000 đoạn video từ DL3DV và RealEstate10K ở độ phân giải 576×1024. Thông tin độ sâu tham chiếu được lấy từ MoGe-2, trong đó các khoảng cách ước tính được căn chỉnh với những bản dựng 3D do VGGT tạo ra.

Hệ thống dự đoán mặt phẳng của PPMem do đó được huấn luyện để ước tính độ sâu và hướng của bề mặt, đồng thời đối chiếu kết quả đầu ra với hình học tham chiếu. Các bề mặt được dựng hình cũng trải qua quá trình huấn luyện bổ sung để tăng mức độ tương đồng với các cảnh được tái dựng.

Điều chỉnh hạng thấp (LoRA) được sử dụng để bổ sung khả năng xử lý chuyên biệt cho hình học mà không làm thay đổi mô hình video nền.

Trong quá trình suy luận, quy trình tạo video thông thường được thực hiện với các điều chỉnh này đã tắt; sau đó, một lượt xử lý riêng được tiến hành để trích xuất hình học, giúp hai hoạt động về cơ bản vẫn độc lập với nhau.

Sau đó, video được tạo thành các đoạn dài khoảng 25 khung hình, sử dụng chuyển động máy quay dự kiến để chuẩn bị thông tin hình ảnh và không gian cần thiết cho mỗi chuỗi mới. Thông tin này bao gồm hình chiếu của khung cảnh đã được tạo trước đó, các mặt nạ cho biết khu vực nào đang hiển thị và thông tin độ sâu được suy ra từ hình học đã tích lũy.

Để cải thiện khả năng dự đoán các bề mặt mới, thông tin độ sâu đã lưu được kết hợp với hiểu biết sẵn có của mô hình về cảnh, thông qua một mạng Transformer thị giác dựa trên DINOv2-Base.

Trong quá trình huấn luyện, một phần bản đồ độ sâu được giữ lại bằng cách che có chọn lọc, buộc mô hình phải dự đoán hình học bề mặt từ dữ liệu không gian chưa đầy đủ, qua đó cải thiện khả năng khái quát hóa.

Khi hình học mới được tạo ra, tập hợp các mặt phẳng được tinh chỉnh bằng cách kiểm tra những bề mặt chồng lấn hoặc bị che khuất; các ước tính kém tin cậy hơn sẽ bị loại bỏ khi có quan sát tốt hơn. Nhờ đó, biểu diễn được lưu trữ có thể được hiệu chỉnh dần khi máy quay di chuyển, thay vì cứ tích lũy vô thời hạn mọi dự đoán bề mặt.

Kết quả

Trong các thử nghiệm, phương pháp này được đánh giá so với Gen3C, Voyager, VMEM và SPMem, tất cả đều sử dụng mã và tham số mặc định trong kho mã của chúng.

Các chỉ số được sử dụng gồm Tỷ lệ tín hiệu đỉnh trên nhiễu (PSNR), các chỉ số độ tương đồng tri giác đã học (LPIPS), độ tương đồng CLIP và độ tương đồng DINOv2 (xem bài báo để biết các trường hợp ngoại lệ chi tiết).

Trong thử nghiệm đầu tiên, PPMem được so sánh với các phương pháp khác trên bộ dữ liệu DL3DV và RealEstate10K, với chất lượng video được đánh giá trên các chuỗi dài 49 và 121 khung hình:

So sánh chất lượng video của PPMem, Gen3C, Voyager, VMem và SPMem trên DL3DV và RealEstate10K, với các chuỗi dài 49 và 121 khung hình. PPMem đạt điểm cao nhất hoặc đồng hạng cao nhất ở cả bốn chỉ số; lợi thế của phương pháp này nhìn chung càng tăng khi chuỗi dài hơn.

Về các kết quả này, các tác giả cho biết:

‘PPMem đạt kết quả tốt nhất ở mọi chỉ số trên cả hai bộ dữ liệu và với cả hai độ dài chuỗi, dù sử dụng mô hình nền nhỏ hơn (Wan 2.2 5B) so với Gen3C (Cosmos 7B) và Voyager (HunyuanVideo ∼13B). T’

PPMem cũng được thử nghiệm về khả năng ước tính khoảng cách từ máy quay đến các vật thể và bề mặt. Trên 121 khung hình từ DL3DV, theo các tác giả, phương pháp này cho ước tính độ sâu chính xác hơn Voyager, mô hình cạnh tranh duy nhất có khả năng đồng thời tạo video và thông tin độ sâu.

Trong thử nghiệm định tính thứ hai, các phương pháp được so sánh về khả năng duy trì cảnh vật nhất quán khi máy quay di chuyển qua các cảnh DL3DV trong khoảng 300–400 khung hình. PPMem giữ được hình dáng và cấu trúc của khung cảnh đã thấy trước đó tốt hơn các mô hình cạnh tranh; lợi thế này càng rõ khi chuỗi tiếp tục:

Nhấn để phát. Dù chúng tôi chỉ có thể tái hiện kết quả ở độ phân giải thấp hơn bản gốc, chúng tôi cho rằng video minh họa tốt hơn các kết quả tĩnh trong bài báo, đồng thời mời độc giả xem phiên bản chất lượng cao hơn trên trang dự án PPMem.

Các tác giả nhận xét:

‘PPMem duy trì độ trung thực cảm nhận cao nhất trong suốt quá trình, và khoảng cách ngày càng nới rộng theo thời gian — rõ nhất trên DINOv2, nơi PPMem dẫn trước phương pháp tốt thứ hai ∼0,27 ở khung hình thứ 300.’

So sánh các khung hình video do Gen3C, VMem, SPMem, Voyager và PPMem tạo ra tại sáu thời điểm trong chuỗi dài 288 khung hình, bên cạnh cảnh quay gốc (Ground Truth). PPMem giữ được hình dáng của bồn hoa và khung cảnh xung quanh nhất quán hơn khi máy quay di chuyển, trong khi các phương pháp cạnh tranh ngày càng làm sai lệch hoặc mất đi chi tiết.

Bài báo lưu ý rằng sau khoảng 400 khung hình video, toàn bộ cảnh đã được khám phá có thể được biểu diễn trong PPMem bằng khoảng 100.000 phần tử mặt phẳng, chỉ chiếm 5 MB bộ nhớ.

Vì cách này gọn hơn khoảng một nghìn lần so với việc lưu cùng khung cảnh dưới dạng các điểm riêng lẻ trong một đám mây điểm 3D dày đặc, nên bài báo — vốn có thể bị xem là một bước tiến nhỏ trong một hướng nghiên cứu đã được thiết lập — dường như mang lại cải thiện đáng kể về mặt vận hành cho kiến trúc này.

Kết luận

Mặc dù bài báo mới là một bước phát triển đầy hứa hẹn trong phạm vi và các giới hạn của bài toán mục tiêu, chúng ta vẫn đang vận hành theo một mô hình mà trong đó, việc khám phá ngẫu nhiên không gian tiềm ẩn của mô hình thế giới tung tóe hình học khắp nơi như lớp bọt dai dẳng; những hình học này có thể cần được khôi phục trong các cảnh sau hoặc cho những ngữ cảnh về sau.

Thao tác khôi phục đó lộn xộn hơn nhiều so với việc nạp các lưới CGI truyền thống và các kết cấu được bọc. Có thể lập luận rằng toàn bộ cách tiếp cận này «hơi đi ngược hướng»: lý tưởng nhất, các mô hình AI nên có khả năng truy xuất và tham chiếu những tài nguyên cố định thông qua một dạng RAG hoặc hệ thống tra cứu nào đó, đồng thời vẫn giữ được sự linh hoạt và tự do sáng tạo khi di chuyển trong không gian tiềm ẩn.

Đòi hỏi như vậy quả là nhiều, nhưng theo tôi, phương pháp «dấu vết» dường như tương đương với những giải pháp kỳ quặc xuất hiện trước thời anh em nhà Wright.

* Vui lòng truy cập trang dự án để xem toàn bộ video.

Đăng lần đầu vào thứ Ba, ngày 20 tháng 10 năm 2026