NeRF: Thử thách của việc chỉnh sửa nội dung của các trường bức xạ thần kinh

Đầu năm nay, NVIDIA đã phát triển nghiên cứu về các trường bức xạ thần kinh (NeRF) đáng kể với InstantNeRF, có khả năng tạo ra các cảnh neural có thể khám phá trong vài giây – từ một kỹ thuật mà khi nó xuất hiện vào năm 2020, thường mất hàng giờ hoặc thậm chí hàng ngày để đào tạo.

NVIDIA’s InstantNeRF cung cấp kết quả ấn tượng và nhanh chóng. Nguồn: https://www.youtube.com/watch?v=DJ2hcC1orc4

Mặc dù loại nội suy này tạo ra một cảnh tĩnh, NeRF cũng có khả năng trình bày chuyển động, và chỉnh sửa cơ bản ‘copy-and-paste’, nơi các NeRF riêng lẻ có thể được kết hợp thành cảnh tổng hợp hoặc chèn vào các cảnh hiện có.

NeRF lồng nhau, được giới thiệu trong nghiên cứu năm 2021 từ Đại học Shanghai Tech và Công ty Công nghệ Kỹ thuật số DGene. Nguồn: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Tuy nhiên, nếu bạn muốn can thiệp vào một NeRF đã tính toán và thực sự thay đổi một điều gì đó đang xảy ra bên trong nó (giống như cách bạn có thể thay đổi các yếu tố trong một cảnh CGI truyền thống), thì tốc độ quan tâm của lĩnh vực này đã đưa ra rất ít giải pháp cho đến nay, và không có giải pháp nào bắt đầu gần với khả năng của các công việc CGI.

Mặc dù ước tính hình học là điều cần thiết để tạo ra một cảnh NeRF, kết quả cuối cùng được tạo thành từ các giá trị khá ‘khóa’. Mặc dù có một số tiến bộ đang được thực hiện để thay đổi các giá trị texture trong NeRF, các đối tượng thực sự trong một cảnh NeRF không phải là các lưới tham số có thể được chỉnh sửa và chơi around, mà giống như các đám mây điểm giòn và đóng băng.

Trong kịch bản này, một người được kết xuất trong NeRF về cơ bản là một bức tượng (hoặc một loạt các bức tượng, trong các NeRF video); các bóng mà họ tạo ra trên chính họ và các đối tượng khác là các texture, chứ không phải các tính toán linh hoạt dựa trên nguồn sáng; và khả năng chỉnh sửa nội dung NeRF bị giới hạn ở các lựa chọn được thực hiện bởi nhiếp ảnh gia người chụp các bức ảnh nguồn thưa thớt từ đó NeRF được tạo ra. Các tham số như bóng và tư thế vẫn không thể chỉnh sửa, theo bất kỳ nghĩa sáng tạo nào.

Chỉnh sửa NeRF

Một sự hợp tác nghiên cứu học thuật mới giữa Trung Quốc và Anh giải quyết thách thức này với Chỉnh sửa NeRF, nơi các lưới CGI kiểu proxy được trích xuất từ NeRF, biến dạng theo ý muốn của người dùng, và các biến dạng được truyền lại đến các tính toán thần kinh của NeRF:

Búp bê NeRF với chỉnh sửa NeRF, khi các biến dạng được tính toán từ footage được áp dụng cho các điểm tương đương trong một biểu diễn NeRF. Nguồn: http://geometrylearning.com/NeRFEditing/

Phương pháp này thích nghi với kỹ thuật NeuS năm 2021 của Mỹ/Trung Quốc, kỹ thuật này trích xuất một Hàm khoảng cách có dấu (SDF, một phương pháp tái tạo thể tích cũ hơn) có thể học hình học được biểu diễn bên trong NeRF.

Đối tượng SDF này trở thành cơ sở điêu khắc của người dùng, với khả năng uốn cong và tạo hình được cung cấp bởi kỹ thuật As-Rigid-As-Possible (ARAP) lâu đời.

ARAP cho phép người dùng biến dạng lưới SDF trích xuất, mặc dù các phương pháp khác, chẳng hạn như phương pháp dựa trên khung xương và phương pháp dựa trên lồng (tức là NURBs), cũng sẽ hoạt động tốt. Nguồn: https://arxiv.org/pdf/2205.04978.pdf

Với các biến dạng được áp dụng, nó cần thiết để dịch thông tin này từ vector đến mức RGB/điểm ảnh bản địa của NeRF, điều này là một hành trình稍 dài hơn.

Các đỉnh tam giác của lưới mà người dùng đã biến dạng đầu tiên được dịch thành một lưới tetrahedral, tạo thành một lớp da xung quanh lưới người dùng. Một trường biến dạng rời rạc không gian được trích xuất từ lưới bổ sung này, và cuối cùng, một trường biến dạng liên tục thân thiện với NeRF được thu được, có thể được truyền lại vào môi trường bức xạ thần kinh, phản ánh các thay đổi và chỉnh sửa của người dùng, và trực tiếp ảnh hưởng đến các tia được giải thích trong NeRF mục tiêu.

Các đối tượng bị biến dạng và được hoạt hóa bởi phương pháp mới.

Bài báo tuyên bố:

‘Sau khi chuyển biến dạng bề mặt đến lưới tetrahedral, chúng tôi có thể thu được trường biến dạng rời rạc của “không gian hiệu quả”. Chúng tôi hiện sử dụng các biến đổi rời rạc này để uốn cong các tia chiếu. Để tạo ra một hình ảnh của trường bức xạ bị biến dạng, chúng tôi chiếu các tia đến không gian chứa lưới tetrahedral bị biến dạng.’

Bài báo này có tiêu đề Chỉnh sửa NeRF: Chỉnh sửa hình học của các trường bức xạ thần kinh, và đến từ các nhà nghiên cứu trên ba trường đại học và tổ chức Trung Quốc, cùng với một nhà nghiên cứu từ Trường Khoa học Máy tính và Thông tin tại Đại học Cardiff, và hai nhà nghiên cứu khác từ Tập đoàn Alibaba.

Giới hạn

Như đã đề cập trước đó, hình học biến đổi sẽ không ‘cập nhật’ bất kỳ khía cạnh nào trong NeRF mà không được chỉnh sửa, cũng không phản ánh các hậu quả thứ cấp của yếu tố bị biến dạng, chẳng hạn như bóng. Các nhà nghiên cứu cung cấp một ví dụ, nơi bóng dưới của một hình người trong NeRF vẫn không thay đổi, ngay cả khi biến dạng nên thay đổi ánh sáng:

Từ bài báo: chúng ta thấy rằng bóng ngang trên cánh tay của hình vẫn còn nguyên ngay cả khi cánh tay được di chuyển lên trên.

Thử nghiệm

Các tác giả quan sát rằng hiện tại không có phương pháp nào so sánh cho việc can thiệp trực tiếp vào hình học NeRF. Do đó, các thí nghiệm được thực hiện cho nghiên cứu này là hơn mang tính khám phá hơn là so sánh.

Các nhà nghiên cứu đã chứng minh Chỉnh sửa NeRF trên một số tập dữ liệu công khai, bao gồm các nhân vật từ Mixamo, và chiếc máy ủi và ghế Lego nổi tiếng từ thực hiện NeRF ban đầu. Họ cũng thử nghiệm trên một bức tượng ngựa thật được chụp từ tập dữ liệu FVS, cũng như các bản chụp gốc của họ.

Đầu ngựa bị nghiêng.

Đối với công việc trong tương lai, các tác giả dự định sẽ phát triển hệ thống của họ trong khuôn khổ học máy biên dịch just-in-time (JIT) Jittor.

Được xuất bản lần đầu vào ngày 16 tháng 5 năm 2022.