NeRF: Đào tạo máy bay không người lái trong môi trường Neural Radiance

Những nhà nghiên cứu từ Đại học Stanford đã nghĩ ra một cách mới để đào tạo máy bay không người lái để điều hướng trong môi trường photorealistic và chính xác cao, bằng cách tận dụng sự quan tâm gần đây về Neural Radiance Fields (NeRF).

Máy bay không người lái có thể được đào tạo trong môi trường ảo được ánh xạ trực tiếp từ các vị trí thực tế, mà không cần thiết bị và thủ tục phức tạp để tái tạo cảnh 3D. Trong hình ảnh này từ dự án, sự cố gió đã được thêm vào như một chướng ngại vật tiềm năng cho máy bay không người lái, và chúng ta có thể thấy máy bay không người lái bị phân tâm khỏi quỹ đạo của nó và bù đắp lại vào phút cuối để tránh chướng ngại vật tiềm năng. Nguồn: https://mikh3x4.github.io/nerf-navigation/

Phương pháp này cung cấp khả năng đào tạo tương tác cho máy bay không người lái (hoặc các loại vật thể khác) trong các kịch bản ảo tự động bao gồm thông tin thể tích (để tính toán tránh va chạm), kết cấu được vẽ trực tiếp từ ảnh thực tế (để giúp đào tạo mạng nhận dạng hình ảnh của máy bay không người lái một cách thực tế hơn), và ánh sáng thực tế (để đảm bảo nhiều kịch bản ánh sáng được đào tạo vào mạng, tránh quá trình phù hợp hoặc tối ưu hóa quá mức với ảnh chụp ban đầu của cảnh).

Một vật thể couch điều hướng trong một môi trường ảo phức tạp mà sẽ rất khó để ánh xạ bằng cách bắt hình học và tái tạo lại trong các quy trình AR/VR truyền thống, nhưng mà đã được tái tạo tự động trong NeRF từ một số lượng ảnh hạn chế được chụp tại vị trí. Nguồn: https://www.youtube.com/watch?v=5JjWpv9BaaE

Các triển khai NeRF điển hình không có cơ chế quỹ đạo, vì hầu hết các dự án NeRF trong 18 tháng qua đã tập trung vào các thách thức khác, chẳng hạn như tái tạo ánh sáng, tái tạo phản xạ, tái tạo và chỉnh sửa và phân tách các yếu tố được chụp. Do đó, đổi mới chính của bài báo mới là triển khai môi trường NeRF như một không gian có thể điều hướng, mà không cần thiết bị và thủ tục phức tạp để mô hình hóa nó như một môi trường 3D dựa trên cảm biến và tái tạo CGI.

NeRF như VR/AR

Bài báo mới này có tiêu đề Điều hướng Robot chỉ dựa trên tầm nhìn trong Thế giới Neural Radiance, và là một sự hợp tác giữa ba bộ phận của Stanford: Hàng không và Vũ trụ, Kỹ thuật Cơ khí, và Khoa học Máy tính.

Công việc này đề xuất một khuôn khổ điều hướng cung cấp cho robot một môi trường NeRF được đào tạo trước, mà mật độ thể tích của nó giới hạn các đường dẫn có thể cho thiết bị. Nó cũng bao gồm một bộ lọc để ước tính vị trí của robot trong môi trường ảo, dựa trên nhận dạng hình ảnh từ camera RGB trên bo mạch của robot. Theo cách này, một máy bay không người lái hoặc robot có thể “hoang tưởng” chính xác hơn về những gì nó có thể thấy trong một môi trường nhất định.

Bộ tối ưu hóa quỹ đạo của dự án điều hướng qua mô hình NeRF của Stonehenge được tạo ra thông qua photogrammetry và giải thích hình ảnh (trong trường hợp này, của mô hình lưới) vào môi trường Neural Radiance. Bộ tối ưu hóa quỹ đạo tính toán một số đường dẫn có thể trước khi thiết lập quỹ đạo tối ưu trên cung.

Bởi vì môi trường NeRF có các che khuất được mô hình hóa đầy đủ, máy bay không người lái có thể học cách tính toán chướng ngại vật dễ dàng hơn, vì mạng nơ-ron đằng sau NeRF có thể ánh xạ mối quan hệ giữa che khuất và cách mạng nhận dạng hình ảnh trên bo mạch của máy bay không người lái nhận thức môi trường. Đường ống tạo NeRF tự động cung cấp một phương pháp tương đối đơn giản để tạo ra không gian đào tạo siêu thực chỉ với một vài ảnh.

Khung khổ lập kế hoạch lại trực tuyến được phát triển cho dự án Stanford tạo điều kiện cho một đường ống điều hướng dựa trên tầm nhìn hoàn toàn và linh hoạt.

Sáng kiến của Stanford là một trong những sáng kiến đầu tiên xem xét khả năng khám phá không gian NeRF trong bối cảnh môi trường ảo có thể điều hướng và nhập vai. Các trường Neural Radiance là một công nghệ mới nổi, và hiện đang là đối tượng của nhiều nỗ lực học thuật để tối ưu hóa nhu cầu tài nguyên tính toán cao, cũng như phân tách các yếu tố được chụp.

Nerf Không Phải Là CGI (Thực Sự)

Bởi vì môi trường NeRF là một cảnh 3D có thể điều hướng, nó đã trở thành một công nghệ bị hiểu lầm kể từ khi xuất hiện vào năm 2020, thường được coi là một phương pháp tự động hóa việc tạo ra lưới và kết cấu, thay vì thay thế môi trường 3D quen thuộc với người xem từ các bộ phận hiệu ứng hình ảnh của Hollywood và các cảnh ảo của môi trường Thực tế ảo và Thực tế tăng cường.

NeRF trích xuất thông tin hình học và kết cấu từ một số lượng ảnh hạn chế, tính toán sự khác biệt giữa các ảnh như thông tin thể tích. Nguồn: https://www.matthewtancik.com/nerf

Trên thực tế, môi trường NeRF giống như một không gian “trực tiếp” render, nơi một sự kết hợp của thông tin pixel và ánh sáng được giữ lại và điều hướng trong một mạng nơ-ron hoạt động và chạy.

Chìa khóa cho tiềm năng của NeRF là nó chỉ yêu cầu một số lượng ảnh hạn chế để tái tạo môi trường, và môi trường tạo ra chứa tất cả thông tin cần thiết cho một tái tạo忠 thực cao, mà không cần dịch vụ của những người tạo mô hình, nghệ sĩ kết cấu, chuyên gia ánh sáng và nhiều người đóng góp khác cho “CGI truyền thống”.

Phân Tích Nghĩa

Dù NeRF thực sự cấu thành “Hình ảnh Tạo bởi Máy tính” (CGI), nó cung cấp một phương pháp luận hoàn toàn khác, và một đường ống tự động hóa cao. Ngoài ra, NeRF có thể cô lập và “đóng gói” các phần di chuyển của một cảnh, để chúng có thể được thêm, xóa, tăng tốc, và hoạt động như các mặt riêng biệt trong một môi trường ảo – một khả năng vượt xa trạng thái hiện tại của “CGI” theo cách hiểu của Hollywood.

Một sự hợp tác từ Đại học Công nghệ Thượng Hải, được phát hành vào mùa hè năm 2021, cung cấp một phương pháp để cá nhân hóa các yếu tố di chuyển NeRF thành các mặt “dán được” cho một cảnh. Nguồn: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Điểm tiêu cực, kiến trúc NeRF là một loại “hộp đen”; hiện tại không thể trích xuất một vật thể từ môi trường NeRF và điều khiển trực tiếp nó bằng các công cụ truyền thống dựa trên lưới và hình ảnh, mặc dù một số nỗ lực nghiên cứu đang bắt đầu đạt được những đột phá trong việc phân tích ma trận đằng sau môi trường render trực tiếp của mạng nơ-ron NeRF.