NeRF: Đào tạo Máy bay không người lái trong Môi trường Quang học Neuron

Các nhà nghiên cứu từ Đại học Stanford đã nghĩ ra một cách mới để đào tạo máy bay không người lái điều hướng trong môi trường siêu thực và chính xác cao, bằng cách tận dụng sự quan tâm gần đây làn sóng quan tâm đến Trường Quang học Neuron (NeRF).

Máy bay không người lái có thể được đào tạo trong môi trường ảo được ánh xạ trực tiếp từ các địa điểm trong đời thực, không cần thiết bị và thủ tục tái tạo cảnh 3D chuyên dụng. Trong hình ảnh này từ dự án, sự xáo trộn gió đã được thêm vào như một chướng ngại vật tiềm năng cho máy bay không người lái, và chúng ta có thể thấy máy bay không người lái bị phân tâm khỏi quỹ đạo của nó và bù lại vào phút cuối để tránh chướng ngại vật tiềm năng. Source: https://mikh3x4.github.io/nerf-navigation/

Phương pháp này cung cấp khả năng đào tạo tương tác cho máy bay không người lái (hoặc các loại vật thể khác) trong các kịch bản ảo tự động bao gồm thông tin thể tích (để tính toán tránh va chạm), kết cấu được vẽ trực tiếp từ ảnh trong đời thực (để giúp đào tạo mạng nhận dạng hình ảnh của máy bay không người lái một cách thực tế hơn), và ánh sáng trong thế giới thực (để đảm bảo nhiều kịch bản ánh sáng được đào tạo vào mạng, tránh quá trình phù hợp hoặc tối ưu hóa quá mức với bản chụp ban đầu của cảnh).

Một đối tượng ghế sofa điều hướng trong một môi trường ảo phức tạp mà sẽ rất khó để ánh xạ bằng cách thu thập hình học và tái tạo kết cấu trong các quy trình làm việc truyền thống của AR/VR, nhưng đã được tái tạo tự động trong NeRF từ một số lượng ảnh chụp hạn chế. Source: https://www.youtube.com/watch?v=5JjWpv9BaaE

Các triển khai NeRF điển hình không có cơ chế quỹ đạo, vì hầu hết các dự án NeRF trong 18 tháng qua đã tập trung vào các thách thức khác, chẳng hạn như tái chiếu sáng cảnh, tái tạo phản xạ, tái tạo tổng hợp và phân tách các yếu tố được chụp.

NeRF như VR/AR

Bài báo mới này có tiêu đề Điều hướng Robot chỉ dựa trên Tầm nhìn trong Thế giới Quang học Neuron, và là một sự hợp tác giữa ba bộ phận của Đại học Stanford: Hàng không và Vũ trụ, Kỹ thuật Cơ khí và Khoa học Máy tính.

Công việc đề xuất một khuôn khổ điều hướng cung cấp cho robot một môi trường NeRF đã được đào tạo trước, trong đó mật độ thể tích xác định các đường dẫn có thể cho thiết bị. Nó cũng bao gồm một bộ lọc để ước tính vị trí của robot trong môi trường ảo, dựa trên nhận dạng hình ảnh từ camera RGB trên bo mạch của robot. Theo cách này, máy bay không người lái hoặc robot có thể “hoang tưởng” chính xác hơn về những gì nó có thể mong đợi thấy trong một môi trường nhất định.

Bộ tối ưu hóa quỹ đạo của dự án điều hướng qua mô hình NeRF của Stonehenge được tạo ra thông qua photogrammetry và giải thích hình ảnh (trong trường hợp này, của mô hình lưới) thành môi trường Quang học Neuron. Bộ lập kế hoạch quỹ đạo tính toán một số đường dẫn có thể trước khi thiết lập quỹ đạo tối ưu trên vòm.

Vì môi trường NeRF có các che khuất được mô hình hóa đầy đủ, máy bay không người lái có thể học cách tính toán các chướng ngại vật một cách dễ dàng hơn, vì mạng nơ-ron đằng sau NeRF có thể ánh xạ mối quan hệ giữa các che khuất và cách hệ thống điều hướng dựa trên tầm nhìn trên bo mạch của máy bay không người lái nhận thức môi trường. Đường ống tạo NeRF tự động cung cấp một phương pháp tương đối đơn giản để tạo ra không gian đào tạo siêu thực với chỉ một vài bức ảnh.

Khung khổ lập kế hoạch lại trực tuyến được phát triển cho dự án Stanford giúp tạo điều kiện cho một quy trình điều hướng dựa trên tầm nhìn hoàn toàn và có khả năng chống chịu.

Sáng kiến của Stanford là một trong những sáng kiến đầu tiên xem xét khả năng khám phá không gian NeRF trong bối cảnh môi trường ảo có thể điều hướng và沉浸. Trường Quang học Neuron là một công nghệ mới nổi, và hiện đang là đối tượng của nhiều nỗ lực học thuật để tối ưu hóa nhu cầu tài nguyên tính toán cao, cũng như để phân tách các yếu tố được chụp.

NeRF không phải là (Thực sự) CGI

Vì môi trường NeRF là một cảnh 3D có thể điều hướng, nó đã trở thành một công nghệ bị hiểu lầm kể từ khi xuất hiện vào năm 2020, thường được coi là một phương pháp tự động hóa việc tạo ra lưới và kết cấu, thay vì thay thế môi trường 3D quen thuộc với người xem từ các bộ phận hiệu ứng hình ảnh của Hollywood và các cảnh ảo trong môi trường Thực tế ảo và Thực tế tăng cường.

NeRF trích xuất thông tin hình học và kết cấu từ một số lượng ảnh chụp hạn chế, tính toán sự khác biệt giữa các ảnh như thông tin thể tích. Source: https://www.matthewtancik.com/nerf

Trên thực tế, môi trường NeRF giống như một không gian “trực tiếp” được kết xuất, nơi một sự kết hợp của thông tin pixel và ánh sáng được giữ lại và điều hướng trong một mạng nơ-ron hoạt động và đang chạy.

Chìa khóa cho tiềm năng của NeRF là nó chỉ yêu cầu một số lượng ảnh chụp hạn chế để tái tạo môi trường, và môi trường được tạo ra chứa tất cả thông tin cần thiết cho một bản tái tạo có độ trung thực cao, mà không cần đến dịch vụ của những người tạo mô hình, nghệ sĩ kết cấu, chuyên gia ánh sáng và vô số những người đóng góp khác cho “CGI truyền thống”.

Phân đoạn Семантиc

Ngay cả khi NeRF thực sự cấu thành “Hình ảnh được tạo bằng máy tính” (CGI), nó cung cấp một phương pháp luận hoàn toàn khác, và một quy trình tự động hóa cao. Ngoài ra, NeRF có thể cô lập và “đóng gói” các phần di chuyển của một cảnh, để chúng có thể được thêm, loại bỏ, tăng tốc và hoạt động như các mặt riêng biệt trong một môi trường ảo – một khả năng vượt xa trạng thái hiện tại của “CGI theo cách Hollywood”.

Một sự hợp tác từ Đại học Công nghệ Thượng Hải, được phát hành vào mùa hè năm 2021, cung cấp một phương pháp để phân biệt các yếu tố NeRF di chuyển thành các mặt “dán được” cho một cảnh. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Tuy nhiên, kiến trúc NeRF là một loại “hộp đen”; hiện tại không thể trích xuất một đối tượng từ môi trường NeRF và thao tác trực tiếp với các công cụ dựa trên lưới và dựa trên hình ảnh truyền thống, mặc dù một số nỗ lực nghiên cứu đang bắt đầu đạt được những đột phá trong việc phá vỡ ma trận đằng sau môi trường kết xuất trực tiếp của mạng nơ-ron NeRF.

https://www.youtube.com/watch?v=5JjWpv9BaaE