Tạo Môi Trường Bay Qua Tìm Kiếm và Cứu Hộ Neural với Mega-NeRF

Một nghiên cứu hợp tác mới giữa Carnegie Mellon và công ty công nghệ lái xe tự động Argo AI đã phát triển một phương pháp tiết kiệm để tạo ra các môi trường bay qua động dựa trên Trường Quang Tuyến Nơ-ron (NeRF), sử dụng cảnh quay được quay bởi máy bay không người lái.

Phương pháp mới, được gọi là Mega-NeRF, đạt được tốc độ tăng 40 lần so với tiêu chuẩn kết xuất NeRF trung bình, cũng như cung cấp điều gì đó đáng chú ý khác biệt so với tiêu chuẩn xe tăng và đền thờ mà tái diễn trong các bài báo NeRF mới.

Bài báo mới có tiêu đề Mega-NeRF: Xây dựng Khả năng mở rộng của NeRF lớn cho các chuyến bay ảo, và đến từ ba nhà nghiên cứu tại Carnegie Mellon, một trong số họ cũng đại diện cho Argo AI.

Modeling NeRF Landscape for Search and Rescue

Các tác giả cho rằng tìm kiếm và cứu hộ (SAR) là một trường hợp sử dụng tối ưu cho kỹ thuật của họ. Khi đánh giá một cảnh quan SAR, máy bay không người lái hiện đang bị hạn chế bởi cả hạn chế băng thông và tuổi thọ pin, và do đó thường không thể thu được phạm vi chi tiết hoặc toàn diện trước khi cần phải quay trở lại căn cứ, tại đó dữ liệu thu thập được chuyển đổi thành bản đồ 2D tĩnh.

Các tác giả tuyên bố:

‘Chúng tôi tưởng tượng một tương lai trong đó việc kết xuất nơ-ron nâng cao phân tích này lên 3D, cho phép các đội phản ứng kiểm tra hiện trường như thể họ đang bay một máy bay không người lái trong thời gian thực với mức độ chi tiết vượt xa khả năng đạt được với cấu trúc cổ điển từ chuyển động (SfM).’

Được giao nhiệm vụ này, các tác giả đã tìm cách tạo ra một mô hình NeRF phức tạp có thể được đào tạo trong một ngày, vì tuổi thọ của những người sống sót trong các hoạt động tìm kiếm và cứu hộ giảm tới 80% trong 24 giờ đầu tiên.

Các tác giả lưu ý rằng các tập dữ liệu thu được từ máy bay không người lái cần thiết để đào tạo một mô hình Mega-NeRF là ‘lớn hơn nhiều’ so với một tập dữ liệu tiêu chuẩn cho NeRF, và rằng khả năng của mô hình phải cao hơn đáng kể so với một nhánh hoặc phái sinh mặc định của NeRF. Ngoài ra, tính tương tác và khả năng khám phá là điều cần thiết trong một bản đồ cảnh quan tìm kiếm và cứu hộ, trong khi các kết xuất NeRF thời gian thực tiêu chuẩn đang mong đợi một phạm vi chuyển động hạn chế hơn nhiều.

Divide and Conquer

Để giải quyết những vấn đề này, các tác giả đã tạo ra một thuật toán phân cụm hình học chia nhiệm vụ thành các mô-đun con, và hiệu quả tạo ra một ma trận các mô-đun NeRF được đào tạo đồng thời.

Ở thời điểm kết xuất, các tác giả cũng thực hiện một thuật toán trực quan hóa vừa đúng lúc đủ để cho phép tính tương tác đầy đủ mà không cần xử lý trước quá mức, tương tự như cách các trò chơi video sẽ tăng chi tiết trên các vật thể khi chúng tiếp cận tầm nhìn của người dùng, nhưng vẫn ở quy mô tiết kiệm năng lượng và cơ bản hơn khi ở xa.

Các nền kinh tế này, các tác giả cho rằng, dẫn đến chi tiết tốt hơn so với các phương pháp trước đó nhằm giải quyết các chủ đề rất rộng trong một ngữ cảnh tương tác. Về việc ngoại suy chi tiết từ cảnh quay video độ phân giải hạn chế, các tác giả cũng lưu ý rằng Mega-NeRF có sự cải thiện về mặt thị giác so với chức năng tương đương trong PlenOctrees của UC Berkeley.

Dự án sử dụng các mô-đun NeRF được nối chuỗi dựa trên khả năng kết xuất thời gian thực của KiloNeRF, các tác giả thừa nhận. Tuy nhiên, Mega-NeRF khác với cách tiếp cận này bằng cách thực sự thực hiện ‘sharding’ (chuyển đổi rời rạc của các khía cạnh của một cảnh) trong quá trình đào tạo, thay vì cách tiếp cận hậu xử lý của KiloNeRF, nó lấy một cảnh NeRF đã được tính toán trước và sau đó chuyển đổi nó thành một không gian có thể khám phá.

Một tập dữ liệu đào tạo rời rạc được tạo cho các mô-đun con, bao gồm các pixel hình ảnh đào tạo mà đường đi có thể bao quát ô mà nó đại diện. Do đó, mỗi mô-đun được đào tạo hoàn toàn riêng biệt từ các ô lân cận. Source: https://arxiv.org/pdf/2112.10703.pdf

Các tác giả mô tả Mega-NeRF là ‘một cách định dạng lại kiến trúc NeRF mà làm cho các kết nối lớp trở nên thưa thớt theo cách nhận thức về không gian, giúp cải thiện hiệu quả tại thời điểm đào tạo và kết xuất’.

So sánh khái niệm về đào tạo và rời rạc hóa dữ liệu trong NeRF, NeRF++, và Mega-NeRF. Source: https://meganerf.cmusatyalab.org/

Các tác giả tuyên bố rằng việc sử dụng các chiến lược nhất quán thời gian của Mega-NeRF tránh được nhu cầu xử lý trước quá mức, vượt qua các giới hạn nội tại về quy mô và thực hiện một mức độ chi tiết cao hơn so với các công việc tương tự trước đó, mà không cần hy sinh tính tương tác hoặc cần nhiều ngày đào tạo.

Các nhà nghiên cứu cũng đang cung cấp các tập dữ liệu lớn chứa hàng nghìn hình ảnh độ phân giải cao được thu từ cảnh quay máy bay không người lái trên 100.000 mét vuông đất xung quanh một khu phức hợp công nghiệp. Hai tập dữ liệu có sẵn là ‘Tòa nhà’ và ‘Đống đổ nát’.

Improving on Prior Work

Bài báo lưu ý rằng các nỗ lực trước đây trong cùng một lĩnh vực, bao gồm SneRG, PlenOctree và FastNeRF, tất cả đều dựa vào một số loại bộ nhớ đệm hoặc xử lý trước mà thêm gánh nặng tính toán và / hoặc thời gian trễ không phù hợp cho việc tạo ra các môi trường ảo tìm kiếm và cứu hộ.

Khi KiloNeRF suy dẫn các mô-đun NeRF từ một bộ sưu tập hiện có của các mạng nơ-ron đa lớp (MLP), nó bị hạn chế về mặt kiến trúc đối với các cảnh trong nhà với khả năng mở rộng hoặc khả năng giải quyết các môi trường có quy mô cao hơn. FastNeRF, trong khi đó, lưu trữ một phiên bản ‘baked’, được tính toán trước của mô hình NeRF vào một cấu trúc dữ liệu chuyên dụng và cho phép người dùng cuối điều hướng qua nó thông qua một MLP chuyên dụng hoặc thông qua tính toán cơ sở hình cầu.

Trong kịch bản KiloNeRF, độ phân giải tối đa của mỗi mặt trong cảnh đã được tính toán trước, và không có độ phân giải cao hơn sẽ có sẵn nếu người dùng quyết định ‘phóng to’.

Ngược lại, NeRF++ có thể xử lý các môi trường bên ngoài không giới hạn một cách bản địa bằng cách chia không gian có thể khám phá thành các khu vực tiền cảnh và hậu cảnh, mỗi khu vực được giám sát bởi một mô hình MLP chuyên dụng, thực hiện việc dò tia trước khi tổng hợp cuối cùng.

Cuối cùng, NeRF trong tự nhiên, không giải quyết trực tiếp các không gian không giới hạn, cải thiện chất lượng hình ảnh trong tập dữ liệu Phototourism, và các bản nhúng ngoại hình của nó đã được theo sau trong kiến trúc của Mega-NeRF.

Các tác giả cũng thừa nhận rằng Mega-NeRF được truyền cảm hứng từ các dự án Structure-from-Motion (SfM), đáng chú ý là dự án Building Rome in a Day của Đại học Washington.

Temporal Coherence

Giống như PlenOctree, Mega-NeRF tính toán trước một bộ nhớ đệm thô về màu sắc và độ trong suốt trong khu vực của焦 điểm người dùng hiện tại. Tuy nhiên, thay vì tính toán các đường dẫn mỗi lần ở gần đường dẫn đã tính toán, như PlenOctree làm, Mega-NeRF ‘lưu’ và tái sử dụng thông tin này bằng cách chia nhỏ cây đã tính toán, theo xu hướng ngày càng tăng để tách biệt khỏi quy tắc xử lý chặt chẽ của NeRF.

Bên trái, tính toán sử dụng một lần của PlenOctree. Giữa, sự mở rộng động của Mega-NeRF của octree, tương đối với vị trí hiện tại của chuyến bay. Bên phải, octree được tái sử dụng cho điều hướng tiếp theo.

Sự tiết kiệm tính toán này, theo các tác giả, giảm đáng kể gánh nặng xử lý bằng cách sử dụng các tính toán trực tiếp như một bộ nhớ đệm cục bộ, thay vì ước tính và lưu trữ chúng tất cả trước khi có kế hoạch, theo thực tiễn gần đây.

Guided Sampling

Sau khi lấy mẫu ban đầu, theo các mô hình tiêu chuẩn đến nay, Mega-NeRF thực hiện một vòng lấy mẫu hướng dẫn thứ hai sau khi tinh chỉnh octree, để cải thiện chất lượng hình ảnh. Để làm điều này, Mega-NeRF chỉ sử dụng một lần dựa trên các trọng số hiện có trong cấu trúc dữ liệu octree.

Như có thể thấy trong hình ảnh trên, từ bài báo mới, việc lấy mẫu tiêu chuẩn lãng phí tài nguyên tính toán bằng cách đánh giá một lượng lớn khu vực mục tiêu, trong khi Mega-NeRF giới hạn các tính toán dựa trên kiến thức về vị trí của hình học, giảm các tính toán trên một ngưỡng đặt trước.

Data and Training

Các nhà nghiên cứu đã thử nghiệm Mega-NeRF trên các tập dữ liệu khác nhau, bao gồm hai tập dữ liệu được đề cập trước đó, được tạo thủ công từ cảnh quay máy bay không người lái trên mặt đất công nghiệp. Tập dữ liệu đầu tiên, Mill 19 – Tòa nhà, có cảnh quay được quay trên một khu vực 500 x 250 mét vuông. Tập dữ liệu thứ hai, Mill 19 – Đống đổ nát, đại diện cho cảnh quay tương tự được quay trên một khu xây dựng lân cận, nơi các nhà nghiên cứu đã đặt các bùn giả đại diện cho những người sống sót có thể trong một kịch bản tìm kiếm và cứu hộ.

Từ tài liệu bổ sung của bài báo: Bên trái, các quadrant sẽ được bao phủ bởi máy bay không người lái Parrot Anafi (hình ảnh ở giữa và ở xa trong ảnh tay phải).

Ngoài ra, kiến trúc đã được thử nghiệm chống lại một số cảnh từ UrbanScene3D, từ Trung tâm Nghiên cứu Tính toán Hình ảnh tại Đại học Shenzhen, Trung Quốc, bao gồm cảnh quay máy bay không người lái độ phân giải cao của các môi trường đô thị lớn; và tập dữ liệu Quad 6k, từ Phòng thí nghiệm Thị giác Máy tính IU tại Đại học Indiana.

Quá trình đào tạo diễn ra trên 8 mô-đun con, mỗi mô-đun có 8 lớp với 256 đơn vị ẩn và một lớp ReLU 128 kênh tiếp theo. Không giống như NeRF, cùng một MLP được sử dụng để truy vấn các mẫu thô và tinh chỉnh, giảm tổng kích thước mô hình và cho phép tái sử dụng đầu ra mạng thô tại giai đoạn kết xuất tiếp theo. Các tác giả ước tính rằng điều này tiết kiệm 25% yêu cầu mô hình cho mỗi tia.

1024 tia được lấy mẫu trên mỗi批 dưới Adam với tốc độ học ban đầu là 5×10⁴, giảm xuống 5×10^-5. Các bản nhúng ngoại hình được xử lý theo cùng cách như NeRF trong tự nhiên. Lấy mẫu chính xác hỗn hợp (đào tạo ở độ chính xác thấp hơn 32 bit) được sử dụng, và chiều rộng MLP được cố định ở 2048 đơn vị ẩn.

Testing and Results

Trong các thử nghiệm của các nhà nghiên cứu, Mega-NeRF đã vượt trội so với NeRF, NeRF++ và DeepView sau khi đào tạo 500.000 lần lặp trên các tập dữ liệu đã đề cập. Vì kịch bản mục tiêu của Mega-NeRF bị giới hạn thời gian, các nhà nghiên cứu đã cho phép các khuôn khổ trước đó chậm hơn thêm thời gian ngoài giới hạn 24 giờ, và báo cáo rằng Mega-NeRF vẫn vượt trội so với chúng, ngay cả khi có những lợi thế này.

Các chỉ số được sử dụng là Tỷ lệ tín hiệu trên nhiễu đỉnh (PSNR), phiên bản VGG của LPIPS, và SSIM. Quá trình đào tạo diễn ra trên một máy đơn có 8 GPU V100 – hiệu quả là 256GB VRAM và 5120 lõi Tensor.

Kết quả mẫu từ các thí nghiệm Mega-NeRF (xem bài báo để biết thêm kết quả mở rộng trên tất cả các khuôn khổ và tập dữ liệu) cho thấy PlenOctree gây ra sự voxel hóa đáng chú ý, trong khi KiloNeRF tạo ra các artifact và kết quả mờ hơn nói chung.

Trang web dự án nằm tại https://meganerf.cmusatyalab.org/, và mã được phát hành tại https://github.com/cmusatyalab/mega-nerf.

Được xuất bản lần đầu vào ngày 21 tháng 12 năm 2021.