NeRF: Opleiding van drones in neurale uitstralingsomgewings

Navorsers van Stanford Universiteit het 'n nuwe manier bedink om hommeltuie op te lei om fotorealistiese en hoogs akkurate omgewings te navigeer, deur gebruik te maak van die onlangse stortvloed van belang in Neural Radiance Fields (NeRF).

Hommeltuie kan opgelei word in virtuele omgewings wat direk vanaf werklike liggings gekarteer is, met geen behoefte aan gespesialiseerde 3D-toneelrekonstruksie nie. In hierdie beeld van die projek is windversteuring bygevoeg as 'n potensiële hindernis vir die hommeltuig, en ons kan sien hoe die hommeltuig vir 'n oomblik van sy baan afgelei word en op die laaste oomblik kompenseer om 'n potensiële hindernis te vermy. Bron: https://mikh3x4.github.io/nerf-navigation/

Die metode bied die moontlikheid vir interaktiewe opleiding van hommeltuie (of ander soorte voorwerpe) in virtuele scenario's wat outomaties volume-inligting insluit (om botsingsvermyding te bereken), tekstuur wat direk vanaf werklike foto's getrek word (om hommeltuie se beeldherkenningsnetwerke te help oplei in 'n meer realistiese manier), en werklike beligting (om te verseker dat 'n verskeidenheid beligtingscenario's in die netwerk opgelei word, en vermy oorpassing of ooroptimalisering van die oorspronklike momentopname van die toneel).

'n Bank-objek navigeer 'n komplekse virtuele omgewing wat baie moeilik sou gewees het om te karteer deur gebruik te maak van meetkunde-opname en herteksturering in tradisionele AR/VR-werkvloeie, maar wat outomaties in NeRF herskep is vanaf 'n beperkte aantal foto's. Bron: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tipiese NeRF-implementerings het nie trajekmeganismes nie, aangesien die meeste van die rits NeRF-projekte die afgelope 18 maande op ander uitdagings gekonsentreer het, soos bv. toneel herverligting, weerkaatsing, compositing en ontknoping van vasgelegde elemente. Daarom is die nuwe koerant se primêre innovasie om 'n NeRF-omgewing as 'n bevaarbare ruimte te implementeer, sonder die uitgebreide toerusting en moeisame prosedures wat nodig sou wees om dit as 'n 3D-omgewing te modelleer gebaseer op sensorvaslegging en CGI-rekonstruksie.

NeRF as VR/AR

Die nuwe papier is getiteld Visie-alleen robotnavigasie in 'n neurale uitstralingswêreld, en is 'n samewerking tussen drie Stanford-departemente: Lugvaartkunde en Ruimtevaartkunde, Meganiese Ingenieurswese en Rekenaarwetenskap.

Die werk stel 'n navigasieraamwerk voor wat 'n robot voorsien van 'n vooraf-opgeleide NeRF-omgewing, waarvan die volumedigtheid moontlike paaie vir die toestel afbaken. Dit sluit ook 'n filter in om te skat waar die robot in die virtuele omgewing is, gebaseer op beeldherkenning van die robot se RGB-kamera aan boord. Op hierdie manier is 'n hommeltuig of robot in staat om meer akkuraat te 'hallusineer' wat hy kan verwag om in 'n gegewe omgewing te sien.

Die projek se trajek-optimaliseerder navigeer deur 'n NeRF-model van Stonehenge wat gegenereer is deur fotogrammetrie en beeldinterpretasie (in hierdie geval van maasmodelle) na 'n Neural Radiance-omgewing. Die baanbeplanner bereken 'n aantal moontlike paaie voordat 'n optimale trajek oor die boog daargestel word.

Omdat 'n NeRF-omgewing volledig gemodelleerde okklusies bevat, kan die hommeltuig leer om obstruksies makliker te bereken, aangesien die neurale netwerk agter die NeRF die verhouding tussen verstoppings en die manier waarop die hommeltuig se visie-gebaseerde navigasiestelsels aan boord die omgewing waarneem, kan karteer. Die geoutomatiseerde NeRF-generasie-pyplyn bied 'n relatief onbenullige metode om hiper-regte opleidingsruimtes met slegs 'n paar foto's te skep.

Die aanlyn herbeplanningsraamwerk wat vir die Stanford-projek ontwikkel is, fasiliteer 'n veerkragtige en heeltemal visie-gebaseerde navigasiepyplyn.

Die Stanford-inisiatief is van die eerstes wat die moontlikhede oorweeg om 'n NeRF-ruimte te verken in die konteks van 'n bevaarbare en meeslepende VR-styl omgewing. Neural Radiance-velde is 'n opkomende tegnologie, en tans onderhewig aan veelvuldige akademiese pogings om hul hoë rekenaarhulpbronvereistes te optimaliseer, sowel as om die vasgelegde elemente te ontwrig.

Nerf is nie (regtig) CGI nie

Omdat 'n NeRF-omgewing 'n navigeerbare 3D-toneel is, het dit 'n misverstaan ​​tegnologie geword sedert die ontstaan ​​daarvan in 2020, wat dikwels algemeen beskou word as 'n metode om die skepping van maas en teksture te outomatiseer, eerder as om 3D-omgewings te vervang wat bekend is aan kykers van Hollywood VFX-afdelings en die fantastiese tonele van Augmented Reality en Virtual Reality omgewings.

NeRF onttrek meetkunde- en tekstuurinligting uit 'n baie beperkte aantal beeldoogpunte, en bereken die verskil tussen beelde as volumetriese inligting. Bron: https://www.matthewtancik.com/nerf

Trouens, die NeRF-omgewing is meer soos 'n 'lewendige' weergawe-ruimte, waar 'n samesmelting van pixel- en beligtingsinligting behou en navigeer word in 'n aktiewe en lopende neurale netwerk.

Die sleutel tot NeRF se potensiaal is dat dit slegs 'n beperkte aantal beelde benodig om omgewings te herskep, en dat die gegenereerde omgewings alle nodige inligting bevat vir 'n hoë-getrou rekonstruksie, sonder die behoefte aan die dienste van modelbouers, tekstuurkunstenaars, beligting spesialiste en die hordes ander bydraers tot 'tradisionele' CGI.

Semantiese segmentering

Selfs al is NeRF effektief 'Rekenaar-gegenereerde beelde' (CGI), bied dit 'n heeltemal ander metodologie, en 'n hoogs-outomatiese pyplyn. Daarbenewens kan NeRF bewegende dele van 'n toneel isoleer en 'inkapsuleer', sodat hulle bygevoeg, verwyder, bespoedig kan word en in die algemeen as diskrete fasette in 'n virtuele omgewing kan funksioneer – 'n vermoë wat ver verby die huidige toestand van- die kuns in 'n 'Hollywood'-interpretasie van wat CGI is.

A samewerking van Shanghai Tech University, wat in die somer van 2021 vrygestel is, bied 'n metode om bewegende NeRF-elemente in 'plakbare' fasette vir 'n toneel te individueel. Bron: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatief, NeRF se argitektuur is 'n bietjie van 'n 'black box'; dit is nie tans moontlik om 'n voorwerp uit 'n NeRF-omgewing te onttrek en dit direk te manipuleer met tradisionele maas- en beeldgebaseerde gereedskap nie, alhoewel 'n aantal navorsingspogings begin om deurbrake te maak in die dekonstruering van die matriks agter NeRF se neurale netwerk lewendige lewering omgewings.