Liity verkostomme!

Tekoäly

NeRF: Droonien koulutus hermosäteilyn ympäristöissä

mm

Stanfordin yliopiston tutkijat ovat kehittäneet uuden tavan kouluttaa droneja navigoimaan fotorealistisissa ja erittäin tarkoissa ympäristöissä hyödyntämällä viimeaikaisia kiinnostuksen lumivyöry Neural Radiance Fields (NeRF) -kentissä.

Droneja voidaan kouluttaa virtuaalisissa ympäristöissä, jotka on kartoitettu suoraan tosielämän paikoista, ilman erityistä 3D-näkymän rekonstruointia. Tässä projektin kuvassa tuulen häiriö on lisätty mahdolliseksi esteeksi dronille, ja voimme nähdä dronin hetkellisesti poikkeavan liikeradalta ja kompensoivan viime hetkellä mahdollisen esteen välttämiseksi. Lähde: https://mikh3x4.github.io/nerf-navigation/

Droneja voidaan kouluttaa virtuaalisissa ympäristöissä, jotka on kartoitettu suoraan tosielämän paikoista, ilman erityistä 3D-näkymän rekonstruointia. Tässä projektin kuvassa tuulen häiriö on lisätty mahdolliseksi esteeksi dronille, ja voimme nähdä dronin hetkellisesti poikkeavan liikeradalta ja kompensoivan viime hetkellä mahdollisen esteen välttämiseksi. Lähde: https://mikh3x4.github.io/nerf-navigation/

Menetelmä tarjoaa mahdollisuuden droonien (tai muuntyyppisten esineiden) interaktiiviseen harjoitteluun virtuaalisissa skenaarioissa, jotka sisältävät automaattisesti äänenvoimakkuustiedot (törmäysten välttämisen laskemiseksi), teksturoinnin suoraan tosielämän valokuvista (auttaakseen droonien kuvantunnistusverkkojen kouluttamisessa realistisemmalla tavalla) ja todellista valaistusta (jotta varmistetaan, että erilaisia ​​valaistusskenaarioita koulutetaan verkkoon välttäen liiallista sovittamista tai liiallista optimointia kohtauksen alkuperäiseen tilannekuvaan).

Sohva-objekti navigoi monimutkaisessa virtuaaliympäristössä, jota olisi ollut erittäin vaikea kartoittaa käyttämällä geometriakaappausta ja uudelleentekstoimista perinteisissä AR/VR-työnkuluissa, mutta joka luotiin automaattisesti uudelleen NeRF:ssä rajoitetusta määrästä paikalla otettuja valokuvia. Lähde: https://www.youtube.com/watch?v=5JjWpv9BaaE

Sohvaobjekti navigoi monimutkaisessa virtuaaliympäristössä, jota olisi ollut erittäin vaikea kartoittaa käyttämällä geometriakaappausta ja uudelleentekstoimista perinteisissä AR/VR-työnkuluissa, mutta joka luotiin automaattisesti uudelleen NeRF:ssä rajoitetusta määrästä valokuvia. Lähde: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tyypillisissä NeRF-toteutuksissa ei ole lentoratamekanismeja, koska suurin osa NeRF-projekteista viimeisen 18 kuukauden aikana on keskittynyt muihin haasteisiin, kuten esim. kohtauksen uudelleenvalo, heijastuksen renderöinti, sommittelu ja irrottaminen siepatuista elementeistä. Siksi uuden paperin ensisijainen innovaatio on toteuttaa NeRF-ympäristö navigoitavana tilana ilman laajoja laitteita ja työläitä toimenpiteitä, jotka olisivat tarpeen sen mallintamiseksi 3D-ympäristöksi sensorin sieppaamiseen ja CGI-rekonstruktioon perustuvana.

NeRF VR/AR:na

Uusi paperi on otsikko Vain visio -robottinavigointi hermosäteilyn maailmassa, ja se on kolmen Stanfordin osaston yhteistyö: Aeronautics ja Astronautics, Mechanical Engineering ja Computer Science.

Työssä ehdotetaan navigointikehystä, joka tarjoaa robotille valmiiksi koulutetun NeRF-ympäristön, jonka tilavuustiheys rajaa laitteen mahdolliset polut. Se sisältää myös suodattimen, joka arvioi robotin sijainnin virtuaaliympäristössä robotin sisäisen RGB-kameran kuvantunnistuksen perusteella. Tällä tavalla drone tai robotti pystyy "hallusinoimaan" tarkemmin, mitä se voi odottaa näkevänsä tietyssä ympäristössä.

Projektin liikeradan optimoija navigoi Stonehengen NeRF-mallin läpi, joka on luotu fotogrammetrian ja kuvan tulkinnan avulla hermosäteilyn ympäristöön. Ratasuunnittelija laskee joukon mahdollisia polkuja ennen kuin muodostaa optimaalisen liikeradan kaaren yli.

Projektin liikeradan optimoija navigoi Stonehengen NeRF-mallin läpi, joka on luotu fotogrammetrian ja kuvan tulkinnan avulla (tässä tapauksessa verkkomalleista) Neural Radiance -ympäristöön. Ratasuunnittelija laskee joukon mahdollisia polkuja ennen kuin muodostaa optimaalisen liikeradan kaaren yli.

Koska NeRF-ympäristössä on täysin mallinnettuja okkluusioita, drone voi oppia laskemaan esteitä helpommin, koska NeRF:n takana oleva hermoverkko voi kartoittaa tukosten välisen suhteen ja tavan, jolla dronin visioon perustuvat navigointijärjestelmät havaitsevat ympäristön. Automatisoitu NeRF-sukupolviputki tarjoaa suhteellisen triviaalin tavan luoda hypertodellisia harjoitustiloja vain muutamalla valokuvalla.

Stanford-projektia varten kehitetty online-uudelleensuunnittelukehys mahdollistaa joustavan ja täysin visioon perustuvan navigointiputken.

Stanford-projektia varten kehitetty online-uudelleensuunnittelukehys mahdollistaa joustavan ja täysin visioon perustuvan navigointiputken.

Stanford-aloite on ensimmäisten joukossa, joka pohtii mahdollisuuksia tutkia NeRF-avaruutta navigoitavan ja mukaansatempaavan VR-tyylisen ympäristön yhteydessä. Neural Radiance -kentät ovat nouseva teknologia, ja tällä hetkellä niihin kohdistuu useita akateemisia ponnisteluja korkeiden laskentaresurssitarpeidensa optimoimiseksi sekä siepattujen elementtien erottamiseksi.

Nerf ei ole (todella) CGI

Koska NeRF-ympäristö on navigoitava 3D-näkymä, siitä on tullut väärinymmärretty tekniikka sen ilmaantumisensa jälkeen vuonna 2020, ja sitä pidetään usein laajalti menetelmänä, joka automatisoi verkkojen ja pintakuvioiden luomista sen sijaan, että se korvaisi Hollywoodin VFX-osastoilta ja katsojille tuttuja 3D-ympäristöjä. lisätyn todellisuuden ja virtuaalitodellisuuden ympäristöjen fantastiset kohtaukset.

NeRF poimii geometria- ja pintakuviointitiedot hyvin rajatusta määrästä kuvan näkökulmia ja laskee kuvien välisen eron tilavuustietona. Lähde: https://www.matthewtancik.com/nerf

NeRF poimii geometria- ja pintakuviointitiedot hyvin rajatusta määrästä kuvan näkökulmia ja laskee kuvien välisen eron tilavuustietona. Lähde: https://www.matthewtancik.com/nerf

Itse asiassa NeRF-ympäristö on enemmän kuin "elävä" renderöintitila, jossa pikseli- ja valaistustietojen yhdistelmä säilytetään ja navigoidaan aktiivisessa ja toimivassa hermoverkossa.

Avain NeRF:n potentiaaliin on, että se vaatii vain rajoitetun määrän kuvia ympäristön uudelleenluomiseen ja että luodut ympäristöt sisältävät kaiken tarvittavan tiedon korkealaatuiseen rekonstruointiin ilman mallintajien, tekstuurin taiteilijoiden palveluita. asiantuntijat ja monet muut "perinteisen" CGI:n avustajat.

Semanttinen segmentointi

Vaikka NeRF käytännössä muodostaakin "Computer-Generated Imagery" (CGI), se tarjoaa täysin erilaisen menetelmän ja pitkälle automatisoidun putkilinjan. Lisäksi NeRF voi eristää ja "kapseloida" kohtauksen liikkuvia osia, jotta niitä voidaan lisätä, poistaa, nopeuttaa ja yleensä toimia erillisinä puolina virtuaaliympäristössä – ominaisuus, joka on paljon nykyistä tilaa pidemmällä. "Hollywood"-tulkinta siitä, mitä CGI on.

ST-NeRF

A yhteistyö Kesällä 2021 julkaistu Shanghai Tech University tarjoaa menetelmän, jolla liikkuvat NeRF-elementit voidaan yksilöidä kohtauksen "tahtoisiksi" puoliksi. Lähde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatiivisesti NeRF:n arkkitehtuuri on vähän "musta laatikko"; tällä hetkellä ei ole mahdollista erottaa objektia NeRF-ympäristöstä ja käsitellä sitä suoraan perinteisillä mesh-pohjaisilla ja kuvapohjaisilla työkaluilla, vaikka useat tutkimusyritykset ovat alkaneet tehdä läpimurtoja NeRF:n hermoverkkojen live renderöintiympäristöjen takana olevan matriisin purkamisessa.

Vain visio -robottinavigointi hermosäteilyn maailmassa

 

 

Koneoppimisen kirjoittaja, ihmiskuvan synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa.
Henkilökohtainen sivusto: martinanderson.ai
Ottaa yhteyttä: [sähköposti suojattu]
Twitter: @manders_ai