Nyutviklede kameraer bruker lys for å se rundt hjørner

David Lindell, en doktorgradsstudent i elektroteknikk ved Stanford University, utviklet sammen med teamet sitt et kamera som kan se objekter i bevegelse rundt hjørner. Da de testet den nye teknologien, hadde Lindell på seg en treningsdress med høy synlighet da han beveget seg rundt i et tomt rom. De hadde et kamera som var rettet mot en blank vegg vekk fra Lindell, og teamet var i stand til å se alle bevegelsene hans med bruk av en kraftig laser. Laseren rekonstruerte bildene ved bruk av enkeltpartikler av lys som ble reflektert på veggene rundt Lindell. Det nyutviklede kameraet brukte avanserte sensorer og en prosesseringsalgoritme. 

Gordon Wetzstein, assisterende professor i elektroteknikk ved Stanford, snakket om den nyutviklede teknologien. 

"Folk snakker om å bygge et kamera som kan se like godt som mennesker for applikasjoner som autonome katter og roboter, men vi ønsker å bygge systemer som går langt utover det," sa han. "Vi ønsker å se ting i 3D, rundt hjørner og utenfor det synlige lysspekteret." 

Kamerasystemet som ble testet vil bli presentert på SIGGRAPH 2019-konferansen 1. august. 

Teamet har allerede utviklet lignende kameraer rundt hjørnet tidligere, men dette er i stand til å fange opp mer lys fra flere overflater. Den kan også se bredere og lengre, samt overvåke bevegelser utenfor syne. De håper at disse "overmenneskelige synssystemene" vil kunne brukes i autonome biler og roboter, slik at de vil operere sikrere enn når de kontrolleres av et menneske. 

Et av teamets hovedmål er å holde systemet praktisk. De bruker maskinvare-, skannings- og bildebehandlingshastigheter og bildestiler som allerede brukes i autonome bilsynssystemer. En forskjell er at det nye systemet er i stand til å fange lys som preller av fra en rekke forskjellige overflater med forskjellige teksturer. Før kunne systemene som ble brukt til å se ting utenfor kameraets siktlinje kun gjøre det med objekter som reflekterte jevnt og sterkt lys. 

En av utviklingen som hjalp dem med å lage denne teknologien var en laser som er 10,000 XNUMX ganger kraftigere enn den de brukte i fjor. Den skanner en vegg på motsatt side av interessepunktet. Lyset spretter av veggen, treffer objektene i scenen og går tilbake til veggen og kamerasensorene. Sensoren er da i stand til å fange opp små flekker av laserlyset og sender dem til en algoritme som også ble utviklet av teamet. Algoritmen dechiffrerer flekkene for å rekonstruere bildene. 

"Når du ser på laseren som skanner den ut, ser du ingenting," sa Lindell. "Med denne maskinvaren kan vi i utgangspunktet redusere tiden og avsløre disse lyssporene. Det ser nesten ut som magi.» 

Det nye systemet er i stand til å skanne med fire bilder per sekund og rekonstruere scener opp til 60 bilder per sekund med en datagrafikkbehandlingsenhet som forbedrer mulighetene. 

Teamene hentet inspirasjon fra andre felt som seismiske bildesystemer. Disse spretter lydbølger fra underjordiske lag av jorden, og de er i stand til å se hva som er under overflaten. Algoritmen er rekonfigurert for å dechiffrere lys som spretter av skjulte objekter. 

Matthew O'Toole, assisterende professor ved Carnegie Mellon University og tidligere postdoktor i Wetzsteins laboratorium, snakket om den nye teknologien. 

"Det er mange ideer som brukes i andre rom - seismologi, bildebehandling med satellitter, syntetisk blenderradar - som er anvendelige for å se rundt hjørner," sa han. Vi prøver å ta litt fra disse feltene, og vi vil forhåpentligvis kunne gi noe tilbake til dem på et tidspunkt.» 

Teamets neste trinn er å teste systemet på autonome forskningsbiler. De vil også se om det vil være aktuelt på andre områder som medisinsk bildebehandling og for å bekjempe problemer med visuelle forhold som sjåfører møter som tåke, regn, sandstormer og snø.