Nylig utviklede kameraer bruker lys for å se rundt hjørner

David Lindell, en masterstudent i elektroteknikk ved Stanford University, sammen med sitt team, har utviklet et kamera som kan se på flytting objekter rundt hjørner. Når de testet den nye teknologien, hadde Lindell på seg en høytilsynlighetstrøye mens han beveget seg rundt i et tomt rom. De hadde et kamera som var rettet mot en blank vegg borte fra Lindell, og teamet kunne se alle hans bevegelser med hjelp av en høykraftet laser. Laseren rekonstruerte bildene gjennom bruk av enkelt partikler av lys som ble reflektert på vegger rundt Lindell. Det nylig utviklede kameraet brukte avanserte sensorer og en prosesseringsalgoritme.

Gordon Wetzstein, assistentprofessor i elektroteknikk ved Stanford, snakket om den nylig utviklede teknologien.

“Folk snakker om å bygge et kamera som kan se like godt som mennesker for applikasjoner som autonome katter og roboter, men vi vil bygge systemer som går langt utenfor det,” sa han. “Vi vil se ting i 3D, rundt hjørner og utenfor det synlige lys-spekteret.”

Kamera-systemet som ble testet vil bli presentert på SIGGRAPH 2019-konferansen den 1. august.

Teamet har allerede utviklet lignende kameraer som kan se rundt hjørner tidligere, men denne kan fange mer lys fra flere overflater. Den kan også se videre og lengre, samt overvåke bevegelser som er utenfor syne. De håper at disse “superhumane visjonssystemene” vil kunne brukes i autonome biler og roboter, så de kan operere tryggere enn når de styres av et menneske.

En av teamets hovedmål er å holde systemet praktisk. De bruker hardware, skanning og bildebehandlingshastigheter, og stiler av bildebehandling som allerede brukes i autonome bil-visjonssystemer. En forskjell er at det nye systemet kan fange lys som bouncer av en rekke forskjellige overflater med forskjellige teksturer. Før kunne systemene som ble brukt til å se ting utenfor kameraets synsfelt kun gjøre det med objekter som reflekterte jevne og sterke lys.

En av utviklingene som hjalp dem å skape denne teknologien var en laser som er 10 000 ganger kraftigere enn den de brukte i fjor. Den skanner en vegg på motsatt side av punktet av interesse. Lyset bouncer av vegen, treffer objektene i scenen, og returnerer tilbake til vegen og kamera-sensorene. Sensoren kan deretter plukke opp små prikker av laserlyset og sender dem til en algoritme som også ble utviklet av teamet. Algoritmen tolker prikkene for å rekonstruere bildene.

“Når du ser på laseren som skanner det ut, ser du ingenting,” sa Lindell. “Med denne hardwaren kan vi nesten sakte ned tiden og avsløre disse lys-sporene. Det ser nesten ut som magi.”

Det nye systemet kan skanne med fire bilder per sekund og rekonstruere scener opp til 60 bilder per sekund med en datamaskin-grafikkprosessor som forbedrer kapasiteten.

Teamet tok inspirasjon fra andre felt, som seismiske bildesystemer. Disse bouncer lydbølger av underjordiske lag av jorden, og de kan se hva som ligger under overflaten. Algoritmen er konfigurert for å tolke lys som bouncer av skjulte objekter.

Matthew O’Toole, assistentprofessor ved Carnegie Mellon University og tidligere postdoktorand i Wetzsteins lab, snakket om den nye teknologien.

“Det finnes mange ideer som brukes i andre rom — seismologi, bildesystemer med satellitter, syntetisk åpning-radar — som er anvendelige på å se rundt hjørner,” sa han. “Vi prøver å ta litt fra disse feltene, og vi håper å kunne gi noe tilbake til dem på et tidspunkt.”

Teamets neste skritt er å teste systemet på autonome forskningsbiler. De vil også se om det vil være anvendelig i andre områder, som medisinske bilder, og for å hjelpe med å bekjempe problemer med visuelle forhold som sjåfører møter, som tåke, regn, sandstormer og snø.