Nyutvecklade kameror använder ljus för att se runt hörn

David Lindell, en doktorand i elektroteknik vid Stanford University, tillsammans med sitt team, har utvecklat en kamera som kan se rörliga föremål runt hörn. När de testade den nya tekniken bar Lindell en högt synlig träningsdräkt medan han rörde sig runt i ett tomt rum. De hade en kamera som var riktad mot en tom vägg borta från Lindell, och teamet kunde se alla hans rörelser med hjälp av en högkvalitativ laser. Lasern rekonstruerade bilderna genom att använda enskilda ljuspartiklar som reflekterades mot väggarna runt Lindell. Den nyutvecklade kameran använde avancerade sensorer och en bearbetningsalgoritm.

Gordon Wetzstein, biträdande professor i elektroteknik vid Stanford, talade om den nyutvecklade tekniken.

“Människor pratar om att bygga en kamera som kan se lika bra som människor för tillämpningar som autonoma katter och robotar, men vi vill bygga system som går långt utöver det”, sa han. “Vi vill se saker i 3D, runt hörn och bortom det synliga ljusspektrumet.”

Kamer systemet som testades kommer att presenteras på SIGGRAPH 2019-konferensen den 1 augusti.

Teamet har redan utvecklat liknande kameror som kan se runt hörn tidigare, men denna kan fånga mer ljus från fler ytor. Den kan också se bredare och längre, samt övervaka rörelser som inte syns. De hoppas att dessa “övermänskliga visionsystem” ska kunna användas i autonoma bilar och robotar så att de kan operera säkrare än när de styrs av en människa.

Ett av teamets huvudmål är att hålla systemet praktiskt. De använder hårdvara, skannings- och bildbearbetningshastigheter, samt stilar av avbildning som redan används i autonoma bilars visionsystem. En skillnad är att det nya systemet kan fånga ljus som studsar mot en mängd olika ytor med olika texturer. Tidigare kunde systemen som användes för att se saker utanför kamerans synfält bara göra det med föremål som reflekterade jämnt och starkt ljus.

En av utvecklingarna som hjälpte dem att skapa denna teknik var en laser som är 10 000 gånger kraftigare än den de använde förra året. Den skannar en vägg på motsatt sida av punkten för intresse. Ljuset studsar mot väggen, träffar föremålen i scenen och återvänder till väggen och kamerans sensorer. Sensorn kan sedan uppfatta små ljuspartiklar och skickar dem till en algoritm som också utvecklats av teamet. Algoritmen tolkar partiklarna för att rekonstruera bilderna.

“När du tittar på lasern som skannar ut, ser du ingenting”, sa Lindell. “Med denna hårdvara kan vi nästan sakta ner tiden och avslöja dessa spår av ljus. Det ser nästan ut som magi.”

Det nya systemet kan skanna i fyra bilder per sekund och rekonstruera scener upp till 60 bilder per sekund med en datorgrafikprocessor som förbättrar kapaciteten.

Teamet drog inspiration från andra områden som seismiska avbildningssystem. Dessa studsar ljudvågor mot underjordiska lager av jorden och kan se vad som finns under ytan. Algoritmen är omkonfigurerad för att tolka ljus som studsar mot dolda föremål.

Matthew O’Toole, biträdande professor vid Carnegie Mellon University och tidigare postdoktorand i Wetzsteins labb, talade om den nya tekniken.

“Det finns många idéer som används i andra områden – seismologi, avbildning med satelliter, syntetisk aperturradar – som är tillämpliga för att se runt hörn”, sa han. “Vi försöker ta en del från dessa områden och vi hoppas kunna ge något tillbaka till dem någon gång.”

Teamets nästa steg är att testa systemet på autonoma forskningsbilar. De vill också se om det kommer att vara tillämpligt i andra områden som medicinsk avbildning och för att bekämpa problem med synförhållanden som förare stöter på, såsom dimma, regn, sandstormar och snö.