Nyutvecklade kameror använder ljus för att se runt hörnen

David Lindell, en doktorand i elektroteknik vid Stanford University, tillsammans med sitt team, utvecklade en kamera som kan titta på rörliga föremål runt hörn. När de testade den nya tekniken bar Lindell en träningsoverall med hög synlighet när han rörde sig i ett tomt rum. De hade en kamera som var riktad mot en tom vägg bort från Lindell, och teamet kunde titta på alla hans rörelser med hjälp av en högdriven laser. Lasern rekonstruerade bilderna genom att använda enstaka ljuspartiklar som reflekterades på väggarna runt Lindell. Den nyutvecklade kameran använde avancerade sensorer och en bearbetningsalgoritm. 

Gordon Wetzstein, biträdande professor i elektroteknik vid Stanford, talade om den nyutvecklade tekniken. 

"Folk pratar om att bygga en kamera som kan se lika bra som människor för applikationer som autonoma katter och robotar, men vi vill bygga system som går långt utöver det", sa han. "Vi vill se saker i 3D, runt hörn och bortom det synliga ljusspektrumet." 

Kamerasystemet som testades kommer att presenteras på SIGGRAPH 2019-konferensen den 1 augusti. 

Teamet har redan utvecklat liknande kameror runt hörnet tidigare, men den här kan fånga mer ljus från fler ytor. Den kan också se bredare och längre samt övervaka rörelser utanför synhåll. De hoppas att dessa "övermänskliga synsystem" ska kunna användas i autonoma bilar och robotar så att de kommer att fungera säkrare än när de kontrolleras av en människa. 

Ett av teamets huvudmål är att hålla systemet praktiskt. De använder hårdvara, skannings- och bildbehandlingshastigheter och bildbehandlingsstilar som redan används i autonoma bilsynssystem. En skillnad är att det nya systemet kan fånga ljus som reflekteras från en mängd olika ytor med olika texturer. Förr kunde de system som användes för att se saker utanför kamerans siktlinje bara göra det med föremål som reflekterade jämnt och starkt ljus. 

En av utvecklingarna som hjälpte dem att skapa denna teknik var en laser som är 10,000 XNUMX gånger kraftfullare än den de använde förra året. Den skannar en vägg på motsatt sida av platsen av intresse. Ljuset studsar från väggen, träffar föremålen i scenen och återgår till väggen och kamerasensorerna. Sensorn kan sedan plocka upp små fläckar av laserljuset och skickar dem till en algoritm som också utvecklats av teamet. Algoritmen dechiffrerar fläckarna för att rekonstruera bilderna. 

"När du tittar på lasern som skannar ut den ser du ingenting," sa Lindell. "Med den här hårdvaran kan vi i princip sakta ner tiden och avslöja dessa ljusspår. Det ser nästan ut som magi.” 

Det nya systemet kan skanna med fyra bilder per sekund och rekonstruera scener upp till 60 bilder per sekund med en datorgrafikbehandlingsenhet som förbättrar kapaciteten. 

Teamen hämtade inspiration från andra områden som seismiska bildsystem. Dessa studsar ljudvågor från underjordiska lager av jorden, och de kan se vad som finns under ytan. Algoritmen är omkonfigurerad för att dechiffrera ljus som studsar bort från dolda föremål. 

Matthew O'Toole, biträdande professor vid Carnegie Mellon University och tidigare postdoktor i Wetzsteins labb, talade om den nya tekniken. 

"Det finns många idéer som används i andra utrymmen - seismologi, avbildning med satelliter, syntetisk bländarradar - som är användbara för att titta runt hörn," sa han. Vi försöker ta lite från dessa fält och vi kommer förhoppningsvis att kunna ge något tillbaka till dem någon gång.” 

Teamets nästa steg är att testa systemet på autonoma forskningsbilar. De vill också se om det kommer att vara tillämpligt inom andra områden som medicinsk bildbehandling och för att hjälpa till att bekämpa problem med synförhållanden som förare stöter på som dimma, regn, sandstormar och snö.