Nieuw ontwikkelde camera’s gebruiken licht om om hoeken te kijken

David Lindell, een graduate student in elektrotechniek aan de Stanford University, ontwikkelde samen met zijn team een camera die kan zien wat er om hoeken gebeurt. Toen ze de nieuwe technologie testten, droeg Lindell een felgekleurde trainingspak en bewoog hij zich rond in een lege kamer. Ze hadden een camera die op een lege muur gericht was, ver weg van Lindell, en het team kon al zijn bewegingen zien met behulp van een krachtige laser. De laser reconstrueerde de beelden met behulp van enkele lichtdeeltjes die werden weerkaatst op de muren rond Lindell. De nieuw ontwikkelde camera maakte gebruik van geavanceerde sensoren en een verwerking algoritme.

Gordon Wetzstein, assistent-professor in elektrotechniek aan de Stanford University, sprak over de nieuw ontwikkelde technologie.

“Mensen praten over het bouwen van een camera die zo goed kan zien als mensen voor toepassingen zoals autonome katten en robots, maar wij willen systemen bouwen die veel verder gaan”, zei hij. “Wij willen dingen zien in 3D, om hoeken en voorbij het zichtbare lichtspectrum.”

Het camerasysteem dat werd getest, zal worden gepresenteerd op de SIGGRAPH 2019-conferentie op 1 augustus.

Het team heeft eerder al soortgelijke camera’s ontwikkeld die om hoeken kunnen kijken, maar deze kan meer licht van meer oppervlakken vastleggen. Het kan ook verder en breder zien en bewegingen buiten het zicht volgen. Zij hopen dat deze “supermenselijke visiesystemen” kunnen worden gebruikt in autonome auto’s en robots, zodat ze veiliger kunnen opereren dan wanneer ze door een mens worden bestuurd.

Een van de belangrijkste doelen van het team is om het systeem praktisch te houden. Zij gebruiken hardware, scannen en beeldverwerkingsnelheden en stijlen van beeldvorming die al worden gebruikt in autonome auto-visiesystemen. Een verschil is dat het nieuwe systeem licht kan vastleggen dat afketst van verschillende oppervlakken met verschillende texturen. Voorheen konden systemen die werden gebruikt om dingen buiten het zicht van de camera te zien, alleen werken met objecten die sterk en gelijkmatig licht reflecteerden.

Een van de ontwikkelingen die hen hielpen om deze technologie te creëren, was een laser die 10.000 keer krachtiger is dan de laser die zij vorig jaar gebruikten. Deze laser scant een muur aan de andere kant van het punt van interesse. Het licht ketst af van de muur, raakt de objecten in de scène en keert terug naar de muur en de camerasensoren. De sensor kan dan kleine deeltjes van het laserlicht opvangen en verzenden naar een algoritme dat ook door het team is ontwikkeld. Het algoritme ontcijfert de deeltjes om de beelden te reconstrueren.

“Als je naar de laser kijkt die het uit scant, zie je niets”, zei Lindell. “Met deze hardware kunnen we eigenlijk de tijd vertragen en deze sporen van licht onthullen. Het ziet er bijna magisch uit.”

Het nieuwe systeem kan scannen met vier frames per seconde en scènes reconstrueren met maximaal 60 frames per seconde met een computer graphics processing unit die de mogelijkheden verhoogt.

Het team haalde inspiratie uit andere gebieden zoals seismische beeldvormingssystemen. Deze systemen kaatsen geluidsgolven af tegen ondergrondse lagen van de aarde en kunnen zien wat er onder het oppervlak ligt. Het algoritme is opnieuw geconfigureerd om licht te ontcijferen dat afketst van verborgen objecten.

Matthew O’Toole, assistent-professor aan de Carnegie Mellon University en voormalig postdoctoraal onderzoeker in Wetzsteins lab, sprak over de nieuwe technologie.

“Er zijn veel ideeën die in andere ruimtes worden gebruikt – seismologie, beeldvorming met satellieten, synthetische apertuurradar – die van toepassing zijn op het kijken om hoeken”, zei hij. “Wij proberen een beetje van deze gebieden te nemen en hopelijk kunnen wij op een gegeven moment iets teruggeven aan hen.”

Het team gaat als volgende stap het systeem testen op autonome onderzoeksauto’s. Zij willen ook zien of het toepasbaar is in andere gebieden zoals medische beeldvorming en om problemen van visuele omstandigheden te helpen bestrijden die bestuurders tegenkomen, zoals mist, regen, zandstormen en sneeuw.