Robotik und physische KI
Neu entwickelte Kameras verwenden Licht, um um Ecken zu sehen
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
David Lindell, ein Graduate-Student im Bereich Elektrotechnik an der Stanford University, entwickelte zusammen mit seinem Team eine Kamera, die bewegliche Objekte um Ecken herum beobachten kann. Als sie die neue Technologie testeten, trug Lindell einen hochsichtbaren Trainingsanzug, während er sich in einem leeren Raum bewegte. Sie hatten eine Kamera, die auf eine leere Wand gerichtet war, weit weg von Lindell, und das Team konnte alle seine Bewegungen mit Hilfe eines hochleistungsfähigen Lasers beobachten. Der Laser rekonstruierte die Bilder mithilfe einzelner Lichtpartikel, die auf die Wände um Lindell herum reflektiert wurden. Die neu entwickelte Kamera verwendete fortschrittliche Sensoren und ein Verarbeitungsalgorithmus.
Gordon Wetzstein, Assistant Professor für Elektrotechnik an der Stanford University, sprach über die neu entwickelte Technologie.
“Die Leute sprechen darüber, eine Kamera zu bauen, die so gut sieht wie ein Mensch, für Anwendungen wie autonome Katzen und Roboter, aber wir wollen Systeme bauen, die weit darüber hinausgehen”, sagte er. “Wir wollen Dinge in 3D sehen, um Ecken herum und jenseits des sichtbaren Lichtspektrums.”
Das Kamerassystem, das getestet wurde, wird auf der SIGGRAPH 2019-Konferenz am 1. August vorgestellt.
Das Team hat bereits ähnliche Kameras entwickelt, die um Ecken herum sehen können, aber diese kann mehr Licht von mehr Oberflächen aufnehmen. Sie kann auch weiter und breiter sehen und Bewegungen außer Sichtweite überwachen. Sie hoffen, dass diese “übermenschlichen Sehsysteme” in autonomen Autos und Robotern verwendet werden können, damit sie sicherer operieren als wenn sie von einem Menschen gesteuert werden.
Eines der Hauptziele des Teams ist es, das System praktisch zu halten. Sie verwenden Hardware, Scanning- und Bildverarbeitungsgeschwindigkeiten und Stile der Bildgebung, die bereits in autonomen Autos verwendet werden. Ein Unterschied besteht darin, dass das neue System Licht aufnehmen kann, das von verschiedenen Oberflächen mit unterschiedlichen Texturen abprallt. Vorher konnten die Systeme, die verwendet wurden, um Dinge außerhalb des Sichtfeldes einer Kamera zu sehen, nur mit Objekten umgehen, die gleichmäßiges und starkes Licht reflektierten.
Eine der Entwicklungen, die ihnen half, diese Technologie zu schaffen, war ein Laser, der 10.000 Mal leistungsfähiger ist als der, den sie im letzten Jahr verwendet haben. Er scannt eine Wand auf der gegenüberliegenden Seite des Punktes von Interesse. Das Licht prallt von der Wand ab, trifft auf die Objekte in der Szene und kehrt zurück zur Wand und den Kamerasensoren. Der Sensor kann dann kleine Lichtpartikel aufnehmen und sie an einen Algorithmus senden, der auch von dem Team entwickelt wurde. Der Algorithmus entschlüsselt die Partikel, um die Bilder zu rekonstruieren.
“Wenn man den Laser scannen sieht, sieht man nichts”, sagte Lindell. “Mit dieser Hardware können wir praktisch die Zeit verlangsamen und diese Lichtspuren aufdecken. Es sieht fast wie Magie aus.”
Das neue System kann mit vier Bildern pro Sekunde scannen und Szenen mit bis zu 60 Bildern pro Sekunde rekonstruieren, wenn es mit einer Computer-Grafikverarbeitungseinheit verwendet wird, die die Fähigkeiten erweitert.
Das Team zog Inspiration aus anderen Bereichen wie seismischen Bildgebungssystemen. Diese prallen Schallwellen von unterirdischen Schichten der Erde ab und können sehen, was unter der Oberfläche liegt. Der Algorithmus wurde so konfiguriert, dass er Licht entschlüsselt, das von versteckten Objekten abprallt.
Matthew O’Toole, Assistant Professor an der Carnegie Mellon University und ehemaliger Postdoktorand in Wetzsteins Labor, sprach über die neue Technologie.
“Es gibt viele Ideen, die in anderen Bereichen verwendet werden – Seismologie, Bildgebung mit Satelliten, synthetische Apertur-Radar – die auf das Um-Ecken-Sehen anwendbar sind”, sagte er. “Wir versuchen, ein bisschen von diesen Bereichen zu übernehmen und hoffen, dass wir ihnen irgendwann etwas zurückgeben können.”
Das Teams nächster Schritt ist es, das System auf autonomen Forschungsfahrzeugen zu testen. Sie möchten auch sehen, ob es in anderen Bereichen wie der medizinischen Bildgebung und zur Bekämpfung von Sichtproblemen, die Fahrer bei Nebel, Regen, Sandstürmen und Schnee haben, anwendbar ist.
