Roboter über Tools mit Neuralen Radiance Fields (NeRF) aufklären

Neue Forschungsergebnisse der University of Michigan bieten eine Möglichkeit, wie Roboter die Mechanismen von Werkzeugen und anderen realen, beweglichen Objekten verstehen können, indem sie Neurale Radiance Fields (NeRF) erstellen, die die Bewegung dieser Objekte demonstrieren und es dem Roboter ermöglichen, mit ihnen zu interagieren und sie ohne umständliche vorherige Konfiguration zu verwenden.

Durch die Verwendung bekannter Quellenreferenzen für die interne Beweglichkeit von Werkzeugen (oder jedem Objekt mit einem geeigneten Referenz) kann NARF22 eine photorealistische Approximation des Werkzeugs und seiner Bewegungsbereiche sowie seiner Betriebsart synthesieren. Quelle: https://progress.eecs.umich.edu/projects/narf/

Roboter, die mehr als nur Fußgänger vermeiden oder komplex vorprogrammierte Routinen ausführen müssen (für die nicht wiederverwendbare Datensätze mit hohem Aufwand beschriftet und trainiert wurden), benötigen diese Art von adaptiver Fähigkeit, um mit den gleichen Materialien und Objekten arbeiten zu können, mit denen wir alle umgehen müssen.

Bisher gab es mehrere Hindernisse, um robotische Systeme mit dieser Art von Vielseitigkeit auszustatten. Dazu gehören die Knappheit an anwendbaren Datensätzen, von denen viele nur eine sehr begrenzte Anzahl von Objekten enthalten; die enormen Kosten, die für die Erstellung photorealistischer, meshbasierter 3D-Modelle anfallen, die Roboter helfen können, Instrumentalität im Kontext der realen Welt zu lernen; und die nicht-photorealistische Qualität solcher Datensätze, die tatsächlich für die Herausforderung geeignet sind, wodurch die Objekte wie abgetrennt von dem erscheinen, was der Roboter in der Welt um ihn herum wahrnimmt, und ihn dazu bringen, ein cartoon-ähnliches Objekt zu suchen, das niemals in der Realität erscheinen wird.

Um dies zu bewältigen, haben die Forscher der University of Michigan, deren Arbeit den Titel NARF22: Neurale Articulierte Radiance Fields für Konfigurationsbewusste Rendering trägt, eine Zwei-Stufen-Pipeline für die Erstellung von NeRF-basierten, beweglichen Objekten entwickelt, die ein “realweltliches” Aussehen haben und die Bewegung und die daraus resultierenden Einschränkungen jedes einzelnen beweglichen Objekts berücksichtigen.

Obwohl es komplexer erscheint, umfasst die wesentliche Zwei-Stufen-Pipeline von NARF22 das Rendering statischer Teile beweglicher Werkzeuge und dann die Komposition dieser Elemente in eine zweite Datensatz, die über die Bewegungsparameter dieser Teile im Verhältnis zueinander informiert ist. Quelle: https://arxiv.org/pdf/2210.01166.pdf

Das System wird als Neurales Articuliertes Radiance Field bezeichnet – oder NARF22, um es von einem anderen ähnlich benannten Projekt zu unterscheiden.

NARF22

Die Feststellung, ob ein unbekanntes Objekt möglicherweise beweglich ist, erfordert fast unvorstellbares menschliches Vorwissen. Wenn Sie beispielsweise noch nie einen geschlossenen Schubladen gesehen haben, könnte es wie jedes andere dekorative Paneel aussehen – es ist erst dann, wenn Sie es tatsächlich geöffnet haben, dass Sie “Schubladen” als bewegliches Objekt mit einer einzigen Achse der Bewegung (vorwärts und rückwärts) internalisieren.

Daher ist NARF22 nicht als exploratorisches System gedacht, um Dinge aufzunehmen und zu sehen, ob sie bewegliche Teile haben – ein fast simianes Verhalten, das eine Reihe von potenziell katastrophalen Szenarien mit sich bringen würde. Stattdessen basiert das Framework auf Wissen, das in der Universal Robot Description Format (URDF) verfügbar ist – einem offenen, XML-basierten Format, das weit verbreitet und für die Aufgabe geeignet ist. Eine URDF-Datei enthält die verwendbaren Bewegungsparameter eines Objekts sowie Beschreibungen und andere beschriftete Aspekte der Teile des Objekts.

In herkömmlichen Pipelines ist es notwendig, die Artikulationsfähigkeiten eines Objekts zu beschreiben und die entsprechenden Gelenkwerte zu beschriften. Dies ist keine billige oder leicht skalierbare Aufgabe. Stattdessen rendern die Forscher die einzelnen Komponenten des Objekts, bevor sie jedes statische Komponent in eine bewegliche NeRF-basierte Darstellung “zusammenbauen”, wobei das Wissen über die Bewegungsparameter durch URDF bereitgestellt wird.

Im zweiten Schritt des Prozesses wird ein völlig neuer Renderer erstellt, der alle Teile umfasst. Obwohl es einfacher wäre, die einzelnen Teile zu einem früheren Zeitpunkt zu verbinden und diesen nachfolgenden Schritt zu überspringen, beobachten die Forscher, dass das endgültige Modell – das auf einem NVIDIA RTX 3080-Grafikprozessor unter einem AMD 5600X-Prozessor trainiert wurde – geringere Rechenanforderungen während der Backpropagation hat als eine solche abrupte und vorzeitige Montage.

Darüber hinaus läuft das Modell der zweiten Stufe mit doppelter Geschwindigkeit wie eine verkettete, “brute-forced”-Montage, und sekundäre Anwendungen, die möglicherweise Informationen über statische Teile des Modells benötigen, benötigen keinen eigenen Zugriff auf URDF-Informationen, da diese bereits in den finalen Renderer integriert wurden.

Daten und Experimente

Die Forscher führten mehrere Experimente durch, um NARF22 zu testen: eines, um die qualitative Rendering für jede Objektkonfiguration und -pose zu bewerten; einen quantitativen Test, um die gerenderten Ergebnisse mit ähnlichen Blickwinkeln zu vergleichen, die von realen Robotern gesehen werden; und eine Demonstration der Konfigurationsabschätzung und einer 6-DOF-Feinabstimmung, die NARF22 verwendet, um eine gradientbasierte Optimierung durchzuführen.

Die Trainingsdaten stammten aus dem Progress Tools-Datensatz aus einer früheren Arbeit von einigen der Autoren der aktuellen Arbeit. Der Progress-Tools-Datensatz enthält etwa sechs Thousand RGB-D-Bilder (d. h. einschließlich Tiefeninformationen, die für die Robotik-Vision unerlässlich sind) mit einer Auflösung von 640×480 Pixeln. Die verwendeten Szenen umfassten acht Handwerkzeuge, die in ihre Teile zerlegt wurden, einschließlich Mesh-Modellen und Informationen über die kinematischen Eigenschaften der Objekte (d. h. die Art und Weise, wie sie konzipiert sind, um sich zu bewegen, und die Parameter dieser Bewegung).

Der Progress-Tools-Datensatz umfasst vier bewegliche Werkzeuge. Die oben gezeigten Bilder sind NeRF-basierte Renderings von NARF22.

Für dieses Experiment wurde ein endgültiges konfigurierbares Modell trainiert, das nur Linesmen-Zangen, Langnose-Zangen und einen Klemmer (siehe Bild oben) verwendete. Die Trainingsdaten enthielten eine einzige Konfiguration des Klemmers und eine für jede der Zangen.

Die Implementierung von NARF22 basiert auf FastNeRF, wobei die Eingabeparameter modifiziert wurden, um sich auf die verkettete und räumlich codierte Pose der Werkzeuge zu konzentrieren. FastNeRF verwendet ein faktorisierter multilayer-Perzeptron (MLP) in Verbindung mit einem voxelisierten Sampling-Mechanismus (Voxels sind im Wesentlichen Pixel, aber mit vollständigen 3D-Koordinaten, so dass sie in einem dreidimensionalen Raum operieren können).

Für den qualitativen Test beobachten die Forscher, dass es mehrere verdeckte Teile des Klemmers gibt (d. h. die zentrale Wirbelsäule, die nicht bekannt oder geraten werden kann, indem man das Objekt beobachtet, sondern nur, indem man mit ihm interagiert, und dass das System Schwierigkeiten hat, diese “unbekannte” Geometrie zu erstellen.

Qualitative Renderings von Werkzeugen.

Im Gegensatz dazu konnten die Zangen gut auf neue Konfigurationen verallgemeinern (d. h. auf Erweiterungen und Bewegungen ihrer Teile, die innerhalb der URDF-Parameter liegen, aber nicht explizit in den Trainingsmaterialien für das Modell angesprochen werden.

Die Forscher beobachten jedoch, dass Beschriftungsfehler für die Zangen zu einer Verringerung der Renderingqualität für die sehr detaillierten Spitzen der Werkzeuge führten, was die Renderings negativ beeinflusste – ein Problem, das mit viel weiteren Bedenken rund um die Beschriftungslogistik, Budgetierung und Genauigkeit im Bereich der Computer-Vision-Forschung zusammenhängt, anstatt ein Verfahrensmangel im NARF22-Pipeline.

Ergebnisse des Render-Genauigkeitstests.

Für die Konfigurationsabschätzungen führten die Forscher eine Pose-Feinabstimmung und eine Konfigurationsabschätzung von einer initialen “starren” Pose durch, wobei sie jegliche Zwischenspeicherung oder andere beschleunigende Workarounds, die von FastNeRF selbst verwendet werden, vermieden.

Sie trainierten dann 17 gut geordnete Szenen aus dem Testset von Progress Tools (das während des Trainings zurückgehalten worden war), indem sie 150 Iterationen der Gradientenabstiegsoptimierung unter dem Adam-Optimizer durchführten. Dieses Verfahren erholte die Konfigurationsabschätzung “extrem gut”, wie die Forscher berichten.

Ergebnisse des Konfigurationsabschätzungstests.

Erstveröffentlicht am 5. Oktober 2022.