Robots leren over tools met Neural Radiance Fields (NeRF)

Nieuw onderzoek van de Universiteit van Michigan biedt een manier voor robots om de mechanismen van tools en andere reële, gearticuleerde objecten te begrijpen door het creëren van Neural Radiance Fields (NeRF)-objecten die demonstreren hoe deze objecten bewegen, waardoor de robot mogelijk in staat is om interactie met hen te hebben en ze te gebruiken zonder omslachtige toegewijde preconfiguratie.

Door gebruik te maken van bekende bronnen voor de interne beweeglijkheid van tools (of elk object met een geschikte referentie), kan NARF22 een fotorealistische benadering van het instrument en zijn bereik van beweging en type van operatie synthetiseren. Bron: https://progress.eecs.umich.edu/projects/narf/

Robots die meer moeten doen dan alleen voetgangers ontwijken of ingewikkeld voorgeprogrammeerde routines uitvoeren (waarvoor niet-hergebruikte datasets waarschijnlijk zijn gelabeld en getraind tegen enige kosten), hebben deze soort adaptieve capaciteit nodig als ze met dezelfde materialen en objecten moeten werken als de rest van ons.

Tot nu toe zijn er een aantal obstakels geweest om robotische systemen van deze soort flexibiliteit te voorzien. Deze omvatten de schaarste aan toepasbare datasets, waarvan veel een zeer beperkt aantal objecten bevatten; de hoge kosten die gemoeid zijn met het genereren van fotorealistische, mesh-gebaseerde 3D-modellen die robots kunnen helpen instrumenten te leren in de context van de echte wereld; en de niet-fotorealistische kwaliteit van dergelijke datasets die mogelijk geschikt zijn voor de uitdaging, waardoor de objecten afgebroken lijken van wat de robot waarneemt in de wereld om hem heen, en hem trainen om een cartoon-achtig object te zoeken dat nooit in werkelijkheid zal verschijnen.

Om dit aan te pakken, hebben de onderzoekers van Michigan, wiens paper de titel NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering draagt, een tweestaps-pijplijn ontwikkeld voor het genereren van NeRF-gebaseerde gearticuleerde objecten die een ‘echte wereld’-uitstraling hebben en die de beweging en de daaruit voortvloeiende beperkingen van elk afzonderlijk gearticuleerd object incorporeren.

Hoewel het er complexer uitziet, omvatten de essentiële twee stappen van de NARF22-pijplijn het renderen van statische delen van beweeglijke tools en vervolgens het componeren van deze elementen in een tweede dataset die geïnformeerd is over de parameters van beweging die deze delen hebben, relatief tot elkaar. Bron: https://arxiv.org/pdf/2210.01166.pdf

Het systeem heet Neural Articulated Radiance Field – of NARF22, om het te onderscheiden van een ander soortgelijk project.

NARF22

Het bepalen of een onbekend object mogelijk gearticuleerd is, vereist bijna onvoorstelbare hoeveelheden menselijke kennis. Als je bijvoorbeeld nooit eerder een gesloten lade had gezien, zou het eruit kunnen zien als elk ander soort decoratief paneel – het is pas wanneer je er een hebt geopend dat je ‘lade’ internaliseert als een gearticuleerd object met een enkele as van beweging (vooruit en achteruit).

Daarom is NARF22 niet bedoeld als een exploratiesysteem voor het oppakken van dingen en zien of ze beweegbare delen hebben – een soort bijna simiaan gedrag dat een aantal potentieel rampzalige scenario’s met zich mee zou brengen. In plaats daarvan is het kader gebaseerd op kennis die beschikbaar is in Universal Robot Description Format (URDF) – een open source XML-gebaseerd formaat dat breed toepasbaar en geschikt is voor de taak. Een URDF-bestand bevat de bruikbare parameters van beweging in een object, evenals beschrijvingen en andere gelabelde facetten van de delen van het object.

In conventionele pijplijnen is het noodzakelijk om de articulatiecapaciteiten van een object te beschrijven en de relevante jointwaarden te labelen. Dit is geen goedkope of gemakkelijk schaalbare taak. In plaats daarvan renderen de NaRF22-workflow de individuele componenten van het object voordat elk statisch component wordt ‘samengesteld’ in een gearticuleerd NeRF-gebaseerd model, met kennis van de bewegingsparameters die door URDF worden verstrekt.

In de tweede stap van het proces wordt een geheel nieuw renderer gemaakt dat alle delen incorporeert. Hoewel het gemakkelijker zou zijn om de individuele delen eerder te concatenaten en deze latere stap over te slaan, merken de onderzoekers op dat het finale model – dat getraind is op een NVIDIA RTX 3080 GPU onder een AMD 5600X CPU – lagere computationele eisen heeft tijdens backpropagation dan een dergelijke abrupte en premature assemblage.

Bovendien loopt het tweede-stadiummodel tweemaal zo snel als een geconcateneerde, ‘brute-geforceerde’ assemblage, en hebben eventuele secundaire toepassingen die mogelijk informatie over statische delen van het model nodig hebben, geen eigen toegang tot URDF-informatie nodig, omdat dit al in de finale-stadiumrenderer is geïncorporeerd.

Gegevens en experimenten

De onderzoekers voerden een aantal experimenten uit om NARF22 te testen: een om de kwalitatieve rendering te evalueren voor elke configuratie en pose van het object; een kwantitatieve test om de gerenderde resultaten te vergelijken met soortgelijke gezichtspunten die door robots in de echte wereld worden waargenomen; en een demonstratie van de configuratie-estimatie en een 6 DOF (diepte van het veld) verfijninguitdaging die NARF22 gebruikte om gradient-gebaseerde optimalisatie uit te voeren.

De trainingsdata werden genomen uit de Progress Tools-dataset uit een eerder artikel van enkele van de huidige auteurs. Progress Tools bevat ongeveer zesduizend RGB-D-afbeeldingen (d.w.z. inclusief diepte-informatie, essentieel voor robotvisie) met een resolutie van 640×480. De gebruikte scènes omvatten acht handgereedschappen, onderverdeeld in hun constituentdelen, compleet met meshmodellen en informatie over de kinematische eigenschappen van de objecten (d.w.z. de manier waarop ze zijn ontworpen om te bewegen en de parameters van die beweging).

De Progress Tools-dataset bevat vier gearticuleerde gereedschappen. De bovenstaande afbeeldingen zijn NeRF-gebaseerde renderingen van NARF22.

Voor dit experiment werd een finale configureerbaar model getraind met behulp van alleen linesmen’s pincetten, lange neuspincetten en een klem (zie bovenstaande afbeelding). De trainingsdata bevatten één configuratie van de klem en één voor elk van de pincetten.

De implementatie van NARF22 is gebaseerd op FastNeRF, met de invoerparameters gewijzigd om te focussen op geconcateneerde en ruimtelijk-gecodeerde pose van de tools. FastNeRF gebruikt een gefactoriseerde multilayer-perceptron (MLP) in combinatie met een voxelized sampling-mechanisme (voxels zijn essentieel pixels, maar met volledige 3D-coördinaten, zodat ze in een driedimensionale ruimte kunnen opereren).

Voor de kwalitatieve test merken de onderzoekers op dat er enkele occluseerde delen van de klem zijn (d.w.z. de centrale spine, die niet bekend of gegokt kan worden door het object te observeren, maar alleen door interactie met het object, en dat het systeem moeite heeft om deze ‘onbekende’ geometrie te creëren.

Kwalitatieve renderingen van gereedschappen.

Daarentegen konden de pincetten goed generaliseren naar nieuwe configuraties (d.w.z. naar uitbreidingen en bewegingen van hun delen die binnen de URDF-parameters liggen, maar die niet expliciet in de trainingsmateriaal voor het model worden behandeld.

De onderzoekers merken echter op dat labelfouten voor de pincetten leidden tot een afname van de renderkwaliteit voor de zeer gedetailleerde punten van de tools, waardoor de renderingen negatief werden beïnvloed – een probleem dat verband houdt met bredere zorgen over labellogistiek, budgettering en nauwkeurigheid in de computer-visieonderzoekssector, eerder dan enig proceduraal tekortkoming in de NARF22-pijplijn.

Resultaten van de render-accuratietest.

Voor de configuratie-estimatie-tests voerden de onderzoekers pose-verfijning en configuratie-estimatie uit vanuit een initiële ‘stijve’ pose, waarbij ze geen van de caching- of andere acceleratie-workarounds van FastNeRF zelf gebruikten.

Zij trainden vervolgens 17 goed geordende scènes uit de testset van Progress Tools (die tijdens de training was achtergehouden), door 150 iteraties van gradient descent-optimalisatie onder de Adam-optimizer uit te voeren. Deze procedure herstelde de configuratie-estimatie ‘extreem goed’, volgens de onderzoekers.

Resultaten van de configuratie-estimatie-test.

Publicatie voor het eerst op 5 oktober 2022.