Robotlara Araçlar Hakkında Eğitim Verme İle İlgili Nöral Parlaklık Alanları (NeRF)

Michigan Üniversitesi’nden yeni bir araştırmada, robotların araçların ve diğer gerçek dünya nesnelerinin mekanizmalarını anlamalarına yardımcı olmak için Nöral Parlaklık Alanları (NeRF) nesneleri oluşturmak için bir yöntem önerilmektedir. Bu nesneler, bu nesnelerin nasıl hareket ettiğini göstermektedir ve bu da robotların onlara etkileşime girmesine ve kullanmasına olanak tanır.

Araçların veya diğer nesnelerin iç hareketleri için bilinen referansları kullanarak, NARF22 fotogerçekçi bir yaklaşıma ulaşabilir ve hareket aralığını ve işlem türünü gösterebilir. Kaynak: https://progress.eecs.umich.edu/projects/narf/

Yalnızca insanlardan kaçınmak veya önceden programlanmış rutinleri gerçekleştirmek için tasarlanmış robotlar, daha fazla şey yapmak için bu tür bir uyarlanabilirlik gerektirir.

Bu tür bir esneklik kazandırmak için çeşitli engeller olmuştur. Bunlar, sınırlı sayıda nesne içeren veri setlerinin azlığı, fotogerçekçi ve mesh tabanlı 3D modeller oluşturmanın yüksek maliyeti ve bu veri setlerinin gerçek dünya ile uyumsuzluğudur.

Bu sorunu çözmek için Michigan araştırmacıları, makalelerinde açıklanan bir yöntem geliştirdiler. Bu yöntem, iki aşamalı bir işlem içerir ve gerçek dünya görünümüne sahip, hareket ve kısıtlamaları dahil edilen NeRF tabanlı nesneler oluşturur.

NARF22 işlem hattının temel aşamaları, hareketli araçların statik kısımlarını oluşturmak ve bunları hareket parametrelerini içeren bir veri setine entegre etmektir. Kaynak: https://arxiv.org/pdf/2210.01166.pdf

Sistem, Nöral Etkin Parlaklık Alanı olarak adlandırılmaktadır – veya NARF22.

NARF22

Bir nesnenin hareketli olup olmadığını belirlemek, insan benzeri öncül bilginin büyük miktarlarını gerektirir. Örneğin, bir çekmeceyi hiç görmediyseniz, onu diğer süs panellerinden ayırt edemeyebilirsiniz.

Bu nedenle, NARF22, keşif sistemi olarak tasarlanmamıştır. Bunun yerine, Evrensel Robot Tanımı Biçimi (URDF) olarak bilinen açık kaynaklı bir XML tabanlı forma dayanmaktadır. URDF, bir nesnenin hareket parametrelerini ve diğer açıklamalarını içerir.

Geleneksel işlem hatlarında, nesnenin hareket yeteneklerini tanımlamak ve ilgili eklemleri etiketlemek gerekir. Bu, ucuz veya kolayca ölçeklenebilir bir görev değildir. Bunun yerine, NARF22, nesnenin bireysel bileşenlerini oluşturur ve bunları hareket parametreleri ile birlikte bir NeRF tabanlı temsil olarak birleştirir.

İkinci aşamada, tüm parçaları içeren yeni bir oluşturucu oluşturulur. Bu, daha önceki aşamada parçaları birleştirmek ve bu sonraki adımı atlamak daha kolay olsa da, araştırmacılar, nihai modelin daha düşük hesaplama taleplerine sahip olduğunu ve daha hızlı çalıştığını gözlemlediler.

Araştırmacılar, ikinci aşama modelinin, birleştirilmiş ve “kaba kuvvet” birleştirilmiş bir modelden iki kat daha hızlı çalıştığını ve ikincil uygulamaların URDF bilgilerine riêng erişimine gerek kalmadığını gözlemlediler.

Veri ve Deneyler

Araştırmacılar, NARF22’yi test etmek için bir dizi deney gerçekleştirdiler: her nesnenin konfigürasyonuna ve pozuna ilişkin nitel birRendering testi, gerçek dünya robotları tarafından görülen benzer görüntülere kıyasla nicel bir test ve bir konfigürasyon tahmini ve 6 DOF (derinlik) iyileştirme zorluğu.

Eğitim verileri, daha önceki bir çalışmanın yazarları tarafından oluşturulan İlerleme Araçları veri setinden alındı. İlerleme Araçları, yaklaşık altı bin RGB-D (derinlik bilgileri içeren) görüntüyü içerir. Sahnelere sekiz el aracı dahil edildi ve her biri kendi kinematik özelliklerine sahip parçalara ayrıldı.

İlerleme Araçları veri seti, dört eklemlenen aracı içerir. Yukarıdaki resimler, NARF22’den NeRF tabanlı renderlardır.

Deney için, yalnızca pense, uzun burunlu pense ve bir mengene kullanıldı. Eğitim verileri, mengenenin tek bir konfigürasyonunu ve her pense için bir konfigürasyonu içeriyordu.

NARF22’nin uygulanması, FastNeRF‘e dayanmaktadır ve araçların birleştirilmiş ve uzaysal olarak kodlanmış pozuna odaklanan girdi parametreleri ile değiştirilmiştir. FastNeRF, faktörleştirilmiş çok katmanlı bir perceptron (MLP) ile bir voxelized örnekleme mekanizması kullanır.

Nitel test için araştırmacılar, mengenede bazı gizli kısımların (örneğin, merkezi omurganın) sistemin bunları oluşturmakta zorluk çektiğini gözlemlediler.

Araçların nitel renderları.

Öte yandan, pense iyi bir şekilde yeni konfigürasyonlara genellemiştir.

Araştırmacılar, pense için etiketleme hatalarının, araçların uçlarının render kalitesini olumsuz etkileyerek daha düşük bir render kalitesi ile sonuçlandığını gözlemlediler.

Render doğruluğu testinin sonuçları.

Konfigürasyon tahmini testleri için araştırmacılar, bir başlangıç “sabit” pozdan pose iyileştirme ve konfigürasyon tahmini gerçekleştirdiler.

17 sahneyi, FastNeRF’in kendisinin kullandığı önbelleğe alma veya hızlandırma yöntemlerini kullanmadan, 150 iterasyon boyunca Adam optimizatörü ile eğittiler. Bu prosedür, konfigürasyon tahmini sonuçlarını “çok iyi” bir şekilde geri kazandırdı.

Konfigürasyon tahmini testinin sonuçları.

İlk olarak 5 Ekim 2022’de yayınlandı.