რობოტები
რობოტების სწავლება ნერვული გამოსხივების ველებით ხელსაწყოების შესახებ (NeRF)
მიჩიგანის უნივერსიტეტის ახალი კვლევა გვთავაზობს საშუალებას რობოტებს გააცნობიერონ ხელსაწყოების მექანიზმები და სხვა რეალურ სამყაროში არტიკულირებული ობიექტები. ნერვული გამოსხივების ველები (NeRF) ობიექტები, რომლებიც აჩვენებენ ამ ობიექტების მოძრაობას, რაც პოტენციურად საშუალებას აძლევს რობოტს მათთან ურთიერთობისა და მათი გამოყენება დამღლელი წინასწარი კონფიგურაციის გარეშე.
იარაღების შიდა მობილურობისთვის ცნობილი წყაროს ცნობების გამოყენებით (ან ნებისმიერი ობიექტის შესაბამისი მითითებით), NARF22-ს შეუძლია მოახდინოს ხელსაწყოს ფოტორეალისტური მიახლოების სინთეზირება და მისი მოძრაობის დიაპაზონი და მოქმედების ტიპი. წყარო: https://progress.eecs.umich.edu/projects/narf/
რობოტებს, რომლებსაც მოეთხოვებათ მეტის გაკეთება, ვიდრე ფეხით მოსიარულეთაგან თავის არიდება ან წინასწარ დაპროგრამებული რუტინების შესრულება (რომელთათვისაც არაგამოყენებადი მონაცემთა ნაკრები, სავარაუდოდ, ეტიკეტირებულია და გარკვეული ხარჯებითაა გაწვრთნილი), სჭირდებათ ამ ტიპის ადაპტაციური შესაძლებლობები, თუ მათ სურთ იმუშაონ იმავე მასალებთან და ობიექტები, რომლებთანაც დანარჩენები უნდა ვებრძოლოთ.
დღემდე, არსებობდა მრავალი დაბრკოლება რობოტული სისტემების ამ სახის მრავალფეროვნებით გამსჭვალვისთვის. მათ შორისაა მოქმედი მონაცემთა ნაკრების სიმცირე, რომელთაგან ბევრი შეიცავს ობიექტების ძალიან შეზღუდული რაოდენობას; დიდი ხარჯები, რომლებიც დაკავშირებულია ისეთი სახის ფოტორეალისტური, ბადეზე დაფუძნებული 3D მოდელების გენერირებაში, რომლებიც დაეხმარება რობოტებს ისწავლონ ინსტრუმენტული უნარები რეალურ სამყაროში; და ისეთი მონაცემთა ნაკრების არაფოტორეალისტური ხარისხი, რომელიც რეალურად შეიძლება იყოს შესაფერისი გამოწვევისთვის, რაც იწვევს ობიექტებს განსხვავებულად წარმოჩენას იმისგან, რასაც რობოტი აღიქვამს მის გარშემო არსებულ სამყაროში, და ასწავლის მას მულტფილმის მსგავსი ობიექტის ძიებაში, რომელიც არასოდეს გამოჩნდება რეალობა.
ამის მოსაგვარებლად მიჩიგანის მკვლევარებმა, რომელთა ქაღალდი სახელდება NARF22: ნერვული არტიკულირებული გასხივოსნებული ველები კონფიგურაციის გაცნობიერებისთვის, შეიმუშავეს ორსაფეხურიანი მილსადენი NeRF-ზე დაფუძნებული არტიკულირებული ობიექტების გენერირებისთვის, რომლებსაც აქვთ "რეალური სამყაროს" გარეგნობა და რომლებიც აერთიანებს რაიმე კონკრეტული არტიკულირებული ობიექტის მოძრაობას და შემდგომ შეზღუდვებს.
მიუხედავად იმისა, რომ ის უფრო რთული ჩანს, NARF22 მილსადენის არსებითი ორი ეტაპი მოიცავს მოძრავი ხელსაწყოების სტატიკური ნაწილების რენდერირებას და შემდეგ ამ ელემენტების შედგენას მეორე მონაცემთა ბაზაში, რომელიც ინფორმირებულია მოძრაობის პარამეტრებზე, რომლებიც ამ ნაწილებს აქვთ ერთმანეთთან შედარებით. წყარო: https://arxiv.org/pdf/2210.01166.pdf
სისტემას უწოდებენ ნერვული არტიკულირებული გამოსხივების ველი – ან NARF22, რათა განვასხვავოთ იგი სხვა მსგავსი დასახელებული პროექტისგან.
NARF22
იმის დადგენა, არის თუ არა უცნობი ობიექტი პოტენციურად არტიკულირებული, მოითხოვს ადამიანის სტილის წინარე ცოდნას თითქმის წარმოუდგენელ რაოდენობას. მაგალითად, თუ აქამდე არასოდეს გინახავთ დახურული უჯრა, ეს შეიძლება იყოს ნებისმიერი სხვა სახის დეკორატიული უჯრა – სანამ რეალურად არ გახსნით უჯრას, თქვენ „უჯრის“ ინტერიერში ჩადგომას, როგორც არტიკულირებულ ობიექტს მოძრაობის ერთი ღერძით. (წინ და უკან).
ამიტომ NARF22 არ არის გამიზნული, როგორც საძიებო სისტემა ნივთების ასაღებად და იმის დასანახად, აქვთ თუ არა მათ ქმედითი მოძრავი ნაწილები - თითქმის სიმიანური ქცევა, რაც გამოიწვევს უამრავ პოტენციურად დამღუპველ სცენარს. პირიქით, ჩარჩო ემყარება მასში არსებულ ცოდნას უნივერსალური რობოტის აღწერის ფორმატი (URDF) – ღია კოდის XML-ზე დაფუძნებული ფორმატი, რომელიც ფართოდ გამოიყენება და შესაფერისია ამოცანისთვის. URDF ფაილი შეიცავს ობიექტში მოძრაობის გამოსაყენებელ პარამეტრებს, ასევე აღწერებს და ობიექტის ნაწილების სხვა ეტიკეტირებულ ასპექტებს.
ჩვეულებრივ მილსადენებში აუცილებელია ობიექტის არტიკულაციის შესაძლებლობების არსებითად აღწერა და შესაბამისი სახსრების მნიშვნელობების ეტიკეტირება. ეს არ არის იაფი ან ადვილად მასშტაბური ამოცანა. ამის ნაცვლად, NaRF22 სამუშაო ნაკადი ასახავს ობიექტის ცალკეულ კომპონენტებს, სანამ "აწყობს" თითოეულ სტატიკური კომპონენტის არტიკულირებულ NeRF-ზე დაფუძნებულ წარმოდგენას, URDF-ის მიერ მოწოდებული მოძრაობის პარამეტრების ცოდნით.
პროცესის მეორე ეტაპზე იქმნება სრულიად ახალი რენდერი, რომელიც აერთიანებს ყველა ნაწილს. მიუხედავად იმისა, რომ შესაძლოა უფრო ადვილი იყოს ცალკეული ნაწილების უბრალოდ შეერთება ადრეულ ეტაპზე და გამოტოვოთ ეს შემდგომი ნაბიჯი, მკვლევარები აკვირდებიან, რომ საბოლოო მოდელს - რომელიც გაწვრთნილი იყო NVIDIA RTX 3080 GPU-ზე AMD 5600X CPU-ზე - აქვს ნაკლები გამოთვლითი მოთხოვნები. უკან გამრავლება ვიდრე ასეთი მკვეთრი და ნაადრევი შეკრება.
გარდა ამისა, მეორე ეტაპის მოდელი მუშაობს ორჯერ მეტი სიჩქარით, ვიდრე შერწყმული, „უხეში იძულებითი“ შეკრება და ნებისმიერ მეორად აპლიკაციას, რომელსაც შეიძლება დასჭირდეს მოდელის სტატიკური ნაწილების შესახებ ინფორმაციის გამოყენება, არ დასჭირდება საკუთარი წვდომა URDF ინფორმაციაზე. ეს უკვე ჩართულია ბოლო ეტაპის რენდერში.
მონაცემები და ექსპერიმენტები
მკვლევარებმა ჩაატარეს რამდენიმე ექსპერიმენტი NARF22-ის შესამოწმებლად: ერთი თითოეული ობიექტის კონფიგურაციისა და პოზის ხარისხობრივი წარმოდგენის შესაფასებლად; რაოდენობრივი ტესტი, რათა შევადაროთ მიღებული შედეგები მსგავს შეხედულებებს რეალურ სამყაროში რობოტების მიერ; და კონფიგურაციის შეფასების დემონსტრირება და 6 DOF (ველის სიღრმე) დახვეწის გამოწვევა, რომელიც გამოიყენა NARF22 გრადიენტზე დაფუძნებული ოპტიმიზაციის შესასრულებლად.
ტრენინგის მონაცემები აღებულია პროგრესის ინსტრუმენტები მონაცემთა ნაკრები ამ ნაშრომის რამდენიმე ავტორის ადრინდელი ნაშრომიდან. Progress Tools შეიცავს დაახლოებით ექვს ათას RGB-D (ანუ, სიღრმის შესახებ ინფორმაციის ჩათვლით, რომელიც აუცილებელია რობოტების ხედვისთვის) სურათებს 640×480 გარჩევადობით. გამოყენებული სცენები მოიცავდა რვა ხელის ხელსაწყოს, დაყოფილი მათ შემადგენელ ნაწილებად, სავსე ბადის მოდელებით და ინფორმაცია ობიექტების კინემატიკური თვისებების შესახებ (ანუ, როგორ არის შექმნილი მათი გადაადგილებისთვის და ამ მოძრაობის პარამეტრები).
პროგრესის ინსტრუმენტების მონაცემთა ნაკრები შეიცავს ოთხ არტიკულირებულ ხელსაწყოს. ზემოთ მოცემული სურათები არის NeRF-ზე დაფუძნებული რენდერები NARF22-დან.
ამ ექსპერიმენტისთვის, საბოლოო კონფიგურირებადი მოდელი გაწვრთნილი იყო მხოლოდ ხაზების სამაგრის, გრძელყუნწიანი სამაგრის და დამჭერის გამოყენებით (იხ. სურათი ზემოთ). ტრენინგის მონაცემები შეიცავდა დამჭერის ერთ კონფიგურაციას და თითო სამაგრისთვის.
NARF22-ის განხორციელება ეფუძნება FastNeRF, შეყვანის პარამეტრებით შეცვლილია ხელსაწყოების შეერთებულ და სივრცით კოდირებულ პოზაზე კონცენტრირებისთვის. FastNeRF იყენებს ფაქტორიზებულ მრავალშრიანი პერცეპტრონს (MLP) დაწყვილებული ვოქსელიზებული შერჩევის მექანიზმთან (ვოქსელები არსებითად პიქსელებია, მაგრამ სრული 3D კოორდინატებით, რათა მათ შეძლონ სამგანზომილებიანი სივრცეში მუშაობა).
ხარისხობრივი ტესტისთვის მკვლევარები აკვირდებიან, რომ არის დამჭერის რამდენიმე დახშული ნაწილი (ანუ ცენტრალური ხერხემალი, რომლის ამოცნობა ან გამოცნობა შეუძლებელია ობიექტზე დაკვირვებით, მაგრამ მხოლოდ მასთან ურთიერთქმედებით, და რომ სისტემას უჭირს ამის შექმნა. "უცნობი" გეომეტრია.
ხელსაწყოების ხარისხობრივი რენდერირება.
ამის საპირისპიროდ, pliers-მა შეძლო კარგად განზოგადება ახალი კონფიგურაციები (ანუ მათი ნაწილების გაფართოებები და მოძრაობები, რომლებიც არის URDF პარამეტრების ფარგლებში, მაგრამ რომლებიც აშკარად არ არის განხილული მოდელის სასწავლო მასალაში.
თუმცა, მკვლევარები აკვირდებიან, რომ სამაგრის ეტიკეტირების შეცდომებმა გამოიწვია ინსტრუმენტების ძალიან დეტალური რჩევების გაფორმების ხარისხის დაქვეითება, რაც უარყოფითად იმოქმედებს რენდერებზე - პრობლემა, რომელიც დაკავშირებულია ბევრად უფრო ფართო შეშფოთებასთან ეტიკეტირების ლოგისტიკის, ბიუჯეტის და კომპიუტერის სიზუსტის შესახებ. ხედვის კვლევის სექტორი, ვიდრე რაიმე პროცედურული ხარვეზი NARF22 მილსადენში.
რენდერის სიზუსტის ტესტის შედეგები.
კონფიგურაციის შეფასების ტესტებისთვის მკვლევარებმა შეასრულეს პოზის დახვეწა და კონფიგურაციის შეფასება საწყისი „ხისტი“ პოზიდან, თავიდან აიცილეს ქეშირების ან სხვა აჩქარების გამოსავალი, რომელსაც თავად FastNeRF იყენებს.
შემდეგ მათ მოამზადეს 17 კარგად დალაგებული სცენა Progress Tools-ის სატესტო კომპლექტიდან (რომელიც განზე იყო გამართული ტრენინგის დროს), რომლებიც აწარმოებდნენ გრადიენტული დაღმართის ოპტიმიზაციის 150 გამეორებას Adam ოპტიმიზატორის ქვეშ. მკვლევარების აზრით, ამ პროცედურამ აღადგინა კონფიგურაციის შეფასება "ძალიან კარგად".
კონფიგურაციის შეფასების ტესტის შედეგები.
პირველად გამოქვეყნდა 5 წლის 2022 ოქტომბერს.
