Naukowcy odkryli, że słuch może poprawić percepcję robota

Dzisiejsze roboty w działaniu w swoim środowisku opierają się głównie na wzroku i dotyku, ale może się to zmienić wraz z nowymi badaniami prowadzonymi na Uniwersytecie Carnegie Mellon (CMU). Grupa badaczy odkryła, że ​​percepcja robota może poprawić się dzięki słyszeniu. 

Według naukowców z Instytutu Robotyki CMU badanie to było pierwszym zakrojonym na szeroką skalę badaniem interakcji między dźwiękiem a działaniem robotów. Grupa odkryła, że ​​dźwięk może odgrywać rolę w pomaganiu robotom w rozróżnianiu obiektów. Wykorzystując słuch, roboty mogłyby również określić, jaki rodzaj działania spowodował dźwięk, a dźwięki mogłyby pomóc w przewidywaniu właściwości fizycznych nowych obiektów.

Lerrel Pinto jest doktorem robotyki na CMU i tej jesieni będzie częścią wydziału Uniwersytetu Nowojorskiego.

„Wiele wstępnych prac w innych dziedzinach wskazywało, że dźwięk może być przydatny, ale nie było jasne, jak przydatny będzie w robotyce” – powiedział Pinto.

Pinto i grupa badaczy odkryli, że wskaźnik wydajności był dość wysoki, a konkretnie 76% dokładności w przypadku robotów wykorzystujących dźwięk do skutecznej klasyfikacji obiektów. 

Ponieważ wyniki odpowiadają oczekiwaniom grupy, zbadają teraz inne możliwości, takie jak wyposażenie robotów w oprzyrządowane laski. Umożliwi im to identyfikację obiektów poprzez dotknięcie ich.

Odkrycia grupy zaprezentowano w lipcu na wirtualnej konferencji Robotics Science and Systems. W skład zespołu weszli także Abhinav Gupta, profesor stowarzyszenia zajmującego się robotyką, i Dhiraj Gandhi, pracownik naukowy w laboratorium Facebook Artificial Intelligence Research w Pittsburghu.

Badanie i zbiór danych

Badanie przeprowadzono podczas tworzenia dużego zbioru danych i jednoczesnego nagrywania obrazu i dźwięku 60 popularnych obiektów. Niektóre z tych przedmiotów to klocki, narzędzia ręczne, jabłka, buty i piłki tenisowe. Nagrania miały miejsce, gdy przedmioty toczyły się i rozbijały wokół tacy.

Zbiór danych został następnie udostępniony po skatalogowaniu interakcji o wartości około 15,000 XNUMX dolarów. 

Tilt-Bot 

Interakcje zostały przechwycone przez urządzenie, które zespół nazwał Tilt-Bot, czyli kwadratową tacę połączoną z ramieniem robota Sawyer. Sawyera używano także do pchania obiektów po powierzchni i zbierania innych typów danych.

Badania nad wpływem dźwięku na inteligentne roboty trwają już od jakiegoś czasu, ale nowością jest ogromny zbiór danych. 

Jednym z nowych odkryć było to, że robot może wykorzystać swoje doświadczenie i to, czego się dowiedział o dźwięku określonego zestawu obiektów, aby przewidzieć właściwości fizyczne innego zestawu niewidocznych obiektów.

„Myślę, że naprawdę ekscytujące było to, że w przypadku niepowodzenia zawodził w obszarach, w których się spodziewał, że zawiedzie” – powiedział Pinto. Na przykład robot nie mógłby za pomocą dźwięku odróżnić czerwonego od zielonego klocka. „Ale gdyby był to inny obiekt, na przykład klocek kontra kubek, mógłby to rozgryźć”.

Badania były wspierane przez Agencję Zaawansowanych Projektów Badawczych Obrony i Biuro Badań Marynarki Wojennej.