Naukowcy odkrywają, że słuch może poprawić percepcję robota

Dziś roboty w większości polegają na wzroku i dotyku, aby działać w swoim otoczeniu, ale może to ulec zmianie dzięki nowym badaniom przeprowadzonym na Uniwersytecie Carnegie Mellon (CMU). Grupa naukowców odkryła, że percepcja robota może się poprawić dzięki słuchowi.

Badania były pierwszym dużym studium interakcji między dźwiękiem a działaniem robota, według naukowców z Instytutu Robotyki CMU. Grupa odkryła, że dźwięk może odegrać rolę w pomocy robotom w różnicowaniu między obiektami. Za pomocą słuchu roboty mogą również określić, jaki rodzaj działania spowodował dźwięk, a dźwięki mogą pomóc w przewidzeniu właściwości fizycznych nowych obiektów.

Lerrel Pinto jest doktorem robotyki na CMU i będzie częścią wydziału Uniwersytetu Nowojorskiego tej jesieni.

“Wiele wstępnych prac w innych dziedzinach wskazywało, że dźwięk może być przydatny, ale nie było jasne, jak przydatny będzie w robotyce”, powiedział Pinto.

Pinto i grupa naukowców odkryli, że wskaźnik wydajności był dość wysoki, konkretnie 76-procentowy wskaźnik dokładności dla robotów, które używały dźwięku, aby pomyślnie sklasyfikować obiekty.

Ponieważ wyniki odpowiadały temu, czego szukali, teraz będą badać inne opcje, takie jak wyposażenie robotów w instrumentowane laski. To umożliwi im identyfikację obiektów przez stukanie w nie.

Odkrycia grupy zostały przedstawione w lipcu na wirtualnej konferencji Robotics Science and Systems. Zespół obejmował również Abhinava Guptę, associate profesora robotyki, i Dhiraja Gandhiego, naukowca w Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Badanie i zestaw danych

Badanie zostało przeprowadzone z udziałem naukowców, którzy stworzyli duży zestaw danych i jednocześnie nagrali wideo i audio 60 wspólnych obiektów. Niektóre z tych obiektów to bloki zabawki, narzędzia ręczne, jabłka, buty i piłki tenisowe. Nagrania odbywały się, gdy obiekty toczyły się i rozpryskiwały wokół tacki.

Zestaw danych został następnie opublikowany po skatalogowaniu około 15 000 interakcji.

Tilt-Bot

Interakcje zostały przechwycone przez to, co zespół nazywa Tilt-Bot, czyli kwadratową tackę połączoną z ramieniem robota Sawyer. Sawyer został również użyty do pchania obiektów na powierzchni, gromadząc inne rodzaje danych.

Badanie wpływu dźwięku na inteligentne roboty istnieje już od dawna, ale to, co nowe, to ogromny zestaw danych.

Jednym z nowych odkryć było to, że robot może użyć swojego doświadczenia i tego, czego nauczył się o dźwięku pewnego zestawu obiektów, aby przewidzieć właściwości fizyczne innego zestawu niewidocznych obiektów.

“Myślę, że to, co było naprawdę ekscytujące, to to, że gdy zawiodło, zawiodło na rzeczach, których można się spodziewać, że zawiodą”, powiedział Pinto. Na przykład, robot nie mógł użyć dźwięku, aby odróżnić czerwony blok od zielonego bloku. “Ale jeśli był to inny obiekt, taki jak blok wobec kubka, mógł to rozpoznać”.

Badania zostały wsparte przez Defense Advanced Research Projects Agency i Office of Naval Research.