로봇의 지각을 개선하는 청각 연구

오늘날의 로봇은 주로 시각과 촉각을 통해 환경에서 작동하지만, 카네기 멜런 대학교(CMU)에서 나온 새로운 연구로 이것이 바뀔 수 있을 것이다. 연구진은 로봇의 지각을 개선하는 데 청각이 중요함을 발견했다.

이 연구는 로봇과 사운드의 상호작용에 관한 최초의 대규모 연구였다. 연구진은 사운드가 로봇이 물체를 구별하는 데 도움이 될 수 있음을 발견했다. 또한 로봇은 사운드의 유형을 통해 물체의 물리적 속성을 예측할 수 있었다.

CMU의 로봇공학研究所에서 로봇공학 박사인 Lerrel Pinto는 “다른 분야에서 사운드가 유용할 수 있다는 예비 연구가 있었지만, 로봇공학에서 얼마나 유용할지 불분명했다”고 말했다.

Pinto와 연구진은 로봇이 사운드만으로 물체를 성공적으로 분류하는 정확도는 76%라는 높은 수준임을 발견했다.

이 결과는 연구진이 기대했던 바와 일치했기 때문에, 이제 다른 옵션을 탐색할 계획이다. 예를 들어, 로봇에 기구를 장착하여 물체를 탭하여 식별할 수 있다.

연구진의 발견은 7월에 열린 가상 로봇공학 및 시스템스 컨퍼런스에서 발표되었다. 연구진에는 Abhinav Gupta와 Dhiraj Gandhi도 포함되었다.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

연구 및 데이터셋

이 연구는 연구진이 대규모 데이터셋을 생성하고 60개의 일반적인 물체에 대한 비디오와 오디오를 동시에 녹음함으로써 수행되었다. 이러한 물체 중 일부는 장난감 블록, 손도구, 사과, 신발, 테니스 볼 등이다. 녹음은 물체가 트레이에서 굴리고 충돌하는 동안 수행되었다.

데이터셋은 약 15,000개의 상호작용을 카탈로그화한 후에 공개되었다.

틸트-봇

이 상호작용은 틸트-봇이라고 하는 사각형 트레이에 연결된 소이어 로봇 암을 통해 캡처되었다. 소이어는 또한 물체를 표면에 밀어 다른 유형의 데이터를 수집하는 데 사용되었다.

지능형 로봇에 대한 사운드 연구는 이미 오래전부터 존재했지만, 이 연구의 새로운 점은 대규모 데이터셋이다.

새로운 발견 중 하나는 로봇이 특정 물체의 사운드에 대한 경험과 학습을 통해 보이지 않는 다른 물체의 물리적 속성을 예측할 수 있다는 것이다.

“로봇이 실패할 때, 예상대로 실패했다는 점이 정말 흥미롭다”고 Pinto는 말했다. 예를 들어, 로봇은 사운드만으로 빨간 블록과 녹색 블록을 구별할 수 없다. “하지만 물체가 다르면, 예를 들어 블록과 컵을 구별할 수 있다.”

이 연구는 방위고등연구계획국과 해군연구소의 지원을 받았다.