“스패셜-AI”의 발전으로 로봇이 인간과 같은 물리적 환경을 인식할 수 있다

MIT의 엔지니어들은 로봇이 높은 수준의 명령을 따라할 수 있도록 작업하고 있다. 예를 들어, 로봇이 다른 방으로 이동하여 개인에게 아이템을 가져오는 것과 같은 명령이다. 이를 위해서 로봇은 인간이 하는 것과 같은 방식으로 물리적 환경을 인식할 수 있어야 한다.

루카 칼로네는 MIT의 항공우주공학부의 조교수이다.

“세상을 이해하기 위해서는 환경에 대한 정신적 모델이 필요하다”고 칼로네는 말한다. “이것은 인간에게 매우 쉬운 일이다. 그러나 로봇에게는 매우 어려운 문제이다. 로봇은 카메라를 통해看到하는 픽셀 값을 이해하고, 이를 통해 세상을 이해하는 것이 목표이다.”

이 도전을 극복하기 위해, 연구자들은 인간이 물리적 환경을 인식하고 탐색하는 방식에 기반한 로봇의 공간적 인식 모델을 개발했다.

3D 동적 장면 그래프

새로운 모델은 3D 동적 장면 그래프라고 불리며, 로봇이 물리적 환경의 3D 맵을 생성할 수 있다. 이 맵에는 객체와 그들의 의미적 레이블이 포함된다. 로봇은 또한 사람, 방, 벽, 그리고 환경의 다른 구조를 맵에 표시할 수 있다.

그런 다음 모델은 로봇이 3D 맵에서 정보를 추출할 수 있다. 이 정보는 객체, 방, 사람의 이동을 찾는 데 사용될 수 있다.

“이 환경의 압축된 표현은 우리 로봇이 빠르게 quyết định하고 경로를 계획할 수 있도록 한다”고 칼로네는 말한다. “이는 인간이 하는 것과 비슷하다. 만약 당신이 집에서 MIT로 이동해야 한다면, 당신은 모든 단계를 계획하지 않는다. 당신은 단지 거리와 랜드마크의 수준에서 생각한다. 이것은 당신이 더 빠르게 경로를 계획할 수 있도록 한다.”

칼로네에 따르면, 이 모델을 사용하는 로봇은 단순한 가정 작업 이상의 것을 할 수 있다. 로봇은 또한 공장에서 사람들과 함께 작업하거나, 재해 현장에서 생존자를 찾는 데 사용될 수 있다.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

현재 방법 대신 새로운 모델

로봇 비전과 탐색의 현재 방법은 주로 3D 맵핑에 중점을 두고 있다. 이는 로봇이 환경을 3D로 재구성할 수 있도록 한다. 또는 의미적 분할이 있다. 이는 로봇이 환경의 특징을 의미적 객체로 분류하는 것을 말한다. 예를 들어, 차와 자전거를 구분하는 것이다. 의미적 분할은 종종 2D 이미지에서 수행된다.

새로 개발된 공간적 인식 모델은 최초로 3D 맵을 생성하고, 동시에 객체, 사람, 구조를 레이블링할 수 있다.

이 새로운 모델을 개발하기 위해, 연구자들은 Kimera라는 오픈소스 라이브러리를 사용했다. Kimera는 이전에 동일한 팀에 의해 개발되었으며, 3D 기하학적 모델을 생성하고, 동시에 객체가 무엇인지 레이블링할 수 있다.

“우리는 Kimera를 사용하여 환경을 3D 메시로 재구성하고, 동시에 객체를 레이블링할 수 있다”고 칼로네는 말한다. “이것은 로봇이 환경을 이해하고, 빠르게 결정을 내릴 수 있도록 한다.”

Kimera는 로봇의 카메라와 내부 센서의 관성 측정을 사용하여 환경을 3D 메시로 재구성한다. 이를 위해 Kimera는 수백만 개의 실제 이미지로 훈련된 신경망을 사용한다. 이를 통해 Kimera는 픽셀의 레이블을 예측하고, 3D로 투영할 수 있다.

이 기술을 사용하여, 로봇의 환경은 3D 메시로 표시될 수 있다. 각 면은 색상으로 표시되며, 객체, 구조, 사람을 식별할 수 있다.

3D 메시에서 3D 동적 “장면 그래프”로

3D 의미적 메시 모델은 많은 계산 능력이 필요하고 시간이 오래 걸리기 때문에, 연구자들은 Kimera를 사용하여 3D 동적 “장면 그래프”를 생성하는 알고리즘을 개발했다.

3D 의미적 메시가 분리된 의미적 레이어로 나누어지고, 로봇은 각 레이어를 통해 장면을 볼 수 있다. 레이어는 객체, 사람, 열린 공간, 구조, 방, 복도, 홀, 건물 등으로 나누어져 있다.

이 레이어링 방법을 사용하면 로봇이 분석할 필요가 있는 점과 면의 수를 줄일 수 있다. 또한 이 방법을 사용하면 알고리즘이 사람의 이동을 실시간으로 추적할 수 있다.

새로운 모델은 사진과 같은 시뮬레이터에서 테스트되었다. 시뮬레이터는 로봇이 이동하는 사람들과 함께 사무실 환경을 시뮬레이트한다.

“우리는 본질적으로 로봇이 인간과 같은 정신적 모델을 가질 수 있도록 한다”고 칼로네는 말한다. “이것은 많은 응용 분야에 영향을 미칠 수 있다. 예를 들어, 자율 주행 자동차, 탐색 및 구조, 협력 제조, 가정용 로봇 등이다.”

칼로네는 MIT의 졸업생인 안토니 로시놀과 함께 작업했다.

“우리의 접근 방식은 최근의 딥 러닝과 동시적 위치화 및 맵핑에 대한 연구 덕분에 가능했다”고 로시놀은 말한다. “이 연구를 통해 우리는 로봇 인식의 새로운 시대인 공간-AI를 향한 도약을 하고 있다. 이는 아직 초기 단계이지만, 로봇과 대규모 가상 및 증강 현실에서 큰 잠재력을 가지고 있다.”

이 연구는 로봇공학: 과학 및 시스템 가상 회의에서 발표되었다.