자율 주행 자동차가 ‘기억’을 생성하는 새로운 방법

콘奈尔 대학교의 연구팀은 자율 주행 자동차가 이전 경험을 ‘기억’할 수 있는 새로운 방법을 개발했습니다. 이 방법은 미래의 탐색에서 사용될 수 있으며, 특히 센서를 사용할 수 없는 악천후 환경에서 유용할 것입니다.

과거에서 배우기

현재 자율 주행 자동차는 인공 신경망을 사용하지만, 과거에 대한 기억이 없습니다. 즉, 그들은 항상 새로운 것을 보고 있습니다. 이것은 그들이 같은 도로를 몇 번이나 운전했는지에 관계없이 마찬가지입니다.

킬리안 바인베르거는 연구의 선임 저자이자 컴퓨터 과학 교수입니다.

“기본적인 질문은, 반복적인 운전에서 배울 수 있는가?”라고 바인베르거는 말했습니다. “예를 들어, 자동차는 처음에 거리에서부터 레이저 스캐너로 이상한 모양의 나무를 보았을 때, 그것을 보행자로 착각할 수 있습니다. 그러나 그것이 충분히 가까이 왔을 때, 객체 카테고리가 명확해집니다. 따라서, 두 번째로 같은 나무를 지나갈 때, 안개나 눈에도 불구하고, 자동차는 그것을 올바르게 인식하는 것을 배웠기를 바랍니다.”

박사 과정 학생 카를로스 디아즈-루이스가 이끄는 팀은 LiDAR 센서가 장착된 자동차를 사용하여 데이터셋을 생성했습니다. 자동차는 15km의 루프를 18개월 동안 40번 운전했습니다. 다양한 테스트 운전은 서로 다른 환경, 날씨 조건, 및 시간대를 캡처했습니다. 이것은 60만 개 이상의 장면이 포함된 데이터셋을 생성했습니다.

“이것은 자율 주행 자동차의 주요 도전 중 하나인 나쁨 날씨 조건을 의도적으로 노출합니다”라고 디아즈-루이스는 말했습니다. “만약 거리가 눈으로 덮여 있다면, 인간은 기억을 의지할 수 있지만, 기억이 없는 신경망은 심하게 불리합니다.”

HINDSIGHT와 MODEST

접근 방식 중 하나인 HINDSIGHT는 신경망을 사용하여 자동차가 객체를 통과할 때 객체의 설명자를 계산합니다. 이러한 설명자는 SQuaSH라고 불리며, 가상 지도에 압축 및 저장되어, 우리가 뇌에서 기억을 저장하는 것과 유사한 유형의 ‘기억’을 생성합니다.

자율 주행 자동차가 미래에 같은 위치를 운전할 때, 그것은 로컬 SQuaSH 데이터베이스를 쿼리하여 LiDAR 포인트마다 ‘기억’합니다. 지속적으로 업데이트되는 데이터베이스는 차량 간에 공유되어, 더 많은 정보를 제공함으로써 인식을 개선합니다.

유 용은 박사 과정 학생입니다.

“이 정보는 LiDAR 기반 3D 객체 감지기에 대한 기능으로 추가될 수 있습니다”라고 유는 말했습니다. “감지기와 SQuaSH 표현은 추가적인 감독이나 인간의 주석 없이 공동으로 훈련될 수 있습니다. 이것은 시간과 노력이 많이 듭니다.”

HINDSIGHT는 팀이 수행하는 추가 연구인 MODEST(Mobile Object Detection with Ephemerality and Self-Training)에 도움이 될 것입니다. MODEST는 이 과정을 발전시키고, 자동차가 전체 인식 파이프라인을 학습할 수 있도록 할 것입니다.

HINDSIGHT는 인공 신경망이 이미 객체를 감지하는 데 훈련되어 있다는 가정 아래, 기억을 생성하는 능력을 추가합니다. 반면에, MODEST는 인공 신경망이 객체나 도로에 노출된 적이 없다는 가정 아래, 동일한 경로를 여러 번 운전한 후, 환경의 어떤 부분이 정지 객체인지, 이동 객체인지 학습합니다. 이 과정은 시스템이 다른 교통 참여자와 함께 주의를 기울여야 할 것을 가르칩니다.

알고리즘은 초기 운전에서 구성되지 않은 도로에서도 객체를 신뢰성 있게 감지하는 능력을 보여주었습니다.

팀은 이러한 새로운 접근 방식이 자율 주행 자동차의 개발 비용을 줄이고, 더 효율적으로 만들 수 있을 것이라고 믿습니다.