LiDAR를 사진과 같은 이미지로 변환하는 생성적 적대 신경망

이번 주 초에 테슬라의 자율 주행 시스템이 2021년 6월에 고속도로에서 정지된 차량에 직접 충돌하는 장면을 보여주는 영상을 공개했다. 이 차량은 어둡고 분간하기 어려웠기 때문에 컴퓨터 비전을 자율 주행 시나리오에서만頼하는 한계에 대한 논의가 진행 중이다.

2021년 12월에 공개된 영像是 충돌 순간을 보여준다. 출처: https://twitter.com/greentheonly/status/1473307236952940548

이 영상은 자율 주행 차량의 개발에서 중요한 문제를 제기한다. 특히, 어둠이나 낮은 조도에서 차량을 감지하는 것은 어려운 문제이다.

이 문제는 테슬라의 자율 주행 시스템에서 레이더 센서를 제거한 결정과 레이더 대신 컴퓨터 비전을 사용하는 방향에 대한 논의를 재점화했다.

이와 관련하여, 이스라엘의 연구자들은 LiDAR 点群 데이터를 사진과 같은 이미지로 변환하는 생성적 적대 신경망(GAN)을 개발했다. 이 연구는 자율 주행 차량에서 컴퓨터 비전과 레이더의 한계를 보완하는 새로운 접근법을 제시한다.

사진과 같은 LiDAR 기반 이미지 스트림

新的 연구는 LiDAR 点群 데이터를 사진과 같은 이미지로 변환하는 생성적 적대 신경망을 개발했다. 이 연구는 7명의 이스라엘 연구자와 6명의 Innoviz Technologies 연구자가 참여했다.

연구자들은 LiDAR 点群 데이터를 사용하여 사진과 같은 이미지 스트림을 생성할 수 있는지 조사했다. 이 이미지는 자율 주행 차량에서 객체 인식과 의미론적 분할을 위한 워크플로우에서 사용될 수 있다.

데이터

이 연구에서 사용된 데이터는 InnovizOne LiDAR 센서로 수집되었다. 이 센서는 10fps 또는 15fps의 캡처 속도를 제공한다.

LiDAR 데이터는 Innoviz 장치로 수집되었다. 출처: https://www.youtube.com/watch?v=wmcaf_VpsQI

수집된 데이터는 약 30,000개의 이미지와 200,000개의 3D 점으로 구성되었다. 연구자들은 두 가지 실험을 수행했다. 첫 번째 실험에서는 점군 데이터에 반사 정보만을 사용했고, 두 번째 실험에서는 점군 데이터에 반사 정보와 거리 정보를 모두 사용했다.

평가

이 연구의 결과는 기존의 상태를 초과하는 성능을 보여주었다. 특히, 어둠이나 낮은 조도에서 차량을 감지하는 문제를 해결하는 데에 기여했다.

연구자들은 이 결과가 자율 주행 차량에서 컴퓨터 비전과 레이더의 한계를 보완하는 새로운 접근법을 제시한다고 말했다.

지연과拥挤한 SDV 처리 스택

이 연구의 결과는 자율 주행 차량에서 컴퓨터 비전과 레이더의 한계를 보완하는 새로운 접근법을 제시한다. 그러나, 이 접근법은 지연과拥挤한 SDV 처리 스택의 문제를 해결해야 한다.

테슬라의 자율 주행 시스템은 레이더 센서를 제거하고 컴퓨터 비전만을 사용하는 방향으로 개발되고 있다. 그러나, 이 접근법은 어둠이나 낮은 조도에서 차량을 감지하는 문제를 해결하지 못한다.

이 연구의 결과는 이 문제를 해결하는 새로운 접근법을 제시한다. 그러나, 이 접근법은 지연과拥挤한 SDV 처리 스택의 문제를 해결해야 한다.

테슬라의 창립자 엘론 머스크는 LiDAR를 자율 주행 차량에서 사용하는 것을 반대한다. 그는 LiDAR를 사용하는 것은 비용과 복잡성이 높아진다고 말했다.

그러나, 이 연구의 결과는 LiDAR를 사용하는 새로운 접근법을 제시한다. 이 접근법은 자율 주행 차량에서 컴퓨터 비전과 레이더의 한계를 보완하는 데에 기여할 수 있다.

이 연구의 결과는 2021년 12월에 처음 공개되었다.