AI가 3D 개체를 식별하는 데 도움이 되는 새로운 기술

North Carolina State University의 연구원들이 개발한 새로운 기술은 3D 개체를 식별하는 인공 지능(AI) 프로그램의 능력을 향상시킵니다. MonoCon이라고 하는 이 기술은 AI가 3D 이미지를 사용하여 공간에서 2D 개체가 서로 어떻게 관련되는지 학습하는 데에도 도움이 됩니다. 

MonoCon은 온보드 카메라에서 수신한 2D 이미지를 사용하여 자율 차량이 다른 차량을 탐색하는 것을 돕는 것을 포함하여 잠재적으로 광범위한 응용 프로그램을 가질 수 있습니다. 제조 및 로봇 공학에서도 역할을 할 수 있습니다.

Tianfu Wu는 교신 저자입니다. 연구 논문 North Carolina State University의 전기 및 컴퓨터 공학 조교수입니다. 

"우리는 3D 세계에 살고 있지만 사진을 찍으면 그 세계가 2D 이미지로 기록됩니다."라고 Wu는 말합니다.

“AI 프로그램은 카메라에서 시각적 입력을 받습니다. 따라서 AI가 세상과 상호 작용하기를 원한다면 2D 이미지가 3D 공간에 대해 말할 수 있는 것을 AI가 해석할 수 있는지 확인해야 합니다. 이 연구에서 우리는 그 도전의 한 부분에 초점을 맞추고 있습니다. AI가 3D 이미지에서 사람이나 자동차와 같은 2D 개체를 정확하게 인식하고 해당 개체를 공간에 배치하도록 하는 방법입니다.”라고 Wu는 계속 말했습니다. 

자치 차량

자율 주행 차량은 종종 LiDAR에 의존하여 3D 공간을 탐색합니다. 레이저를 사용하여 거리를 측정하는 LiDAR는 비용이 많이 듭니다. 대량 생산되는 무인 자동차에 수십 개의 라이다 센서를 장착하려면 엄청난 비용이 듭니다. 

"그러나 자율 주행 차량이 시각적 입력을 사용하여 공간을 탐색할 수 있다면 중복성을 구축할 수 있습니다."라고 Wu는 말합니다. “카메라는 LiDAR보다 훨씬 저렴하기 때문에 추가 카메라를 포함하여 시스템에 중복성을 구축하고 시스템을 더 안전하고 견고하게 만드는 것이 경제적으로 실현 가능할 것입니다.

“그것은 하나의 실용적인 응용 프로그램입니다. 그러나 우리는 또한 이 작업의 근본적인 발전, 즉 3D 개체에서 2D 데이터를 얻을 수 있다는 점에 대해 기쁘게 생각합니다.”

AI 교육

MonoCon은 3D 이미지에서 2D 개체를 식별한 후 AI에 개체의 외부 가장자리를 알려주는 "경계 상자"에 배치할 수 있습니다. 

"우리 작업을 차별화하는 것은 이전 교육 기술을 기반으로 AI를 교육하는 방법입니다."라고 Wu는 말합니다. “이전 작업과 마찬가지로 AI를 교육하는 동안 3D 경계 상자에 개체를 배치합니다. 그러나 AI에게 카메라와 물체의 거리와 경계 상자의 크기를 예측하도록 요청하는 것 외에도 우리는 AI에게 상자의 3개 지점 각각의 위치와 경계 중심으로부터의 거리를 예측하도록 요청합니다. 2차원의 상자. 우리는 이것을 '보조 컨텍스트'라고 부르며, AI가 XNUMXD 이미지를 기반으로 XNUMXD 객체를 보다 정확하게 식별하고 예측하는 데 도움이 된다는 것을 발견했습니다.

“제안된 방법은 측정 이론의 잘 알려진 정리인 Cramér-Wold 정리에 의해 동기가 부여되었습니다. 이는 또한 컴퓨터 비전의 다른 구조화된 출력 예측 작업에도 잠재적으로 적용 가능합니다.”

MonoCon은 KITTI라는 널리 사용되는 벤치마크 데이터 세트로 테스트되었습니다.

"우리가 이 논문을 제출했을 때 MonoCon은 3D 이미지에서 자동차의 2D 데이터를 추출하는 것을 목표로 하는 수십 개의 다른 AI 프로그램보다 더 나은 성능을 보였습니다."라고 Wu는 말합니다.

팀은 이제 더 큰 데이터 세트로 프로세스를 확장하려고 합니다.

"앞으로 우리는 이것을 확장하고 더 큰 데이터 세트로 작업하여 자율 주행에 사용할 MonoCon을 평가하고 미세 조정하고 있습니다."라고 Wu는 말합니다. "우리는 또한 로봇 팔 사용과 같은 작업의 성능을 향상시킬 수 있는지 확인하기 위해 제조 분야의 응용 프로그램을 탐색하고 싶습니다."