실리콘 이미지 센서, 자율 주행 차량을 위한 이미지 처리 속도 향상 및 간소화

하버드 존 A. 폴슨 공과대학 및 응용과학 학교의 연구자 팀은 상업용 실리콘 이미지 센서 칩에 통합될 수 있는 첫 번째 인-센서 프로세서를 개발했습니다. 이러한 센서는 보통 상補 金屬-산화물-반도체(CMOS) 이미지 센서로 알려져 있으며, 시각적 정보를 캡처하는 다양한 상업용 장치에서 사용됩니다.

새로운 장치는 자율 주행 차량 및 기타 애플리케이션을 위한 처리 속도와 간소화를 향상시킵니다.

자율 주행 차량 및 시각 처리

자율 주행 차량에서 시스템이 이미지를 캡처하고 해당 데이터가 이미지 처리를 위한 마이크로프로세서에 전달되는 시간은重大한影響을 미칠 수 있습니다. 이는 장애물 회피 또는 사고 발생의 차이를 의미하는 중요한 시간입니다.

시각 처리는 인-센서 이미지 처리를 통해 가속화될 수 있습니다. 이는 원시 데이터에서 중요한 기능을 추출하는 것을 이미지 센서 자체가 수행하는 것을 의미하며, 별도의 마이크로프로세서가 수행하는 것이 아닙니다. 그러나 인-센서 처리는 상업적 시스템에 통합하기 어려운 새로운 연구 재료에만 제한되었습니다.

이것이 새로운 개발이 큰 문제가 되는 이유입니다.

연구팀은 연구를 Nature Electronics에 발표했습니다.

인-센서 컴퓨팅

Donhee Ham은 SEAS의 Gordon McKay 전기공학 및 응용물리학 교수이며 논문의 선임 저자입니다.

“우리의 연구는 주류 반도체 전자 산업을 활용하여 실제 애플리케이션에 인-센서 컴퓨팅을 빠르게 도입할 수 있습니다.”라고 Ham은 말했습니다.

연구팀은 상업적으로 이용 가능한 이미지 센싱 칩에서 이미지를 캡처하는 데 사용되는 실리콘 포토다이오드 어레이를 개발했습니다. 그러나 팀의 포토다이오드는 전기적으로 도핑되어 있으므로 개별 포토다이오드의 감도는 전압에 의해 조정될 수 있습니다.

전압 조정 가능 포토다이오드 여러 개를 연결하면 이미지 처리 파이프라인에서 중요한乘法 및 추가 연산의 아날로그 버전을 수행할 수 있습니다. 이는 이미지를 캡처하는 즉시 관련 시각적 정보를 추출하는 데 도움이 됩니다.

Houk Jang은 SEAS의 박사 후 연구원이며 논문의 첫 번째 저자입니다.

“이 동적 포토다이오드는 이미지를 캡처하는 동안 동시에 필터링할 수 있으므로 첫 번째 시각 처리 단계를 마이크로프로세서에서 센서 자체로 이동할 수 있습니다.”라고 Jang은 말했습니다.

다양한 애플리케이션에서 불필요한 세부 정보 또는 노イズ를 제거하기 위해 실리콘 포토다이오드 어레이는 다양한 이미지 필터로 프로그래밍됩니다. 자율 주행 차량의 이미지 시스템에서 사용되는 경우에는 차선 표시를 추적하는 고주파 필터가 필요합니다.

Henry Hinton은 SEAS의 대학원생이며 논문의 공동 첫 번째 저자입니다.

“미래를 내다보면, 우리는 이 실리콘 기반 인-센서 프로세서가 기계 시각 애플리케이션뿐만 아니라 생물启発 애플리케이션에서도 사용될 것으로 예상합니다. 여기서 초기 정보 처리는 센서와 컴퓨팅 단위의 공동 위치를 허용합니다.”라고 Hinton은 말했습니다.

연구팀은 이제 포토다이오드의 밀도를 증가시키고 실리콘 집적 회로와 통합하는 것을 목표로 합니다.

“상업용 실리콘 이미지 센서의 표준 비프로그래밍 픽셀을 여기서 개발된 프로그래밍 픽셀로 대체하면, 이미징 장치는 불필요한 데이터를 지능적으로 잘라낼 수 있습니다. 이는 에너지와 대역폭을 더욱 효율적으로 사용하여 차세대 감지 애플리케이션의 요구를 충족할 수 있습니다.”라고 Jang은 말했습니다.