실리콘 이미지 센서, 자율 주행 자동차를 위한 이미지 처리 속도 향상 및 단순화

하버드 존 A. 폴슨 공과대학 및 응용과학 학교의 연구자 팀은 상업용 실리콘 이미지 센서 칩에 통합될 수 있는 첫 번째 인-센서 프로세서를 개발했습니다. 이러한 센서는 보완 금속-산화물-반도체(CMOS) 이미지 센서로 알려져 있으며, 시각적 정보를 캡처하는 다양한 상업용 기기에 사용됩니다.

새로운 장치는 자율 주행 자동차 및 기타 응용 프로그램을 위한 처리를 가속화하고 단순화합니다.

자율 주행 자동차 및 시각 처리

자율 주행 자동차에서 시스템이 이미지를 캡처하고 해당 데이터가 이미지 처리를 위한 마이크로프로세서에 전달되는 시간은重大한 영향을 미칠 수 있습니다. 이는 장애물을 피하는 것과 사고에涉하는 것 사이의 차이를 의미하는 중요한 시간 기간입니다.

시각 처리는 이미지 센서 자체에서 원시 데이터에서 중요한 기능을 추출하는 인-센서 이미지 처리를 통해 가속화될 수 있습니다. 그러나 인-센서 처리는 상업적 시스템에 통합하기 어려운 새로운 연구 재료에만 제한되었습니다.

이것이 새로운 개발이 큰 문제가 되는 이유입니다.

연구 팀은 그들의 연구를 Nature Electronics에 발표했습니다.

인-센서 컴퓨팅

дон희 함은 SEAS의 고든 맥케이 전기 공학 및 응용 물리학 교수이자 논문의 선임 저자입니다.

“우리의 연구는 주류 반도체 전자 산업을 활용하여 실제 응용 프로그램에 인-센서 컴퓨팅을 빠르게 도입할 수 있습니다.” 함은 말했다.

연구 팀은 상업적으로 이용 가능한 이미지 센싱 칩에서 이미지 캡처에 사용되는 실리콘 포토 다이오드 어레이를 개발했습니다. 그러나 팀의 포토 다이오드는 전기적으로 도핑되어 개별 포토 다이오드의 감도는 전압에 의해 조정될 수 있습니다.

전압 조정 가능한 포토 다이오드를 여러 개 연결하면 이미지 처리 파이프라인에 중요한乘算 및 추가 연산의 아날로그 버전을 수행할 수 있습니다. 이는 이미지 캡처 시 관련 시각적 정보를 추출하는 데 도움이 됩니다.

후크 장은 SEAS의 박사 후 연구원이며 논문의 제1저자입니다.

“이 동적 포토 다이오드는 이미지 캡처 시 동시에 필터링할 수 있으므로 첫 번째 시각 처리 단계를 마이크로프로세서에서 센서 자체로 이동할 수 있습니다.” 장은 말했다.

다양한 응용 프로그램에서 불필요한 세부 사항이나 노イズ를 제거하기 위해 실리콘 포토 다이오드 어레이는 다른 이미지 필터로 프로그래밍됩니다. 자율 주행 자동차의 이미지 시스템에서 사용되는 경우 차선 표시를 추적하는 고주파 필터가 필요합니다.

헨리 힌튼은 SEAS의 대학원 학생이며 논문의 공동 제1저자입니다.

“미래를 내다보면, 우리는 이 실리콘 기반 인-센서 프로세서가 기계 비전 응용 프로그램뿐만 아니라 생체启発 응용 분야에서도 사용될 것으로 예상합니다. 여기서 초기 정보 처리를 통해 센서와 컴퓨팅 유닛을 공동으로 위치시킬 수 있습니다.” 힌튼은 말했다.

연구 팀은 이제 포토 다이오드의 밀도를 증가시키고 실리콘 집적 회로와 통합하는 것을 목표로 합니다.

“상업용 실리콘 이미지 센서의 표준 비프로그래밍 픽셀을 여기서 개발된 프로그래밍 가능한 픽셀로 대체함으로써, 이미지 장치에서 불필요한 데이터를 지능적으로 자르기 위한 이미지 장치를 만들 수 있습니다. 이는 에너지 및 대역폭에서 더 효율적으로 다음 세대의 감지 응용 프로그램의 요구를 충족할 수 있습니다.” 장은 말했다.