혁신적인 바이오启发 센서: 다양한 응용 분야에서 동작 및 궤적 예측

알토 대학의 연구자들은 단일 비디오 프레임에서 움직이는 객체를 감지하고 정확하게 미래 동작을 예측할 수 있는 혁신적인 바이오启发 센서를 개발했습니다. 네이처 커뮤니케이션즈 논문에서 설명된 이 고급 센서는 다이내믹 비전 센싱, 자동 검사, 산업 공정 제어, 로봇 가이드 및 자율 주행 기술과 같은 분야에서 수많은 잠재적인 응용 프로그램을 가지고 있습니다.

전통적인 동작 감지 시스템은 복잡한 알고리즘과 프레임별 분석이 필요한 여러 구성 요소를 요구하여 비효율성과 높은 에너지 소비를 초래합니다. 이러한 제한을 해결하기 위해 알토 대학 팀은 인간의 시각 시스템에서 영감을 받아 감지, 메모리 및 처리를 단일 장치로 통합하여 동작을 감지하고 궤적을 예측할 수 있는 신경형 비전 기술을 개발했습니다.

포토메미리스터: 새로운 기술의 핵심

연구자들의 기술은 포토메미리스터의 배열을 기반으로 합니다. 포토메미리스터는 전기적인 장치로 빛에 반응하여 전류를 생성합니다. 포토메미리스터는 고유한 특성을 가지고 있습니다. 빛을 끌 때 전류가 즉시停止하지 않고 점차적으로 감소합니다. 이 특성으로 인해 포토메미리스터는 최근의 빛에 대한 노출을 효과적으로 “기억”할 수 있으며, 이러한 장치를 사용하는 센서는瞬间 정보뿐만 아니라 동적 메모리를 캡처할 수 있습니다.

“우리의 기술의 고유한 특성은 하나의 프레임에서 일련의 광학 이미지를 통합하는 능력입니다.” 연구를 주도한 홍위 탄 연구원은 설명합니다. “각 이미지의 정보는 다음 이미지에 숨겨진 정보로 포함됩니다. 즉, 비디오의 마지막 프레임에는 이전 모든 프레임에 대한 정보가 포함되어 있습니다. 이것은 단순한 인공 신경망을 사용하여 마지막 프레임만 분석하여 동작을 더 일찍 감지할 수 있도록 합니다. 결과는 컴팩트하고 효율적인 센싱 유닛입니다.”

기술의 능력 시연

연구자들은 기술을 시연하기 위해 단어의 글자를 하나씩 표시하는 비디오를 사용했습니다. 모든 단어가 “E”로 끝나지만, 전통적인 비전 센서는 “E”가 “APPLE” 또는 “GRAPE”의 다른 글자之后에 왔는지 여부를 알 수 없었습니다. 그러나 포토메미리스터 배열은 마지막 프레임의 숨겨진 정보를 사용하여 이전에 있던 글자를 추론하고 거의 100%의 정확도로 단어를 예측할 수 있었습니다.

또 다른 실험에서 팀은 시뮬레이션된 사람의 동작을 세 가지 다른 속도로 표시하는 비디오를 센서에 입력했습니다. 시스템은 단일 프레임을 분석하여 동작을 인식할 뿐만 아니라 이후 프레임을 정확하게 예측할 수 있었습니다.

자율 주행 및 지능형 교통 시스템에 대한 영향

정확한 동작 감지 및 궤적 예측은 자율 주행 기술과 지능형 교통 시스템에 필수적입니다. 자율 주행 차량은 다른 차량, 자전거, 보행자 및 기타 객체의 미래 동작을 예측하여 정보를 기반으로 결정해야 합니다. 포토메미리스터 배열에 기계 학습 시스템을 통합하여 연구자들은 통합 시스템이 모든 정보를 포함하는 단일 프레임의 센서 처리를 기반으로 미래 동작을 예측할 수 있음을 보여주었습니다.

“우리의 컴팩트한 인-센서 메모리 및 컴퓨팅 솔루션은 자율 로봇 및 인간-기계 상호 작용에 새로운 기회를 제공합니다.” 세바스티안 반 디켄 교수는 말합니다. “포토메미리스터를 사용하는 시스템에서 우리는 프레임 내 정보를 얻을 수 있으며, 이는 실시간에 에너지 효율적인 의사 결정을 가능하게 합니다.”