단일 발자국에서 사람 식별 가능한 AI

새로운 연구 프로젝트는 단일 발자국 소리만으로 사람을 식별할 수 있는 저렴한 시스템을 개발했다.

나냥 테크놀로지 대학교와 켄터키 대학교의 연구자들이 참여한 연구 논문 Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition(PURE)에서, 식별률은 90%까지 달성되었으며, 오디오 샘플은 매우 짧다.

PURE에서 捕获한 5개의 구별되는 발자국 프로필

PURE의 아키텍처는 저렴한 마이크로폰 배열에서 데이터를 사용하며, 원시 오디오 캡처는 배경 스펙트럼 감소를 통해 노이즈가 제거된다. 신호 대 노이즈 비율이 높은 경우, 발자국이 捕获되는 동안 대화가 발생하는 경우, 소스 분리 알고리즘이 활성화되어 발자국의离散 추출을 수행한다.

발자국 오디오는 도메인 적대적 적응을 통해澄明되고 분석되며, 프레임워크는 특징 추출기, 身分 예측기, 도메인 구분기를 포함한다.

PURE를 위한 하드웨어

PURE를 위한 장비는 라즈베리 파이 4를 기반으로 한 맞춤형 라ック에 내장된 마이크로폰 배열이다.

마이크로폰은 ‘구조에 의한’ 신호(발이 땅에 닿을 때)를 위한最高의 오디오 속도로 捕获하며, 이는 매우 짧은 기간 동안 발생하므로 가능한 한 자세하게 捕获해야 한다. 그러나 ‘공기중의’ 발자국(발이 다음 땅에 닿기까지의 소리)은 구조에 의한 발자국을 처리하기 위한 로컬 처리 용량을節約하기 위해 16kHz로 다운샘플링된다.

연구자들은 발자국 사운드 이펙트 사운드보드와 발자국 사운드 이펙트를 사용하여 훈련 데이터 세트를 합성했다. 또한 테드 토크의 오디오 구성 요소를 사용하여 배경 대화에서 발자국을 추출하기 위한 훈련 데이터를 생성했다.

발자국 인식에서의 ‘재생 공격’ 방지

이러한 시스템은 ‘재생 공격’에 강해야 한다. 여기서 악의적인人が 특정 발자국 패턴을 녹음하여 시스템이 라이브 사용자로 식별할 수 있도록 재생할 수 있다.

이를 방지하기 위해 PURE는 ‘접촉’ 발자국에서 도착 시간(ToA)을 분석하고, 공중 발자국에서 도착 각도(AoA)를 분석한다.

재생된 발자국의 동적 정보가 부족하여 쉽게 식별할 수 있다. 그러나 데이터를 처리할 때 이를 고려해야 한다. 발자국의 자연스러운 불규칙성을 관찰하고, 또한 환경의 contexto에서 발자국의 속도를 고려하면(예를 들어, 사무실 환경에서 달리거나 느리게 걷는 것은 불가능하다), 수신되는 데이터가 인증된 데이터인지 확인할 수 있다.

프로젝트는 빔형성 기술을 사용하여 ToA를 계산하지만, AoA를 추출하는 것은 더 복잡하며, R-Net 신경망을 사용하여 발자국의 범위를 계산한다. 이는 이전 신경망과 동일한 모델이지만, 身分 예측기가 범위 추정기로 대체된다.

정확도

PURE는 다양한 음향 환경과 다양한 걸음 속도에서 테스트되었다. 여러 사람의 발자국이 생성될수록 정확도는 자연스럽게 떨어진다. 또한 여러 발자국 소스의 속도가 증가할수록 정확도도 떨어진다.

그러나 도메인 적응에 따라 100번의 테스트에서 시스템은 3-5개의 발자국에서 90.73%에서 96.53%의 정확도로 사용자를 식별할 수 있었으며, 2-3개의 발자국에서 88.16%에서 95.92%의 정확도로 식별할 수 있었으며, 단일 발자국에서 81.75%에서 88.6%의 정확도로 식별할 수 있었다.

연구자들은 PURE가 저렴한 하드웨어 비용과 낮은 지연 시간 및 높은 정확도, 환경 간섭 및 재생 공격에 강한 점으로 인해 광범위한 적용 가능성을 갖고 있다고 전망한다.

걸음 분석의 성장

이 분야의 기계 학습 연구는 지난 10년 동안 주로 컴퓨터 비전에 중점을 두어 왔다. 그리고 사용된 미션 임파서블: 로그 네이션(2015)에서 문화적 충격을 받았다.

현재까지 걸음 인식 기술은 노인 돌봄, 수술 후 재활, 그리고 더 논란의 여지가 있는 소매 환경에서 개인화된 광고 제공을 위한 용도로 제안되었다. 그러나 이러한 시스템은 보안 환경에서 직원 모니터링을 위한 잠재적인 용도를 가지고 있다.

2018년에 중국 당국이 와트릭스라는 AI 개발 회사에서 개발한 비전 기반 걸음 분석을 사용하여 폐쇄 회로 공공 감시 시스템의 일부로 사용한다고 보고했다.

걸음 인식은 또한 감시를 통해 와이파이 신호의 반사율을 모니터링하여 구현되었다.

그러나 이러한 모든 접근 방식에는 제한이 있다. 조명 조건, 가시성, 비용, 지역 조건, 신체 착용 장치 등이 요구된다.