컴퓨터 비전 기술, 비디오에서 인간 행동 예측

컬럼비아 엔지니어링 연구진이 개발한 새로운 컴퓨터 비전 기술은 비디오에서 인간 행동을 예측할 수 있다. 새로운 기술은 기계에 직관적인 감각을 부여하여 사람, 동물, 객체 간의 높은 수준의 연관성을 사용하여 다음에 무슨 일이 일어날지 예측할 수 있다.

칼 본드릭은 컬럼비아 컴퓨터 과학 부교수이다. 본드릭은 연구를 주도했으며, 6월 24일 컴퓨터 비전 및 패턴 인식 국제 회의에서 발표되었다.

“我们的 알고리즘은 기계가 인간 행동에 대해 더 나은 예측을 할 수 있도록 하는 한 걸음이다. 그리고 우리의 행동과 더 잘 조율할 수 있다”고 본드릭은 말했다. “우리의 결과는 인간-로봇 협력, 자율 주행 자동차, 보조 기술에 대한 많은 가능성을 열어준다.”

새로운 방법은 현재까지 가장 정확한 비디오 액션 이벤트 예측 방법이다. 시스템은 먼저 수천 시간의 영화, 스포츠 게임, 쇼를 분석한 후 수백 가지 활동을 예측했다.

시스템이 특정 행동을 예측할 수 없으면, 그것들을 연결하는 더 높은 수준의 개념을 찾는다.

과거 시도

과거의 예측 기계 학습 시도는 일반적으로 하나의 행동을 예측하는 데 중점을 두었으며, 알고리즘은 행동을 분류하기 위해 결정했다. 그러나 높은 불확실성으로 인해 대부분의 기계 학습 모델은 가능한 옵션 사이의 공통점을 찾을 수 없다.

팀에는 컬럼비아 엔지니어링 박사 과정 학생인 디다크 수리스와 루오시 리우가 포함되었다. 그들은 더 긴 범위의 예측 문제를 다르게 보았다.

수리스는 논문의 공동 제1저자이다.

“미래의 모든 것이 예측 가능하지 않다”고 수리스는 말했다. “사람이 정확히 무슨 일이 일어날지 예측할 수 없을 때, 그들은 안전하게 예측하고 더 높은 수준의 추상화로 예측한다. 우리의 알고리즘은 미래의 사건에 대해 추상적으로推論하는 능력을 배우는 첫 번째 알고리즘이다.”

https://www.youtube.com/watch?v=b1riFCPiqN4

새로운 시스템 개발

수리스와 리우는 비정상적인 기하학을 사용하여 높은 수준의 개념을 조직하고 미래의 인간 행동을 예측하는 인공지능 모델을 개발했다.

오디바 올리바는 이 연구에 참여하지 않았으며, 매사추세츠 공과 대학의 선임 연구 과학자이자 MIT-IBM 왓슨 AI 랩의 공동 책임자이다.

“예측은 인간 지능의 기초이다”고 올리바는 말했다. “기계는 우리의 추상적인推論 능력이 없기 때문에 인간이 하지 않을 실수를 한다. 이 연구는 기술적인 격차를 메우는 중요한 한 걸음이다.”

연구진은 미래에서 예측 가능성이 높은 이벤트를 조직할 수 있는 수학적 프레임워크를 개발했다. 예를 들어, 새로운 시스템은 수영과 달리기를 자신의 것으로 분류하는 방법을 학습한다. 시스템은 또한 불확실성을 고려할 수 있으며, 이는 더 구체적인 행동으로 이어진다.

논문의 공동 제1저자 리우에 따르면, 새로 개발된 기술은 컴퓨터가 예측된 행동을 하는 대신 세부적인 결정을 내릴 수 있도록 도와줄 수 있으며, 인간과 컴퓨터 사이의 신뢰를 구축하는 데 중요하다.

“신뢰는 로봇이 정말로 사람을 이해한다는 느낌에서 온다”고 리우는 설명한다. “기계가 우리의 행동을 이해하고 예측할 수 있다면, 컴퓨터는 일상 활동에서 사람을 더 원활하게 도울 수 있을 것이다.”

연구진은 이제 기술이 실제 세계에서 작동하는지 확인하기 위해 노력할 것이다. 그리고 안전, 건강, 보안을 위해 배치할 수 있다.

“인간의 행동은 종종 놀랍다”고 본드릭은 말했다. “우리의 알고리즘은 기계가 다음에 무슨 일이 일어날지 더 잘 예측할 수 있도록 한다.”