컴퓨터가 인간의 뇌 신호를 사용하여 시각적 지각을 모델링한다

최초의 연구에서 헬싱키 대학의 연구자들은 컴퓨터가 인간의 뇌 신호를 모니터링하여 시각적 지각을 모델링하는 새로운 기술을 개발했다. 즉, 컴퓨터는 인간이 머릿속에서 생각하는 것을 재현하려고 시도한다. 이 새로운 기술로 컴퓨터는 이전에 나타나지 않은 완전히 새로운 정보와 허구적인 이미지를 생성할 수 있다.

새로운 연구는 9월에 Scientific Reports 저널에 발표되었다. 이 저널은 여러 분야를 다루는 오픈 액세스 온라인 저널이다.

연구자들은 전통적으로 뇌-컴퓨터 인터페이스에 기반한 기술을 개발했다. 이 인터페이스는 일반적으로 뇌에서 컴퓨터로의 일방향 통신만 가능하다. 예를 들어, 문자를 입력하거나 커서를 이동하는 것이 가능하다.

이 연구는 인공 지능(AI) 방법을 사용하여 컴퓨터가 정보를 제시하고 뇌 신호를 모델링하는 것을 동시에 보여주는 최초의 연구이다. 인간의 뇌 반응과 생성적 신경 네트워크가 상호 작용하여 참가자가 집중하는 시각적 특성을 나타내는 이미지를 생성했다.

신경 적응적 생성 모델링

이 방법은 신경 적응적 생성 모델링이라고 불리며, 31명의 참가자를 대상으로 테스트되었다. 참가자들은 다양한 사람들의 AI 생성 이미지 수백장을 보았고, 참가자의 뇌파는 이미지 보기 동안 기록되었다.

참가자들은 이미지의 특정 특징, 예를 들어 뚜렷한 얼굴과 표정에 집중하도록 지시받았다. 그런 다음 빠르게 얼굴 이미지 시리즈가 나타나고 뇌파는 신경 네트워크에 입력되었다. 이 신경 네트워크는 이미지에 대한 뇌의 반응을 모델링하여 참가자가 집중하는 것과 일치하는지 여부를 추론했다.

이 데이터를 사용하여 신경 네트워크는 참가자가 생각하는 얼굴의 종류에 대한 추론을 할 수 있었고, 컴퓨터 생성 이미지들은 참가자에 의해 평가되었다. 결과는 이미지들이 참가자가 집중하는 것과 거의 완벽하게 일치한다는 것을 보여주었고, 실험의 정확도는 83%였다.

투카 루오살로(Tuukka Ruotsalo)는 핀란드 헬싱키 대학의 아카데미 연구원이며 덴마크 코펜하겐 대학의 부교수이다.

“이 기술은 자연스러운 인간의 반응과 컴퓨터가 새로운 정보를 생성하는 능력을 결합한다. 실험에서 참가자들은 컴퓨터 생성 이미지만 보도록 요청받았다. 컴퓨터는 인간의 뇌 반응을 사용하여 이미지와 인간의 반응을 모델링했다. 이를 통해 컴퓨터는 사용자의 의도에 맞는 완전히 새로운 이미지를 생성할 수 있다”라고 루오살로는 말했다.

기타 잠재적 이점

인간의 얼굴 이미지를 생성하는 것 외에도 이 새로운 연구는 컴퓨터가 인간의 창의력을 강화할 수 있음을 보여주었다.

“만약 당신이 무언가를 그리거나 일러스트레이션하고 싶지만 할 수 없다면, 컴퓨터가 당신을 도와서 목표를 달성하도록 할 수 있다. 컴퓨터는 집중의 초점을 관찰하고 당신이 생성하고 싶은 것을 예측할 수 있다”라고 루오살로는 말했다. 그러나 연구자들은 이 기술이 지각과 우리의 마음 속에서 일어나는 기본적인 과정에 대한 이해를 얻는 데 사용될 수 있다고 믿는다.

“이 기술은 생각을 인식하지 못한다. 그러나 정신적 범주와의 연관성을 반응한다. 따라서 우리는 특정 ‘노인’에 대한 참가자의 생각을 알 수는 없지만, 노인에 대한 참가자의 연관성을 이해할 수 있다. 따라서 우리는 이 기술이 사회적, 인지적, 정서적 과정에 대한 통찰력을 얻는 새로운 방법을 제공할 수 있다고 믿는다”라고 시니어 연구원 미카엘 스파페(Michiel Spapé)는 말했다.

스파페는 또한 이 결과가 심리학에서 사용될 수 있다고 믿는다.

“한 사람의 노인에 대한 생각은 다른 사람과 매우 다를 수 있다. 우리는 현재 우리의 기술이 무의식적인 연관성을 노출할 수 있는지 여부를 조사하고 있다. 예를 들어, 컴퓨터가 항상 노인을 웃는 남자로 렌더링하는지 확인하는 것과 같은 방법으로”라고 스파페는 말했다.