인공 지능 모델, 인간 뇌가 언어를 처리하는 방식에 대한 통찰력을 제공

매사추세츠 공과 대학에서 나온 새로운 연구에 따르면 ‘다음 단어 예측’ 계산 모델의 기본 기능은 인간 뇌의 언어 처리 중심의 기능과 유사하다.

언어의 의미

最新의 예측 언어 모델은 언어의 기본적인 의미에 대해 무언가를 배우고 있을 수 있다. 이는 분야에서 큰 발전이다. 모델은 다음 단어가 무엇인지 예측하지만, 또한 질문에 대답하고, 문서를 요약하고, 이야기를 완성하는 등의 작업을 수행한다.

모델은 인간 뇌가 언어를 이해하는 방식을 모방하려고 시도하지 않고 텍스트를 예측하는 성능을 최적화하기 위해 설계되었다. 그러나 MIT의 신경과학자 팀은 이와 관련하여 무언가가 일어나고 있다고 제안한다.

이 연구의 더 интерес로운 통찰 중 하나는 다른 유형의 언어 작업을 수행하는 컴퓨터 모델이 인간 뇌와의 유사성을 보여주지 않는다는 것이다. 이것은 인간 뇌가 언어 처리를 수행하기 위해 다음 단어 예측을 사용할 수 있음을 나타낸다.

낸시 칸위셔는 왈터 A. 로젠블리트 인지 신경과학 교수이다. 그녀는 또한 MIT의 맥고번 뇌 연구소와 뇌, 마음, 기계 센터(CBMM)의 회원이며, 연구의 공동 저자이다.

“모델이 다음 단어를 예측하는 능력이 더 좋을수록, 인간 뇌와의 일치가 더 잘된다”고 칸위셔는 말한다. “모델이如此 잘 맞는 것은 놀라우며, 간접적으로 인간 언어 시스템이 다음에 무엇이 일어날지 예측하고 있을 수 있음을 시사한다.”

이 연구는 국립 과학 아카데미 저널에 발표되었다.

이 연구에는 조슈아 테넨바움, MIT의 인지 과학 교수이자 CBMM과 MIT의 인공 지능 연구소(CSAIL)의 회원; 그리고 에블린 페도렌코, 프레드릭 A.와 캐롤 J. 미들턴 커리어 개발 중신경과학 교수이자 맥고번 연구소의 회원이 공동 저자로 참여했다. 이 논문의 첫 저자는 마틴 슈림프, MIT의 대학원 학생이었다.

연구

MIT 팀은 인간 뇌의 언어 처리 중심과 언어 처리 모델을 비교했다. 그들은 43개의 언어 모델, 다음 단어 예측을 최적화한 모델 such as GPT-3을 포함하여 분석했다. 다른 모델은 빈칸을 채우는 등의 다른 언어 작업을 수행하도록 설계되었다.

각 모델은 단어의 문자열이 주어졌고, 연구자들은 네트워크를 구성하는 노드의 활동을 측정했다. 패턴은 언어 작업을 수행하는 주제들의 뇌 활동과 비교되었다. 주제들은 세 가지 언어 작업, 즉 이야기 듣기, 한 번에 한 문장씩 읽기, 한 번에 한 단어씩 읽기를 수행했다.

인간 데이터 세트에는 기능적 자기 공명 영상(fMRI) 데이터와 뇌 수술을 받는 사람들에서 측정된 뇌 내 전기 신경 그래프 데이터가 포함되었다.

연구자들은 다음 단어 예측 모델의 활동 패턴이 인간 뇌의 활동 패턴과 유사하다는 것을 발견했다. 이러한 모델은 또한 인간의 행동 반응, 즉 텍스트를 읽는 속도와 관련된 활동을 잘 예측했다.

“우리는 신경 반응을 잘 예측하는 모델이 인간의 행동 반응, 즉 읽기 시간을 잘 예측한다는 것을 발견했다”고 슈림프는 말한다. “그리고 두 가지 모두 다음 단어 예측 모델의 성능에 의해 설명된다. 이 삼각형은 모든 것을 함께 연결한다.”

연구자들은 언어 처리 모델의 변형을 구축하여 모델의 구조에서 작은 변경이 성능과 인간의 신경 데이터에 대한 적합성에 미치는 영향을 보려고 할 것이다.