뇌 활동을 단어로 번역하는 AI 개발

캘리포니아 대학교 샌프란시스코(University of California, San Francisco)의 연구자들은 뇌 활동을 텍스트로 번역할 수 있는 인공 지능(AI)을 개발했다. 이 시스템은 말하는 동안 감지되는 신경 패턴에 기반하며, 전문가들은 궁극적으로 말할 수 없는 사람들, 즉 락인 증후군에 걸린 사람들을 위해 사용할 수 있기를希望한다.

조셉 마킨(Dr. Joseph Makin)은 이 연구의 공동 저자이다.

“우리는 아직 그 단계에 도달하지 못했지만, 이것이 언어 보조 장치의 기반이 될 수 있다고 생각한다”고 마킨은 말했다.

이 연구는 네이처 신경과학(Nature Neuroscience) 저널에 발표되었다.

시스템 테스트

조셉 마킨과 그의 팀은 깊은 학습 알고리즘을 사용하여 4명의 여성의 뇌 신호를 연구했다. 모든 여성은 간질을 가지고 있었으며, 뇌에 전극을 부착하여 발작을 모니터링했다.

전극이 부착된 후, 각 여성은 음성으로 문장을 읽으면서 뇌 활동을 측정했다. 사용된 고유한 단어의最大 수는 250이었다. 그들은 50개의 다른 문장 중에서 선택할 수 있었으며, “티나 터너는 팝 가수이다”와 “도둑들은 30개의 보석을 훔쳤다”와 같은 문장이 포함되었다.

뇌 활동 데이터는 신경망 알고리즘에 입력되었으며, 정기적으로 발생하는 패턴을 식별하도록 훈련되었다. 이러한 패턴은 반복되는 음성의 측면과 연결될 수 있었다. 그런 다음 두 번째 신경망에 입력되어 단어로 변환되어 문장을 형성했다.

각 여성은 문장을至少 두 번 반복하도록 요청받았으며, 마지막 반복은 훈련 데이터에 포함되지 않았다. 이것은 연구자들이 시스템을 테스트할 수 있도록 했다.

“이 문장들의 뇌 활동을 기억하는 것은 도움이 되지 않으므로, 네트워크는 그들이 유사한 점을 학습하여 최종 예제에 일반화할 수 있어야 한다”고 마킨은 말했다.

결과

시스템의 초기 결과는 의미 있는 문장을 생성하지 못했지만, 시스템이 각 단어 시퀀스를 음성으로 읽은 문장과 비교하면서 개선되었다.

팀은 음성 동안의 뇌 활동만으로 텍스트를 생성하여 시스템을 테스트했다.

번역에는 많은 오류가 있었지만, 정확도는 여전히 매우 впеч