์ธ๊ณต์ง๋ฅ
์ธ๊ณต ์ง๋ฅ, ๋ ํ๋์ ๋จ์ด๋ก ๋ฒ์ญํ๋ ๊ธฐ์ ๊ฐ๋ฐ
캘리포니아 대학교 샌프란시스코(University of California, San Francisco)의 연구자들은 뇌 활동을 텍스트로 번역할 수 있는 인공 지능(AI)을 개발했다. 이 시스템은 누군가가 말할 때 감지되는 신경 패턴을 기반으로 작동하며, 전문가들은 궁극적으로 말할 수 없는 사람들, 즉 락인 증후군에 걸린 사람들에게 사용할 수 있기를希望한다.
조지프 마킨(Dr. Joseph Makin)은 이 연구의 공동 저자이다.
“まだ 완성되지 않았지만, 이것이 말하기 보조기의 기반이 될 수 있다고 생각한다”고 마킨은 말했다.
이 연구는 네이처 뉴로사이언스(Nature Neuroscience) 저널에 발표되었다.
시스템 테스트
조지프 마킨과 그의 팀은 깊은 학습 알고리즘을 사용하여 4명의 여성의 뇌 신호를 연구했다. 모든 여성은 간질병을 가지고 있으며, 발작을 모니터링하기 위해 뇌에 전극이 부착되었다.
전극이 부착된 후, 각 여성은 뇌 활동이 측정되는 동안 일련의 문장을 큰 소리로 읽었다. 사용된 고유한 단어의 최대 수는 250이었다. 그들은 50개의 다른 문장 중에서 선택할 수 있었다. 예를 들어 “티나 터너는 팝 가수이다” 또는 “그 도둑들은 30개의 보석을 훔쳤다”와 같은 문장이 포함되었다.
뇌 활동 데이터는 신경 네트워크 알고리즘에 입력되었고, 반복적으로 발생하는 패턴을 식별하도록 훈련되었다. 이러한 패턴은 반복되는 음소나 자음과 같은 음성의 반복되는 측면에 연결될 수 있다. 그런 다음 두 번째 신경 네트워크에 입력되어 문장을 형성하기 위해 단어로 변환하려고 시도했다.
각 여성은 문장을 적어도 두 번 반복하도록 요청되었으며, 마지막 반복은 훈련 데이터에 포함되지 않았다. 이것은 연구자들이 시스템을 테스트할 수 있게 해주었다.
“이 문장들의 뇌 활동을 외우는 것은 도움이 되지 않으므로, 네트워크는 그것들이 일반화할 수 있도록 그들이 유사한 점을 배우도록 해야 한다”고 마킨은 말했다.
결과
시스템의 첫 번째 결과는 의미 있는 문장을 생성하지 못했지만, 시스템이 큰 소리로 읽은 문장과 각 단어 시퀀스를 비교할 때 개선되었다.
연구 팀은 뇌 활동만을 사용하여 작성된 텍스트를 생성하여 시스템을 테스트했다.
번역에는 많은 오류가 있었지만, 정확도는 여전히 매우 인상적이었고 이전의 접근 방식보다 훨씬 좋았다. 정확도는 사람마다 다르지만, 한 개인의 경우 평균적으로 각 문장에서 3%만 수정이 필요했다.
연구 팀은 또한 한 개인의 데이터에 대한 훈련 알고리즘이 최종 사용자가 훨씬 적은 양의 데이터를 제공할 수 있게 해주는 것을 발견했다.
마스트리흐트 대학교의 크리스티안 헤르프(Dr. Christian Herff) 박사는 이 연구에 참여하지 않았지만, 각 참가자당 40분 미만의 훈련 데이터와 제한된 문장 집합이 필요한 것은 인상적이라고 말했다. 일반적으로는 수백만 시간의 훈련이 필요하다.
“그들이 그렇게 함으로써 지금까지 달성되지 않은 수준의 정확도를 달성한다”고 그는 말했다.
“물론이지만, 이 연구는 환상적이지만, 그 사람들은 그냥 ‘OK 구글’을 사용할 수도 있다”고 그는 말했다. “이것은 생각의 번역이 아니라 말하기에 관여하는 뇌 활동의 번역이다”.
또 다른 도전은 말하기 장애가 있는 사람들이 다른 뇌 활동을 가질 수 있다는 것이다.
“우리는 실제로 말하기 장애가 있는 환자에게 이것을 배치하고 싶다”고 마킨은 말했다. “그러나 이 연구에 참여한 여성들의 뇌 활동과는 다를 수 있으므로, 이것은 더 어려울 수 있다”.
뇌 신호 데이터를 포괄적으로 번역하기에는 아직 멀었다. 인간은 엄청난 양의 단어를 사용하지만, 이 연구에서는 매우 제한된 집합의 음성을 사용했다.
