음성 및 제스처 합성 통합

내가 남부 이탈리아에서 몇 년을 보낸 후 영국으로 돌아왔을 때, 말하는 동안 몸짓을 멈추는 데 꽤 오랜 시간이 걸렸습니다. 영국에서는 대담한 손놀림으로 연설을 뒷받침하면 카페인이 너무 많아 보일 뿐입니다. 이탈리아에서 언어를 배우는 사람으로서 실제로 도움이 되었습니다. 이해하기지금도, 제가 이탈리아어를 할 때 아주 드물게 '거친 손'이 다시 등장합니다. 움직이지 않고 이탈리아어를 말하는 건 거의 불가능하죠.

최근 몇 년 동안 제스처 지원 통신 이탈리아와 유대 문화에서 Martin Scorsese와 초기 Woody Allen 영화의 작품에서 나온 비유 이상으로 대중의 주목을 받았습니다. 2013년 뉴욕 타임즈는 짧은 동영상 기록 이탈리아 손 제스처; 학계는 이 주제를 고정관념으로 치부하기보다는 손동작에 대한 인종적 성향을 연구하기 시작했습니다. 유니코드 컨소시엄의 새로운 이모티콘은 제스처 부족 해소 순수한 디지털 텍스트 기반 통신과 함께 제공됩니다.

음성 및 몸짓에 대한 통합 접근 방식

지금, 새로운 연구 스웨덴 KTH 왕립기술원의 언어, 음악, 청각학과에서는 음성과 제스처 인식을 통합한 다중 모달 시스템을 개발하고 있습니다. 이는 신체 언어를 음성에 통합된 보조 도구로 사용하여 음성 기반 의사소통에 대한 이해를 높일 수 있는 잠재력을 가지고 있으며, 평행한 연구 분야가 아닙니다.

스웨덴 언어/제스처 프로젝트의 테스트 페이지에서 가져온 시각적 개체입니다. 출처: https://swatsw.github.io/isg_icmi21/

이 연구는 ISG(Integrated Speech and Gesture) 합성이라는 새로운 모델을 제안하고 음성 및 제스처 연구에서 나온 여러 최신 신경 모델을 결합합니다.

새로운 접근 방식은 선형을 포기합니다. 파이프라인 모델 (제스처 정보가 XNUMX차 처리 단계로 음성에서 순차적으로 파생됨) 최종 사용자에 따라 기존 시스템과 동등하게 등급을 매기고 더 빠른 합성 시간과 감소된 매개변수 수를 달성하는 보다 통합된 접근 방식을 위한 것입니다.

선형 대 통합 접근 방식. 출처 : https://arxiv.org/pdf/2108.11436.pdf

새로운 다중 모드 시스템은 기존 Trinity Speech Gesture에서 훈련된 자발적인 텍스트 음성 변환 합성기와 오디오 음성 기반 제스처 생성기를 통합합니다. 데이터 세트. 이 데이터 세트에는 다양한 주제에 대해 이야기하고 자유롭게 몸짓을 하는 남자의 244분 분량의 오디오 및 신체 캡처가 포함되어 있습니다.

작품은 참신하고 접선적이다. 두리안 몸짓과 말보다 얼굴 표정과 말을 생성하고 표정 인식과 합성의 영역에 더 많이 들어가는 프로젝트.

아키텍처

프로젝트의 음성 및 시각적(제스처) 구성 요소는 데이터 측면에서 균형이 맞지 않습니다. 텍스트는 희박하고 제스처는 풍부하고 데이터 집약적입니다. 이는 목표 및 메트릭을 정의하는 측면에서 어려운 일입니다. 따라서 연구자들은 평균 제곱 오차(MSE)와 같은 보다 분명한 기계론적 접근 방식보다는 주로 출력에 대한 인간의 반응으로 시스템을 평가했습니다.

두 가지 주요 ISG 모델은 두 번째 반복 Google의 2017년 타코트론 종단 간 음성 합성 프로젝트, 그리고 한국 글로우-TTS 2020년에 발표된 이니셔티브. Tacotron은 자동 회귀 LSTM 아키텍처를 활용하는 반면 Glow-TTS는 컨볼루션 연산자를 통해 병렬로 작동하며 GPU 성능이 더 빠르고 자동 회귀 모델에 수반될 수 있는 안정성 문제가 없습니다.

연구자들은 프로젝트 기간 동안 세 가지 효과적인 음성/제스처 시스템을 테스트했습니다. 출판 2021년에는 새 프로젝트에 대한 동일한 연구원 다수에 의해; 오픈 소스 Tacotron 2의 전용 및 수정된 ISG 버전 Glow-TTS의 크게 변경된 ISG 버전.

시스템을 평가하기 위해 연구자들은 관절이 있는 3D 사람이 말하고 미리 정의된 텍스트 세그먼트로 이동하는 웹 기반 피드백 환경을 만들었습니다(환경의 일반적인 모습은 공개 프로젝트 페이지).

테스트 환경.

시험 대상자는 말과 몸짓, 말만, 몸짓만 기반으로 시스템 성능을 평가하도록 요청받았습니다. 그 결과 새 시스템이 더 빠르게 작동하고 리소스가 줄어들었지만 이전 파이프라인 버전에 비해 새 ISG 버전에서 약간 개선된 것으로 나타났습니다.

'제스처가 얼마나 인간적인가?'라는 질문에 완전히 통합된 ISG 모델은 느린 파이프라인 모델보다 약간 앞서 나갔고, Tacotron과 Glow 기반 모델은 그보다 더 뒤처졌습니다.

임베디드 슈러그

세 가지 접근 방식 중 가장 성공적인 Tacotron2-ISG 모델은 '모르겠습니다'와 같이 데이터 세트에서 가장 흔한 문구와 관련된 '무의식적' 학습 수준을 보여줍니다. 이 문구와 함께 어깨를 으쓱하는 표정을 생성하게 하는 명확한 데이터가 부족함에도 불구하고, 연구자들은 생성기가 실제로 어깨를 으쓱한다는 것을 발견했습니다.

연구진은 이 새로운 프로젝트의 매우 특수한 특성으로 인해 음성 및 제스처 데이터를 이러한 시스템 학습에 적합한 방식으로 통합하는 전용 데이터 세트와 같은 일반 자원의 부족을 불가피하게 초래한다고 지적합니다. 그럼에도 불구하고, 그리고 연구의 선구적인 성격에도 불구하고, 연구진은 이 연구가 음성, 언어학 및 제스처 인식 분야에서 유망하지만 아직 연구가 덜 진행된 분야라고 생각합니다.