Tích hợp Giọng nói và Cử chỉ

Khi tôi trở lại Anh từ miền nam Italy sau một vài năm, tôi đã mất một thời gian để ngừng sử dụng cử chỉ khi nói. Tại Anh, việc sử dụng cử chỉ khi nói chỉ làm cho bạn看起来 như quá caffeinated; tại Italy, khi tôi đang học tiếng, nó thực sự giúp tôi được hiểu. Ngay cả bây giờ, khi tôi nói tiếng Italy ít hơn, những ‘cử chỉ điên rồ’ vẫn quay lại. Việc nói tiếng Italy gần như không thể nếu không di chuyển.

Trong những năm gần đây, việc giao tiếp hỗ trợ cử chỉ trong văn hóa Italy và Do Thái đã trở thành một chủ đề được chú ý nhiều hơn, không chỉ là một khuôn mẫu từ các bộ phim của Martin Scorsese và Woody Allen. Vào năm 2013, New York Times đã biên soạn một video ngắn về lịch sử của cử chỉ tay Italy; các nhà nghiên cứu đang bắt đầu nghiên cứu về khuynh hướng chủng tộc trong việc sử dụng cử chỉ, thay vì coi đây là một khuôn mẫu; và các biểu tượng cảm xúc mới từ Unicode Consortium đang đóng khoảng trống cử chỉ trong giao tiếp kỹ thuật số.

Phương pháp Tích hợp Giọng nói và Cử chỉ

Bây giờ, nghiên cứu mới từ Bộ phận Giọng nói, Âm nhạc và Nghe tại Viện Công nghệ Hoàng gia KTH Thụy Điển đang tìm cách kết hợp nhận dạng giọng nói và cử chỉ vào một hệ thống đa phương thức thống nhất, có thể tăng cường sự hiểu biết về giao tiếp dựa trên giọng nói bằng cách sử dụng ngôn ngữ cơ thể như một phần hỗ trợ tích hợp cho giọng nói, thay vì một lĩnh vực nghiên cứu song song.

Hình ảnh từ trang thử nghiệm của dự án giọng nói và cử chỉ Thụy Điển. Nguồn: https://swatsw.github.io/isg_icmi21/

Nghiên cứu đề xuất một mô hình mới gọi là Tổng hợp Giọng nói và Cử chỉ (ISG), và kết hợp một số mô hình thần kinh hiện đại từ nghiên cứu về giọng nói và cử chỉ.

Phương pháp mới này từ bỏ mô hình dòng chảy tuyến tính (trong đó thông tin cử chỉ được suy diễn tuần tự từ giọng nói như một giai đoạn xử lý thứ cấp) để thay thế bằng một phương pháp tích hợp hơn, có thể đánh giá ngang bằng với các hệ thống hiện có theo người dùng cuối, và đạt được thời gian tổng hợp nhanh hơn và giảm số lượng tham số.

So sánh giữa phương pháp tuyến tính và tích hợp. Nguồn: https://arxiv.org/pdf/2108.11436.pdf

Hệ thống đa phương thức mới này bao gồm một bộ tổng hợp giọng nói tự nhiên và một bộ tạo cử chỉ dựa trên âm thanh, cả hai đều được đào tạo trên tập dữ liệu Trinity Speech Gesture hiện có. Tập dữ liệu này chứa 244 phút âm thanh và dữ liệu cơ thể của một người đàn ông nói về các chủ đề khác nhau và cử chỉ tự do.

Công việc này là một tương đương mới và ngang bằng với dự án DurIAN, tạo ra biểu cảm khuôn mặt và giọng nói, thay vì cử chỉ và giọng nói, và thuộc về lĩnh vực nhận dạng và tổng hợp biểu cảm.

Cấu trúc

Các thành phần giọng nói và hình ảnh (cử chỉ) của dự án này không cân bằng về mặt dữ liệu; văn bản là thưa thớt và cử chỉ là phong phú và đòi hỏi nhiều dữ liệu – một thách thức trong việc xác định mục tiêu và chỉ số. Do đó, các nhà nghiên cứu đã đánh giá hệ thống này chủ yếu dựa trên phản hồi của con người về đầu ra, thay vì các phương pháp cơ học rõ ràng hơn như lỗi bình phương trung bình (MSE).

Hai mô hình ISG chính được phát triển dựa trên phiên bản thứ hai của dự án tổng hợp giọng nói Tacotron của Google năm 2017, và dự án Glow-TTS của Hàn Quốc được công bố năm 2020. Tacotron sử dụng kiến trúc LSTM tự hồi quy, trong khi Glow-TTS hoạt động song song thông qua các toán tử convolution, với hiệu suất GPU nhanh hơn và không có vấn đề ổn định như các mô hình tự hồi quy.

Các nhà nghiên cứu đã thử nghiệm ba hệ thống giọng nói và cử chỉ hiệu quả trong dự án này: một phiên bản sửa đổi của mô hình đã xuất bản vào năm 2021 bởi một số nhà nghiên cứu trong dự án mới; một phiên bản Tacotron 2 được sửa đổi dành riêng cho ISG; và một phiên bản Glow-TTS được sửa đổi mạnh mẽ.

Để đánh giá các hệ thống, các nhà nghiên cứu đã tạo ra một môi trường phản hồi dựa trên web với các nhân vật 3D có thể nói và di chuyển theo các đoạn văn bản được xác định trước (khả năng xem môi trường này tại trang dự án công khai).

Môi trường thử nghiệm.

Các đối tượng thử nghiệm được yêu cầu đánh giá hiệu suất của hệ thống dựa trên giọng nói và cử chỉ, giọng nói chỉ, và cử chỉ chỉ. Kết quả cho thấy sự cải thiện nhẹ trong phiên bản ISG mới so với phiên bản pipeline cũ, mặc dù hệ thống mới hoạt động nhanh hơn và với ít tài nguyên hơn.

Khi được hỏi ‘Cử chỉ này có giống con người không?’, mô hình ISG tích hợp hoàn chỉnh đứng đầu so với mô hình pipeline chậm hơn, với các mô hình Tacotron và Glow-based đứng sau.

Cử chỉ Nhúng

Mô hình Tacotron2-ISG, thành công nhất trong ba phương pháp, thể hiện một mức độ ‘học tiềm thức’ liên quan đến một số cụm từ phổ biến nhất trong tập dữ liệu, như ‘Tôi không biết’ – mặc dù không có dữ liệu rõ ràng nào khiến nó tạo ra một cử chỉ nhún vai để đi kèm với cụm từ này, các nhà nghiên cứu phát hiện ra rằng bộ tạo cử chỉ thực sự nhún vai.

Các nhà nghiên cứu lưu ý rằng bản chất rất cụ thể của dự án này đồng nghĩa với việc thiếu các tài nguyên chung, chẳng hạn như tập dữ liệu chuyên dụng kết hợp dữ liệu giọng nói và cử chỉ theo cách phù hợp cho việc đào tạo hệ thống như vậy. Tuy nhiên, và bất chấp tính chất tiên phong của nghiên cứu, họ coi đây là một hướng đi đầy hứa hẹn và chưa được khám phá nhiều trong lĩnh vực giọng nói, ngôn ngữ học và nhận dạng cử chỉ.