Biểu đạt Cảm xúc Thông qua Kiểu chữ với Trí tuệ Nhân tạo

Xu hướng và đổi mới hiện tại trong giao tiếp văn bản (bao gồm email, tin nhắn và hệ thống chú thích) phải đàm phán khoảng cách cảm xúc giữa ngôn ngữ viết và nói một cách thô thiển và gần đúng.

Ví dụ, những năm gần đây đã đưa chữ hoa xen kẽ vào thời trang như một meme khiêu khích trong các cuộc chiến tranh mạng, trong khi sự sử dụng chữ hoa (cũng như các hiệu ứng kiểu chữ táo bạo và chói tai cho phép bởi một số nền tảng bình luận) tiếp tục gây ra sự can thiệp của các điều tiết viên. Những phương pháp này là đơn điệu và chỉ đại diện một cách rộng cho mục đích của ngôn ngữ viết.

Đồng thời, sự phổ biến của emoticon và emoji, như một phương tiện truyền tải cảm xúc ngôn ngữ / hình ảnh hỗn hợp, đã tham gia tích cực lĩnh vực nghiên cứu Xử lý Ngôn ngữ Tự nhiên (NLP) trong những năm gần đây, cùng với sự quan tâm đến ý nghĩa của hình ảnh GIF động mà người dùng đăng trong chuỗi bình luận.

Theo thời gian, ngôn ngữ viết đã phát triển một quỹ phương pháp ngôn ngữ ‘bổ sung’ này, nhằm mục đích đại diện cho cảm xúc hoặc kích thích nó trong sự vắng mặt của thông tin âm thanh trong ngôn ngữ nói.

Thông thường, tuy nhiên, chúng ta cần phải thể hiện cảm xúc một cách tốt nhất có thể từ ngữ cảnh của ngôn ngữ viết. Hãy xem, ví dụ, kết thúc ‘Oh, Oh, Oh!’, tại kết thúc của lời độc thoại đêm của Lady Macbeth, có thể là một nghiên cứu điển hình về mức độ mà âm điệu có thể ảnh hưởng đến ý nghĩa.

Trong hầu hết các bản chuyển thể, sự than thở đau khổ này kéo dài từ 2-6 giây; trong sản xuất vở kịch Macbeth năm 1976 của Trevor Nunn, Judi Dench đã đọc dòng này trong một thời gian 24,45 giây, trong một cách diễn giải nổi bật về vai diễn.

(Hệ thống tự động phụ đề của YouTube cho đoạn clip này mô tả tiếng than thở của Dench là [MUSIC])

Dịch Prosody sang Kiểu chữ

Một bài báo gần đây từ Brazil đề xuất một hệ thống kiểu chữ được điều chỉnh bởi giọng nói có thể kết hợp các prosody và các thành phần ngôn ngữ ngoài lời nói khác trực tiếp vào văn bản được chú thích, thêm một chiều cảm xúc mà thường không được nắm bắt bởi việc thêm các tính từ như [La lớn], hoặc các thủ thuật ‘phẳng’ khác có sẵn cho các quy ước phụ đề.

‘Chúng tôi đề xuất một mô hình mới của Kiểu chữ Điều chỉnh bởi Giọng nói, nơi các tính năng âm thanh từ giọng nói được sử dụng để điều chỉnh hình ảnh trực quan của văn bản. Điều này có thể cho phép bản ghi của một câu nói không chỉ đại diện cho các từ được nói, mà còn cách chúng được nói.’

‘Với điều này, chúng tôi hy vọng sẽ tìm ra các tham số kiểu chữ có thể được công nhận rộng rãi là đại diện trực quan cho các tính năng prosody của biên độ, âm cao và thời lượng.’

Quy trình chuyển đổi prosody thành kiểu chữ. Nhằm mục đích tạo ra hệ thống linh hoạt và rộng rãi nhất có thể, các tác giả đã giới hạn mình trong việc thay đổi baseline, khoảng cách chữ và độ đậm, với độ đậm được cung cấp bởi tính linh hoạt của phông chữ OpenType. Nguồn: https://arxiv.org/pdf/2202.10631.pdf

Bài báo này có tiêu đề Hidden bawls, whispers, and yelps: can text be made to sound more than just its words?, và đến từ Calua de Lacerda Pataca và Paula Dornhofer Paro Costa, hai nhà nghiên cứu tại Universidade Estadual de Campinas ở Brazil.

Chữ đậm

Mặc dù mục tiêu rộng hơn của dự án là phát triển các hệ thống có thể truyền tải prosody và các tính năng ngôn ngữ tham số khác trong chú thích, các tác giả cũng tin rằng một hệ thống như vậy có thể cuối cùng phát triển một khán giả rộng lớn hơn trong thế giới nghe.

Có nhiều sáng kiến trước đây trong không gian này, bao gồm một dự án năm 1983 đã đề xuất một hệ thống chú thích có thể bao gồm ‘hiệu ứng đặc biệt, màu sắc và chữ hoa [để đại diện] thông tin âm thanh phong phú bị từ chối đối với trẻ em điếc[.]’.

Ngược lại, dự án Brazil có thể tận dụng cả việc ghi âm tự động và các phát triển mới trong nhận dạng cảm xúc, kết hợp để cho phép một quy trình làm việc có thể nhập và đặc trưng hóa các thành phần trong một bản soundtrack.

Sau khi các tính năng prosody được trích xuất và xử lý, chúng được ánh xạ đến các dấu thời gian của các từ trong giọng nói, tạo ra các token có thể được sử dụng để áp dụng quy tắc điều chỉnh kiểu chữ của chú thích (xem hình ảnh trên).

Kết quả này có thể đại diện trực quan cho mức độ mà một âm tiết cụ thể có thể được kéo dài, thì thầm, nhấn mạnh hoặc nắm giữ thông tin ngữ cảnh mà sẽ bị mất trong một bản ghi thô.

Từ giai đoạn thử nghiệm của dự án, lưu ý cách khoảng cách giữa các chữ (khoảng cách giữa các chữ trong một từ) đã được mở rộng để phản ánh một cách phát âm kéo dài.

Các tác giả làm rõ rằng công việc của họ không nhằm mục đích đóng góp trực tiếp vào nghiên cứu nhận dạng cảm xúc và nhận dạng ảnh hưởng, mà thay vào đó nhằm phân loại các tính năng của giọng nói và đại diện cho chúng bằng một loạt các quy ước trực quan mới và đơn giản.

Ít nhất, sự nhấn mạnh bổ sung mà hệ thống cung cấp làm rõ ràng các câu nơi đối tượng của hành động có thể không rõ ràng với người xem không thể nghe thấy âm thanh (hoặc do khuyết tật hoặc do hoàn cảnh phát lại, chẳng hạn như môi trường ồn ào).

Để mượn ví dụ của tôi từ năm 2017, đã xem xét cách các hệ thống học máy cũng có thể gặp khó khăn trong việc hiểu nơi đối tượng và hành động nằm trong một câu, thật dễ dàng để thấy mức độ mà sự nhấn mạnh có thể thay đổi hoàn toàn ý nghĩa của thậm chí một câu đơn giản:

Tôi không đánh cắp điều đó. (Người khác đã đánh cắp nó)
Tôi không đánh cắp điều đó, (Tôi phủ nhận cáo buộc rằng tôi đã đánh cắp nó)
Tôi không đánh cắp điều đó. (Tôi sở hữu nó, hành vi đánh cắp không áp dụng)
Tôi không đánh cắp điều đó. (Nhưng tôi đã đánh cắp điều gì đó khác)

Có khả năng, một quy trình công việc prosody > kiểu chữ cơ học như đề xuất của các tác giả Brazil có thể cũng hữu ích như một phụ trợ trong việc phát triển các tập dữ liệu cho nghiên cứu tính toán ảnh hưởng, vì nó tạo điều kiện cho việc xử lý dữ liệu văn bản thuần túy mà vẫn kết hợp một số chiều ngôn ngữ ngoài lời nói được suy diễn trước.

Kiểu chữ Linh hoạt

Khung được phát triển bởi các nhà nghiên cứu cung cấp sự thay đổi trong baseline, nơi một chữ có thể cao hơn hoặc thấp hơn so với ‘baseline’ mà câu dựa vào; khoảng cách chữ, nơi khoảng cách giữa các chữ của một từ có thể bị thu hẹp hoặc mở rộng; và trọng lượng phông (độ đậm).

Những kiểu dáng này ánh xạ đến các tính năng giọng nói được trích xuất mà dự án đã giới hạn mình: tương ứng, độ cao, thời lượng và độ lớn.

Quy trình tạo kiểu trên một câu. Ở #1, chúng ta thấy các ranh giới âm tiết đã được xác định trong quá trình trích xuất. Ở #2, chúng ta thấy một đại diện của từng ba điều chỉnh (độ lớn|trọng lượng, khoảng cách chữ|thời lượng và độ cao|thay đổi baseline), áp dụng riêng lẻ. Ở #3, chúng ta thấy các điều chỉnh kiểu chữ kết hợp trong đầu ra cuối cùng, như được trình bày cho 117 người tham gia trong một thử nghiệm của hệ thống.

Vì một phông chữ duy nhất có thể yêu cầu một phông bổ sung và riêng biệt cho các biến thể như đậm và nghiêng, các nhà nghiên cứu đã sử dụng một thực hiện của phông chữ OpenType Inter, tích hợp một loạt các trọng lượng mịn vào một phông duy nhất.

Từ bài báo, một biểu đồ chi tiết mức độ mà một glyph OpenType từ phông chữ Inter có thể thể hiện một loạt các nhấn mạnh đậm dọc theo khung xương của spline tối thiểu.

Thử nghiệm

Sự thể hiện khoảng cách chữ và thay đổi baseline đã được kết hợp vào một tiện ích mở rộng trình duyệt, cho phép các thử nghiệm được thực hiện trên 117 người tham gia có khả năng nghe.

Tập dữ liệu cho các thử nghiệm đã được tạo riêng cho dự án, bằng cách thuê một diễn viên đọc một số bài thơ nhiều lần với một trọng tâm khác nhau trong mỗi lần, tương ứng với ba tính năng mà dự án đang nghiên cứu. Thơ được chọn vì nó cho phép một loạt các trọng tâm (thậm chí vượt quá ý định của nhà thơ) mà không nghe có vẻ giả tạo.

Người tham gia được chia thành hai nhóm. Nhóm đầu tiên được đưa ra 15 vòng đọc của diễn viên của một khổ thơ đi cùng với văn bản được đồng bộ hóa, hoạt hình và điều chỉnh, được hiển thị theo thời gian với đoạn âm thanh.

Nhóm thứ hai nhận được chính xác cùng một tập hợp nhiệm vụ, nhưng được trình bày với hình ảnh tĩnh của văn bản được điều chỉnh, không thay đổi trong suốt thời gian phát lại đoạn âm thanh của diễn viên.

Tỷ lệ trả lời đúng trung bình là 67% không ngẫu nhiên cho nhóm hình ảnh tĩnh và 63% cho nhóm văn bản hoạt hình. Các bình luận của người tham gia được thu thập bởi các nhà nghiên cứu sau các thử nghiệm đã xác nhận lý thuyết của họ rằng tải trọng nhận thức của việc diễn giải động có thể đã góp phần vào điểm số thấp hơn cho các thử nghiệm không tĩnh. Tuy nhiên, loại hệ thống chú thích và nhắn tin mà một khung như vậy sẽ được dành cho thường cung cấp văn bản đã hoàn thành theo mặc định.

Các bình luận của người tham gia cũng cho thấy có những giới hạn khó khăn cho việc sử dụng khoảng cách chữ để chỉ ra thời lượng, với một người bình luận lưu ý rằng khi các chữ được đặt quá xa nhau, nó trở nên khó khăn để xác định một từ.

Các nhà nghiên cứu cũng lưu ý:

‘[Một số] người tham gia cảm thấy mô hình nên có thể thể hiện các đại diện phức tạp và tinh vi hơn của giọng nói, điều mà nó nên làm với một từ vựng trực quan đa dạng và phong phú hơn. Mặc dù đây không phải là một nhiệm vụ đơn giản, nhưng điều đó vẫn rất鼓舞 khi tưởng tượng về các ứng dụng khác nhau của kiểu chữ điều chỉnh bởi giọng nói có thể mở rộng khi lĩnh vực mới này phát triển.’

Được xuất bản lần đầu vào ngày 24 tháng 2 năm 2022.