Anderson의 관점
감정 표현을 위한 타이포그래피와 AI

핵심 포인트음성 변조 타이포그래피는 음높이, 지속 시간, 음량을 기준선 이동, 커닝, 폰트 굵기에 매핑한다.
더 보기
- 음성 변조 타이포그래피는 음높이, 지속 시간, 음량을 기준선 이동, 커닝, 폰트 굵기에 매핑한다.
- 동적 캡션은 애니메이션 읽기가 시청자에게 인지 부하를 더하기 때문에 정적 캡션보다 더 나쁜 점수를 받았다.
- 운율 인식 텍스트는 감정 컴퓨팅 데이터셋과 고객 만족도나 우울증 추론 같은 작업을 풍부하게 할 수 있다.
현재의 텍스트 통신 트렌드와 혁신, 즉 이메일, 메시징, 캡션 시스템 등은 서면과 구어 간의 감정적 차이를 거칠고 근사적인 방식으로 처리해야 한다.
예를 들어 최근 몇 년 동안 대문자와 소문자를 번갈아 쓰기가 소셜 미디어 논쟁에서 도발적인 밈으로 유행했다. 한편 많은 사람이 싫어하는 대문자 고정 사용과 일부 댓글 플랫폼이 허용하는 굵은 글씨 등의 두드러진 타이포그래피 효과는 계속 관리자의 개입을 유발한다. 이런 방법은 글의 의도를 전달하는 단순하고 대략적인 수단이다.
동시에 문자와 시각을 결합해 감정을 전달하는 이모티콘과 이모지가 인기를 얻으면서 최근 몇 년 동안 자연어 처리(NLP) 연구에서도 활발히 다뤄졌다. 사용자가 댓글 대화에 게시하는 움직이는 GIF의 의미에도 관심이 커졌다.
시간이 지남에 따라, 서면 언어는 감정을 대리하거나 부족한 말투 정보를 대신하여 애매한 언어적 방법을 발전시켜 왔다.
일반적으로, 우리는 글의 맥락에서 감정을 최대한 잘 추론해야 한다. 예를 들어, 레이디 맥베스의 광기 어린 밤의 독백에서 “오, 오, 오!”라는 외침은 말투가 의미에 미치는 영향의 정도를 보여주는 사례이다.
대부분의 각색에서, 이 고통의 한탄은 2-6초 동안 지속되지만, 1976년 트레버 넌의 로열 셰익스피어 컴퍼니의 맥베스 공연에서 주디 덴치는 이 대사를 24.45초로 늘였다. 아직 깨지지 않았을지도 모르는 이 기록은 이 배역의 상징적인 해석이 됐다.
(유튜브의 자체 자막 시스템은 이 클립에서 덴치의 울음을 [음악]으로 설명한다.)
말투를 타이포그래피로 번역하기
브라질의 한 논문은 운율과 다른 준언어적 요소를 자막에 직접 담을 수 있는, 음성에 따라 형태가 바뀌는 타이포그래피 체계를 제안한다. 이는 [소리 지름] 같은 설명을 앞에 붙이거나 기존 자막의 평면적인 기법을 쓰는 것만으로는 충분히 전달하기 어려운 감정의 차원을 추가한다.
‘우리는 음성의 음향 특징을 사용하여 텍스트의 시각적 모양을 조정하는 새로운 음성-조정 타이포그래피 모델을 제안한다. 이는 특정 발언의 전사에서 단순히 말하는 단어를 나타내는 것뿐만 아니라 어떻게 말하는지 나타낼 수 있다.’
‘이것으로 우리는 음성의 음조, 길이, 크기와 같은 특징을 시각적으로 대리할 수 있는 타이포그래픽 매개변수를 발견하기를 바란다.’

말투를 타이포그래피로 번역하는 워크플로우. 가능한 한 유연하고폭넓하게 배포할 수 있는 시스템을 제작하기 위해, 저자들은 베이스 라인 이동, 커닝, 볼드함으로 제한했다. 볼드함은 오픈 타입 폰트의 유연성으로 제공된다. 출처: https://arxiv.org/pdf/2202.10631.pdf
이 논문은 숨겨진 울음, 속삭임, 그리고 외침: 텍스트가 단순한 단어 이상의 것을 전달할 수 있을까?라는 제목으로, 브라질의 Universidade Estadual de Campinas의 두 연구자 Calua de Lacerda Pataca와 Paula Dornhofer Paro Costa가 작성했다.
볼드한 단어
이 프로젝트의 더폭넓한 목표는 자막에서 말투와 다른 준언어적 특징을 전달할 수 있는 시스템을 개발하는 것이다. 저자들은 이러한 시스템이 궁극적으로 청각 세계에서 더폭넓한 청중을 확보할 수 있을 것이라고 믿는다.
이 분야에는 이전에 여러 시도가 있었는데, 1983년의 한 프로젝트는 자막 시스템에 ‘특수 효과, 색상, 대문자를 사용해 청각장애 아동이 얻지 못하는 풍부한 목소리의 억양 정보를 표현할 수 있다’고 제안했다.
반면 브라질의 프로젝트는 자동 자막과 감정 인식의 새로운 개발을 활용할 수 있다. 이러한 워크플로우는 오디오 클립에서 구성 요소를 가져와 특징화할 수 있다.
말투 특징을 추출하고 처리한 후, 음성 속 단어의 타임스탬프에 이를 대응시켜 규칙 기반의 자막 타이포그래피를 조정할 수 있는 토큰을 생성한다(위의 이미지 참조).
이 결과는 특정 음절이 얼마나 길게 늘어지고, 속삭여지고, 강조되는지 등 단순한 전사에서 사라지는 문맥 정보를 시각적으로 나타낼 수 있다.

프로젝트의 테스트 단계에서, 커닝(단어 안의 글자 사이의 간격)이 길게 늘인 발음으로 반영되도록 넓혀진 것을 볼 수 있다.
저자들은 자신의 연구가 감정과 정서 상태 인식 연구에 직접 기여하는 것이 아니라, 음성의 특징을 분류하고 단순하고 제한된 새로운 시각적 규칙으로 나타내는 것을 목표로 한다.
최소한 시스템이 제공하는 추가 강조는 장애나 시끄러운 재생 환경 때문에 소리를 들을 수 없는 시청자에게 동작의 대상이 모호한 문장을 명확히 해준다.
예를 들어, 2017년에 내가 작성한 기사에서, 기계 학습 시스템이 문장에서 동작과 객체의 위치를 이해하는 데 어려움을 겪을 수 있다는 것을 보여주었다. 강조가 단순한 문장의 의미를 어떻게 크게 변경할 수 있는지 쉽게 이해할 수 있다:
나는 그것을 훔치지 않았다. (누군가 다른 사람이 그것을 훔쳤다)
나는 그것을 훔치지 않았다. (훔쳤다는 혐의를 부인한다)
나는 그것을 훔친 게 아니다. (내 소유이므로 절도가 아니다)
나는 그것을 훔치지 않았다. (다른 것은 훔쳤다)
잠재적으로, 브라질 연구자들이 제안한 것과 같은 기계적인 말투-타이포그래피 워크플로우는 감정 컴퓨팅 연구를 위한 데이터셋 개발의 보조 도구로도 유용할 수 있다. 이는 미리 추론한 준언어적 차원을 포함한 순수 텍스트 데이터를 쉽게 처리할 수 있기 때문이다. 또한 연구자들은 운율 정보가 담긴 텍스트의 추가 언어 정보가 고객 만족도 평가와 텍스트에서 우울증을 추론하는 작업 등 여러 NLP 기반 과제에 유용할 수 있다고 지적한다.
탄력적인 타이포그래피
연구자들의 프레임워크는 글자를 문장의 기준선보다 위나 아래로 옮기는 베이스라인 이동, 단어 안의 글자 간격을 좁히거나 넓히는 커닝, 글자의 굵기를 바꾸는 폰트 두께 조절을 제공한다.
이 세 가지 스타일은 프로젝트가 다루는 추출된 음성 특징인 음높이, 지속 시간, 진폭에 각각 대응한다.

문장의 스타일링 진행. #1에서, 우리는 추출 과정에서 정의된 음절 경계를 볼 수 있다. #2에서, 우리는 진폭과 글자 굵기, 커닝과 지속 시간, 음높이와 베이스라인 이동이라는 세 조정을 각각 따로 적용한 것을 볼 수 있다. #3에서, 우리는 시스템을 테스트한 117명의 참가자에게 제시된 최종 출력을 볼 수 있다.
단일 폰트가 볼드와 이탤릭과 같은 변형에 대한 추가 폰트를 요구할 수 있으므로, 연구자들은 OpenType 폰트 Inter의 구글 구현을 사용했다. 이 폰트는 하나의 폰트에 다양한 가중치를 통합한다.

논문에서, Inter 폰트의 오픈 타입 글리프가 최소한의 베이스 스플라인을 따라 다양한 볼드 강조를 표현할 수 있는 범위를 보여주는 차트.
테스트
커닝과 베이스 라인 이동의 표현은 브라우저 플러그인에 통합되어 117명의 청력 능력이 있는 참가자에게 테스트되었다.
시험 데이터셋은 이 프로젝트를 위해 특별히 제작했다. 배우를 고용해 고른 시들을 여러 번 읽게 했으며, 각 녹음에서 연구 대상인 세 특징에 맞춰 서로 다른 강조를 주었다. 시는 시인의 의도를 벗어나는 강조까지도 부자연스럽지 않게 허용하기 때문에 선택됐다.
참가자들은 두 그룹으로 나뉘었다. 첫 번째 그룹은 배우가 시의 한 연을 읽는 15라운드를 경험했다. 동기화되고 움직이며 변형된 텍스트가 음성 클립에 맞춰 펼쳐졌다.
두 번째 그룹은 동일한 작업을 받았지만, 텍스트는 정적 이미지로 표시되었으며 오디오 클립 재생 중에 변경되지 않았다.
정적 이미지 그룹의 평균 정답률은 무작위 수준과 구별되는 67%였으며, 애니메이션 텍스트 그룹의 평균 정답률은 63%였다. 시험 후 참가자에게서 수집한 의견은 동적인 표현을 해석하는 인지적 부담이 움직이는 텍스트 시험에서 낮은 점수에 기여했을 수 있다는 연구자의 가설을 뒷받침했다. 그러나, 이러한 프레임워크가 의도된 자막 및 메시지 시스템은 일반적으로 기본적으로 완성된 텍스트를 제공한다.
참가자 의견은 또한 커닝을 사용하여 길이를 나타내는 데 한계가 있음을 나타냈다. 한 참가자는 글자가 너무 멀리 떨어져 있으면 단어를 구별하기 어려워진다고 말했다.
연구자들은 또한 다음과 같이 말했다:
‘일부 참가자는 모델이 더 복잡하고 다양한 음성 표현을 포함해야 한다고 느꼈다. 이를 위해서는 더 다양하고 표현력 있는 시각적 어휘가 필요하다. 간단한 과제는 아니지만, 이 새로운 분야가 발전하면서 음성에 따라 형태를 바꾸는 타이포그래피의 여러 응용이 어떻게 뻗어나갈지 상상하는 것은 고무적이다.’
처음 2022년 2월 24일에 게시되었습니다.












