반응 GIF는 NLP에서 감정 인식을 위한 새로운 열쇠를 제공한다

台湾에서 나온 새로운 연구는 소셜 미디어 포럼과 언어 연구 데이터 세트에서 감정 분석을 수행하기 위해 자연어 처리(NLP)에 새로운 방법을 제공하고 있다. 즉, 애니메이션 GIF를 분류하고 레이블링하여 텍스트 발표에 대한 사용자의 반응의 정서 상태를 양적화하는 것이다.

연구진은 台湾의 National Tsing Hua University의 Boaz Shmueli가 이끌고 있으며, Twitter의 내장 데이터베이스인 반응 GIF를 사용하여 사용자의 반응의 정서 상태를 양적화하는 데 사용했다. 이는 다중 언어 응답을 협상할 필요가 없으며, 사르카즘을 감지하는 문제나 모호하거나 너무 짧은 응답에서 핵심 감정을 식별하는 문제를 피할 수 있다.

Twitter 게시물을 작성할 때 ‘GIF’ 버튼을 클릭하면 레이블이 지정된 애니메이션 GIF가 표시되며 이는 평문 언어보다 NLP에서 해석하기 쉽다.

이 논문은 이러한 방식의 반응 GIF 사용을 ‘NLP 감정 데이터 세트에서 아직 사용할 수 없는 새로운 유형의 레이블’로 특징지으며, 기존 데이터 세트는 차원 모델 또는 이산 감정 모델을 사용하지만, 이러한 종류의 통찰력을 제공하지 않는다고 지적한다.

사용자 게시물을 위한 애니메이션 GIF 응답. Twitter에서 제공하는 GIF가 이제 감정 상태로 코딩되면 의도에 대한 모호성은 거의 제거된다. 출처: https://arxiv.org/pdf/2105.09967.pdf

연구진은 30,000개의 비꼬는 트윗을 포함하는 GIF 반응 데이터 세트를 공개했다. 이 접근법은 현재 문헌에서 부재한 구별을 NLP에 제공한다. 즉, 인식된 감정(텍스트에서 식별된 감정)과 유도된 감정(텍스트에 대한 반응으로 경험되는 감정)을 구별하는 방법이다.

반응 GIF를 감정 인식의 새로운 열쇠로

사용자가 고통스러운 감정 상태를 공유하는 게시물에 대한 지원 응답의 경우, 적절한 GIF는 의도에 있어 유용하게 축약적이고 모호하지 않다(이 연구에서는 이러한 유형의 GIF 응답에 중점을 두었다).

예를 들어, ‘그것은 잔인하다, 남자’, ‘그것은 부끄럽다’, 또는 ‘아ww’와 같은 반응에는 의도에 대한 모호성이 포함될 수 있다. 그러나 Twitter의 수백 개의 ‘拥抱’ 카테고리 GIF 중 하나를 게시하면 해석에 대한 여지가 줄어든다:

반응 GIF의 하위 의미 분석

한 가지 반응 카테고리 내에서, 예를 들어 ‘拥抱’의 경우, 여러 장르, 트로프, 성별 묘사 및 기타 요인을 포함하여 다양한 감정 상태 또는 관점을 나타내는 추가적인 감정 지표가 있다.

Twitter의 사용 가능한 ‘拥抱’ GIF 카테고리에서 다양한 관계의 묘사. 다양한 장르, 트로프, 성별 묘사 및 기타 요인의 사용은 감정의 해석 가능성을 세분화한다.

ReactionGIF 데이터 세트는 Twitter의 모든 사용 가능한 반응 카테고리에서 첫 100개의 GIF에서 파생되었으며, 4300개의 애니메이션 이미지 데이터베이스를 생성했다. 한 가지 GIF가 여러 카테고리에 나타나면 GUI에서 더 높은 위치에 있는 카테고리가 더 높은 가중치를 가진다. 여러 카테고리에 나타나는 이미지에는 반응 유사성 요인이 할당된다. 이는 연구를 위해 발명된 측정치이다.

유사성은 계층적 클러스터링과 평균 연결을 사용하여 발견된다.

반응 GIF 데이터 증강

데이터 세트는 30,000개의 트윗에 대해 생성되고 레이블이 지정되었다. 반응 카테고리의 ‘풍부한 감정 신호’를 사용하여 연구진은 데이터 세트를 추가적인 감정 레이블로 증강시킬 수 있었으며, 이는 양적 및 음적 반응 카테고리 클러스터를 기반으로 하며, 전용 반응-감정 매핑 스키마를 사용하여 감정 레이블을 추가했다. 이는 샘플 트윗에 대한 3명의 인간 평가자의 다수결에 따라 결정되었다.

이전의 연구는 야후와 로체스터 대학교에서 수행되었으며, GIF의 주석을 다루고 있지만, 이 연구와 같은 텍스트를 유발하지도 않고, 반응 카테고리도 없다. 이는 순수하게 의미론적이다.

연구진은 네 가지 접근 방식으로 데이터 세트를 평가했다: RoBERTa, 합성곱 신경망(CNN) GloVe, 로지스틱 회귀 분류기, 및 단순 다수결 분류기. 각 카테고리의 확신의 무게는 결과에서 명확하게 나타난다. 승인, 동의, 위로가 가장 쉽게 식별되며(또한 가장 많이 표현됨), 사과는 가장 어려운 것으로 나타났다. 이는 비꼬는 가능성을 포함한다.

RoBERTa 모델은 세 가지 평가 방법 모두에서最高의 평균 순위를 생성했다. 이는 감정 반응 예측, 유도된 감정 예측, 유도된 감정 예측을 포함한다.

반응 GIF에서 사용자 감정 추출

연구진은 유도된 감정을 식별하는 것이 NLP 기반 감정 및 감정 분석에서 가장 어려운 작업 중 하나이며, 반응 GIF를 프록시로 사용하면 이후 프로젝트에서 ‘大量의 저렴한, 자연적으로 발생하는, 고품질 감정 레이블’을 수집할 수 있는 가능성이 있다.

Twitter 사용자 경험에 내장된 GIF에만 집중하고 있지만, 이 방법은 다른 소셜 미디어 플랫폼, 즉시 메시지 플랫폼 및 감정 인식, 다중 모드 감정 감지와 같은 분야에서 유용할 수 있다고 주장한다.

人気를 주요 지수로

이 접근법은 특정한 ‘바이러스성’을 각 GIF에 의존하는 것으로 보인다. 즉, Twitter의 메커니즘을 통해 실제로 사용할 수 있는 GIF인 경우이다. 새로운 사용자 생성 GIF는 인기와 채택으로 인해 메모로 입증되지 않는 한 이 생태계에 들어올 수 없다.

반응 GIF는 지난 10년 동안 되살아났다. 이는 1987年的 원시적인 애니메이션 GIF 형식을 디지털 문화에서 다시 사용하기 시작했다. 이는 초기 인터넷 혁신과 초고속 인터넷 이전의 인터넷 V1 시대에 주로 번너 광고에 사용된 대역폭 낭비로 인해 명성이 떨어진 후였다.