반응 GIF는 NLP에서 감정 인식의 새로운 열쇠를 제공합니다

대만의 새로운 연구에서는 텍스트 발표에 대한 응답으로 게시된 애니메이션 GIF를 분류하고 레이블을 지정하여 소셜 미디어 포럼 및 언어 연구 데이터 세트에 대한 감정 분석을 수행하는 자연어 처리(NLP)에 대한 새로운 방법을 제공하고 있습니다.

대만 국립 칭화 대학의 보아즈 슈무엘리(Boaz Shmueli)가 이끄는 연구원들은 트위터에 내장된 반응 GIF 데이터베이스를 지표로 사용하여 사용자 반응의 정서적 상태를 정량화함으로써 여러 언어 응답을 협상할 필요가 없도록 했습니다. 도전 풍자를 감지하거나 모호하거나 지나치게 짧은 응답에서 핵심 감정 온도를 식별합니다.

Twitter 게시물을 작성할 때 'GIF' 버튼을 클릭하면 NLP가 일반 텍스트 언어보다 '식별된' 감정으로 분석하기 더 쉬운 레이블이 지정된 표준 애니메이션 GIF 세트를 제공합니다.

XNUMXD덴탈의 종이 이러한 방식으로 반응 GIF를 사용하는 특징은 다음과 같습니다. '아직 NLP 감정 데이터 세트에서 사용할 수 없는 새로운 유형의 레이블', 그리고 기존 데이터세트는 차원 모델 감정의 이산 감정 모델, 어느 쪽도 이런 종류의 통찰력을 제공하지 않습니다.

사용자 게시물에 대한 애니메이션 GIF 응답입니다. Twitter에서 제공하는 GIF가 감정적 상태로 코드화되면서 의도의 모호성이 거의 제거되었습니다. 출처 : https://arxiv.org/pdf/2105.09967.pdf

연구원들은 데이터 세트 GIF 반응을 포함하는 비꼬는 트윗 30,000개 중 이 접근 방식은 NLP에 현재의 다른 문헌에는 없는 구별을 제공합니다. 감지 된 감정(독자가 텍스트에서 식별하는 감정)에서 유도 된 감정(독자가 텍스트에 대한 반응으로 경험하는 느낌).

환원 지표로서의 반응 GIF

고통스러운 감정 상태를 공유하는 게시물에 대한 지지적 반응 측면에서 적절한 GIF는 뒷받침 텍스트 없이 게시될 때 유용하게 환원주의적이고 의도가 분명합니다(이것이 연구가 집중한 GIF 반응 유형입니다).

예를 들어, 다음과 같은 반응 '잔인하다, 아저씨', '부끄럽다'및 '와우' 특정 '임상' 및 영향을 받지 않은 관점의 가능성에서 빈정거림의 가능성에 이르기까지 의도의 잠재적 모호성을 포함합니다. 그러나 Twitter의 수백 개의 '포옹' 카테고리 GIF 중 하나를 게시하면 해석의 여지가 줄어듭니다.

GIF 반응의 하위 의미로 드릴다운

그럼에도 불구하고 '포옹'과 같은 반응의 단일 범주 내에는 반응자와 원래 포스터 사이의 관계에 대한 낭만적 또는 가족적 가정의 관점을 포함하여 영향을 받은 상태의 여러 장르를 포괄하는 기분 또는 관점에 대한 수많은 추가 지표가 있습니다.

Twitter의 '포옹' GIF 카테고리에서 다양한 유형의 관계를 묘사합니다. 다양한 장르, 비유, 성별 묘사 및 기타 요소를 사용하면 이 감정에 대한 GIF 선택의 잠재적 해석 가능성에 세분화가 추가됩니다.

ReactionGIF 데이터 세트는 Twitter에서 사용 가능한 모든 반응 카테고리의 처음 100개 GIF에서 파생되어 4300개의 애니메이션 이미지 데이터베이스로 이어집니다. GIF가 둘 이상의 범주에 표시되는 경우 GUI에서 더 높은 위치에 있는 범주에 더 높은 가중치가 부여됩니다. 여러 범주에 나타나는 이미지에는 반응 유사성 요인 – 연구를 위해 고안된 메트릭.

그런 다음 계층적 클러스터링 및 평균 연결을 사용하여 친화도를 찾습니다.

반응 GIF 데이터 증강

데이터 세트는 30,000개의 트윗에 대해 이 방법을 적용하여 생성되고 레이블이 지정되었습니다. 반응 범주의 '풍부한 정서적 신호'를 통해 연구원은 긍정적 및 부정적 반응 범주 클러스터를 기반으로 추가 정서적 레이블로 데이터 세트를 확장하고 전용 반응-감정 매핑 스키마로 감정 레이블을 추가할 수 있었습니다. 샘플 트윗에 대한 세 명의 인간 평가자의 다수결.

이전에 일 GIF의 주석을 다루는 Yahoo 및 The University of Rochester에서 제공하는 이 추출 텍스트 계층이나 반응 범주는 없지만 순전히 의미론적입니다.

연구자들은 네 가지 접근 방식을 통해 데이터 세트를 평가했습니다. 로베르타, 컨볼루셔널 신경망(CNN) 글 로베, 로지스틱 회귀 분류기 및 단순 다수 클래스 분류기입니다. 각 범주에 대한 확신의 무게는 결과에서 매우 명확하게 나타납니다. 승인, 동의 및 위로가 가장 식별하기 쉽고(그리고 가장 많이 대표됨) 사과는 아마도 빈정거림의 가능성을 포함하기 때문에 평가하기 가장 어렵습니다.

RoBERTa 모델은 정서적 반응 예측, 유도된 감정 예측 및 유도된 감정 예측으로 구성된 세 가지 평가 방법 모두에서 가장 높은 테스트 순위 평균을 생성했습니다.

반응 GIF에서 사용자 감정 수집

연구원들은 유발된 감정을 식별하는 것이 NLP 기반 감정 및 감정 분석에서 가장 어려운 작업 중 하나이며 반응 GIF를 프록시로 사용하면 이후 프로젝트에서 수집할 가능성을 제공한다는 사실을 관찰합니다. '많은 양의 저렴하고 자연 발생적이며 고품질의 정서적 라벨'.

트위터 사용자 경험에 내장된 GIF의 매우 특정한 위치에 집중하고 있음에도 불구하고 이 연구는 이 방법이 다른 소셜 미디어 플랫폼과 인스턴트 메시징 플랫폼에 일반화될 수 있으며 잠재적으로 감정 인식 및 다중 모드와 같은 부문에서 사용될 수 있다고 주장합니다. 감정 감지.

주요 지표로서의 인기도

이 접근 방식은 GIF가 실제로 트위터 자체 메커니즘을 통해 제공되는 경우와 같이 각 GIF에 대한 특정 '바이럴리티'에 의존하는 것으로 보입니다. 아마도 새로운 사용자 생성 GIF는 인기 증가와 밈으로의 채택을 제외하고는 이 생태계에 들어갈 수 없었을 것입니다.

반응 GIF에는 되살아 난 사용 1987년의 원시적인 애니메이션 GIF 지난 1년 동안 인터넷 VXNUMX 이전 광대역 시대에서 대역폭 호그(주로 성가신 배너 광고에 사용됨)로 평판이 좋지 않은 수년간의 형식.