이미지만으로 하는 AI 소울메이트 추천 시스템

영국 연구진은 신경망을 사용하여 온라인 데이트 매칭에 대한 완전히 이미지 기반의 추천 시스템을 개발했으며, 사용자의 프로필 정보(직업, 나이 등)를 고려하지 않고 두 사용자가 서로의 사진에 끌리는지 여부만을 고려하여 개발했습니다. 그리고 이러한 시스템이 더 ‘표면적’이지 않은 시스템보다 정확한 매칭을 얻는 데 더 잘 작동한다는 것을 발견했습니다.

결과물은 Temporal Image-Based Reciprocal Recommender(TIRR)라고 불리며, 사용자가 잠재적인 매칭을 찾을 때 만나는 얼굴에 대한 사용자의 역사적인 선호도를 해석하기 위해 순환 신경망(RNN)을 사용합니다.

연구 논문은 온라인 데이트에서 상호 추천을 위한 사진은 모두 필요하다라고 제목을 붙였으며, 브리스톨 대학의 두 연구자에 의해 작성되었으며, 2020년에 같은 팀이 발표한 시스템(ImRec)보다 크게 개선되었습니다.

테스트에서 시스템은 사용자 간의 상호 매칭을 예측하는 능력에서 최첨단 정확도를 달성했으며, 2020년 연구와 다른 콘텐츠 기반의 온라인 데이트 상호 추천 시스템보다 더 나은 성능을 보였습니다.

실세계 데이팅 데이터셋

TIRR은 여러 백만 명의 등록 사용자를 보유한 익명 온라인 데이트 서비스에서 제공한 사용자 정보로 훈련되었습니다. 사용된 데이터 하위 집합에는 200,000명의 대상자(남녀 각각 50%)와 약 80만 개의 사용자 표현된 선호도가 포함되어 있습니다.

데이터를 제공한 익명 데이트 서비스는 사용자가 서로의 프로필을 좋아요 누른 후에만 서로에게 메시지를 보낼 수 있으므로 연구에서는 남녀 매칭만을 다루었습니다.

TIRR은 두 프로필 간의 매칭 확률을 이미지만으로 직접 계산하여 이전의 상호 추천 시스템(RRS) 설계를 개선했습니다. 이전 시스템은 두 개의 일방적인 선호도를 예측한 후에 예측을 얻기 위해 집계했습니다.

연구진은 서비스에서 제거된 사용자(任意 이유로)와 얼굴 기반 사진이 없는 프로필을 제외했습니다.

사용자 기록은 1년 전으로 제한되었으며, 이는 데이트 사이트가 알고리즘을 시간이 지남에 따라 수정할 수 있는 잠재적인 비정상성을 피하기 위함입니다. 또한 15개의 사용자 선호도만을 사용했으며, 이는 모델 설계를 입증하는 데 충분했으며, 더 많은 선호도를 사용하면 성능이 저하되고 훈련 시간이 길어졌습니다.

일부 열성적인 사용자나 장기 사용자는 수천 개의 선호도를 보유하고 있었으며, 이는 얻어진 특징의 가중치를歪める 위험과 훈련 시간을 더 길게 할 수 있습니다.

시에메스 네트워크

TIRR은 일반적으로 원샷 학습에 사용되는 시에메스 네트워크를 사용합니다.

병렬 CNN이 가중치를 공유하지만 데이터는 공유하지 않는 템플릿 시에메스 네트워크. 또한 두 CNN의 출력에서 파생된 손실 함수와 지상 真値 레이블을 공유합니다. 출처: https://arxiv.org/pdf/2108.11714.pdf

네트워크는 이진 교차 엔트로피를 사용하여 훈련되었으며, 이는 신경망에서 일반적인 손실 함수입니다. 연구진은 이 함수가 대조 손실보다 더 나은 결과를 제공한다고发现했습니다. 대조 손실은 두 얼굴의 평등성을 평가하는 시스템에서 효과적이지만, TIRR의 목적이 아니므로 이러한 접근법은 이 контекст에서 성능이 좋지 않습니다.

시스템은 훈련 데이터에 여러 번 반복적으로 접근하면서 정보를 유지하고 축적해야 하므로, TIRR의 시에메스 네트워크는 이러한 결정과 관련된 특징을 버리지 않도록 LSTM(장기 단기 메모리) 네트워크를 사용합니다.

TIRR의 특정 시에메스 네트워크 아키텍처

연구진은 모든 데이터를 입력했을 때 네트워크가 매우 느리게 훈련된다는 것을 발견했으며, 훈련을 세 단계로 나누어 다른 데이터 하위 집합을 사용했습니다. 또한 2020년 실험에서 이미男性과 여성 데이터셋을 별도로 훈련하면 상호 추천 시스템의 성능이 개선된다는 것을 보여주었습니다.

TIRR의 시에메스 네트워크를 위한 별도의 훈련 세션 분할

테스트

TIRR의 성능을 평가하기 위해, 연구진은 얻은 데이터의 일부를 따로 두고 완전히 수렴된 시스템을 통해 실행했습니다. 그러나 시스템이 상당히 새로운 것이므로, 직접 비교할 수 있는 이전 시스템이 없습니다.

따라서 연구진은 먼저 시에메스 네트워크를 위한 수신자 운영 특성 곡선(ROC) 기준선을 설정했습니다. 그리고 차원 감소를 위한 Uniform Manifold Approximation and Projection(UMAP)을 사용하여 128차원 벡터를 쉽게 시각화할 수 있도록 줄였습니다. 이를 통해好き와 싫음의 일관된 흐름을 설정했습니다.

왼쪽: 시에메스 네트워크의 ROC 기준선; 오른쪽: UMAP 시각화는好き를 빨강, 싫음을 검은색으로 표시합니다.

TIRR은 협력 필터링과 콘텐츠 기반 시스템과 비교되었으며, 이는 연구진의 이전 연구인 ImRec(위 참조)와 2010년의 RECON, 그리고 협력 필터링 알고리즘인 2015년의 RCF와 2019년의 LFRR를 포함합니다.

모든 경우에서 TIRR은 더 나은 정확도를 제공했으며, 특히 LFRR과 비교했을 때 약간의 차이를 보였습니다. 이는 프로필 텍스트 콘텐츠와 프로필 사진의 매력도 인식 사이에 상관관계가 있을 수 있습니다.

TIRR과 더 텍스트 기반의 LFRR 사이의 거의 동일한 성능은 두 가지 가능성을 제시합니다. 사용자의 시각적 매력도 인식은 프로필 텍스트 콘텐츠에 의해 영향을 받을 수 있습니다. 또는 프로필 텍스트 콘텐츠는 프로필 사진이 매력적이지 않더라도 더 많은 주의와赞賞을 받을 수 있습니다.

명백한 이유로 인해, 연구 팀은 TIRR의 데이터셋이나 소스 코드를 공개할 수 없습니다. 그러나 다른 팀에 의해 접근 방식이 복제되고 확인되기를鼓励합니다.

참고: 주요 일러스트레이션에 사용된 이미지는 thispersondoesnotexist.com에서 가져왔습니다.