画像のみを使用したAIソウルメイトレコメンダーシステム

英国の研究者は、ニューラルネットワークを使用して、オンラインデートのマッチングにのみ画像を使用するレコメンダーシステムを開発しました。システムは、ユーザーのプロフィール情報（職業、年齢など）ではなく、ユーザーが相手の写真に惹かれるかどうかのみを考慮してマッチングを行います。研究者は、このシステムがより「浅い」システムよりも高い精度でマッチングを行うことができることを発見しました。

システムは、Temporal Image-Based Reciprocal Recommender（TIRR）と呼ばれ、Recurrent Neural Networks（RNNs）を使用して、ユーザーの過去の画像に対する好みを解釈します。

論文は、Photos Are All You Need for Reciprocal Recommendation in Online Datingと題されており、ブリストル大学の2人の研究者によって書かれました。このシステムは、2020年に同チームによって発表されたImRecシステムを大幅に改善しています。

実験では、システムは、ユーザー間の相互的なマッチングを予測する能力で、最先端の精度を達成しました。これは、研究者の2020年の研究だけでなく、他のコンテンツベースのデートレコメンダーシステムよりも優れています。

リアルワールドデーティングデータセット

TIRRは、数百万人のユーザーを持つオンラインデーティングサービスから提供されたユーザー情報でトレーニングされました。使用されたデータセットは、20万人のユーザー（男女均等）と、約80万のユーザーが表示した好みで構成されていました。

提供されたデータは、ユーザーが相手のプロフィールに「いいね」を付けるまで、ユーザー同士が通信できないため、研究では男女のマッチングのみが扱われました。

TIRRは、以前のレシプロカルレコメンダーシステム（RRS）設計を改善し、プロフィール画像のみを使用してマッチングの確率を直接計算します。以前のシステムは、2つのユーザーの好みを予測し、それらを組み合わせてマッチングを予測していました。

研究者は、サービスから削除されたユーザー（任意の理由で）と、顔の写真を含まないプロフィールを除外しました。

ユーザーの履歴は、1年以内に限定され、サービスがアルゴリズムを変更した場合に発生する可能性のある異常を避けるために、最大15件のユーザーの好みに限定されました。

一部のユーザーには、数千件の好みの履歴があり、特徴の重み付けを歪める可能性があり、トレーニング時間を長くする可能性がありました。

シームレスネットワーク

TIRRは、シームレスネットワークを使用して構成されています。これは、通常、ワンショット学習に使用されます。

シームレスネットワークのテンプレート。並列のCNNが重みを共有しているが、データは共有していない。さらに、各CNNの出力から導かれた損失関数と、真のラベルを共有している。 ソース：https://arxiv.org/pdf/2108.11714.pdf

ネットワークは、バイナリクロスエントロピーを使用してトレーニングされました。これは、ニューラルネットワークでよく使用される損失関数です。研究者は、コントラストロスよりも優れた結果を得られたと報告しています。コントラストロスは、2つの顔の同一性を評価するシステムで最も効果的ですが、TIRRの目的と一致していないため、このアプローチはこのコンテキストでは効果が低いと考えられます。

システムは、トレーニングプロセスで得られた情報を保持し、構築する必要があります。TIRRのシームレスネットワークは、LSTM（Long Term Short-Term Memory）ネットワークを使用して、これらの決定を下し、関連する特徴がランダムに破棄されないようにします。

TIRRの特定のシームレスネットワークアーキテクチャ

研究者は、すべてのデータを入力するとネットワークが非常に遅くトレーニングされることを発見し、トレーニングを3つのステージに分割し、3つの異なるデータサブセットを使用しました。さらに、2020年の実験では、男性と女性のデータセットを個別にトレーニングすることで、レシプロカルレコメンダーシステムの性能が向上することが示されました。

TIRRのシームレスネットワークのトレーニングセッションの分解

テスト

TIRRの性能を評価するために、研究者は取得したデータの一部を別に保留し、完全に収束したシステムで実行しました。しかし、システムは非常に新しいため、直接比較できる以前のシステムはありません。

したがって、研究者はまず、ROC（Receiver Operating Characteristic）曲線を使用してシームレスネットワークのベースラインを確立しました。次に、UMAP（Uniform Manifold Approximation and Projection for Dimensionality Reduction）を使用して、128次元のベクトルを簡単に視覚化できるようにし、好みと不満の流れを確立しました。

左側：シームレスネットワークのROC曲線（ベースライン性能指標）。右側：UMAP視覚化（好みは赤、不満は黒）

TIRRは、コラボラティブフィルタリングとコンテンツベースのシステムと比較されました。これらのシステムには、研究者の以前の研究であるImRec（上記参照）や、2010年のRECON、2015年のRCF（テキストコンテンツに基づくデーティングレコメンダーシステム）および2019年のLFRR（同様のプロジェクト）があります。

すべてのケースで、TIRRは優れた精度を示しましたが、LFRRとはわずかに異なり、プロフィールテキストコンテンツと写真の魅力性の認識の間に関連性がある可能性が示唆されました。

TIRRとLFRRのほぼ同等の性能は、少なくとも2つの可能性を示唆しています。ユーザーがプロフィールのテキストコンテンツに基づいて写真の魅力性を認識している可能性があります。あるいは、プロフィール写真が魅力的だと認識されない場合、テキストコンテンツはより多くの注意と評価を受ける可能性があります。

明らかな理由により、研究チームはTIRRのデータセットやソースコードを公開できませんが、他のチームにアプローチを複製して確認することを奨励しています。

n.b メインイラストレーションで使用されている画像は、thispersondoesnotexist.comからです。