Un système de recommandation de partenaire amoureux basé uniquement sur les images

Des chercheurs du Royaume-Uni ont utilisé des réseaux de neurones pour développer un système de recommandation entièrement basé sur les images pour les rencontres en ligne, qui ne prend en compte que l’attrait entre deux utilisateurs en fonction de leurs photos de profil (plutôt que les informations de profil telles que le travail, l’âge, etc.), et ont constaté qu’il surpasse les systèmes moins “superficiels” en termes d’obtention d’un accord précis.

Le système résultant est appelé Temporal Image-Based Reciprocal Recommender (TIRR), et utilise des réseaux de neurones récurrents (RNN) pour interpréter les préférences historiques d’un utilisateur pour les visages qu’il rencontre lors de la navigation pour trouver des correspondances potentielles.

L’article est intitulé – peut-être de manière décevante – Les photos sont tout ce dont vous avez besoin pour la recommandation réciproque dans les rencontres en ligne, et provient de deux chercheurs de l’Université de Bristol, améliorant de manière notable un système similaire (appelé ImRec) publié par la même équipe en 2020.

Dans les tests, le système a obtenu une précision de pointe dans sa capacité à prédire les correspondances réciproques entre les utilisateurs, améliorant non seulement le travail des chercheurs de 2020, mais également d’autres systèmes de recommandation de rencontres en ligne basés sur le contenu qui prennent en compte des informations plus détaillées et basées sur le texte dans les profils de rencontres.

Jeux de données de rencontres en ligne

TIRR a été formé à partir d’informations utilisateur fournies par un service de rencontres en ligne populaire non nommé avec plusieurs millions d’utilisateurs enregistrés, qui n’autorise les utilisateurs à communiquer les uns avec les autres qu’une fois que chacun a « aimé » le profil de l’autre. Le sous-ensemble de données utilisé comprenait 200 000 sujets, répartis à parts égales entre hommes et femmes, et environ 800 000 préférences exprimées par les utilisateurs à travers tous les profils de rencontres.

Puisque le service de rencontres en ligne anonyme fournissant les données ne prend en charge que les correspondances hétérosexuelles, seules les correspondances entre hommes et femmes ont été couvertes dans la recherche.

TIRR améliore les conceptions de systèmes de recommandation réciproque (RRS) précédents dans ce domaine en calculant directement la probabilité d’une correspondance entre deux profils, sur la base uniquement des images de profil. Les systèmes précédents prédisaient deux préférences unidirectionnelles, puis les agrégeaient pour obtenir une prédiction.

Les chercheurs ont exclu les utilisateurs qui avaient été supprimés du service de rencontres (pour quelque raison que ce soit, y compris avoir quitté volontairement), et ont exclu les profils qui ne contenaient pas de photos basées sur les visages.

Les historiques des utilisateurs ont été limités à un an, afin d’éviter les anomalies potentielles qui pourraient survenir au fil du temps, car le site de rencontres ajustait ses algorithmes. Ils ont également été limités à un maximum de 15 préférences utilisateur, car celles-ci ont été démontrées comme suffisantes pour prouver la conception du modèle, tandis que l’utilisation plus extensive des préférences dégradait les performances et augmentait les temps de formation.

De plus, certains des utilisateurs les plus avides ou les plus anciens avaient des historiques avec des milliers de préférences, ce qui aurait pu risquer de fausser le poids des fonctionnalités obtenues et de prolonger encore les temps de formation.

Réseau siamois

TIRR est formulé à l’aide d’un réseau siamois, généralement utilisé pour l’‘apprentissage à un seul exemple’.

Un réseau siamois modèle, où des réseaux de neurones convolutionnels (CNN) parallèles partagent des poids mais pas de données. Ils partagent également une fonction de perte dérivée des sorties de chaque CNN, et une étiquette de vérité de base.  Source: https://arxiv.org/pdf/2108.11714.pdf

Le réseau a été formé à l’aide de l’entropie croisée binaire, une fonction de perte commune dans les réseaux de neurones, et que les chercheurs ont constaté donner de meilleurs résultats par rapport à la perte contrastive. Cette dernière est la plus efficace dans les systèmes qui évaluent la parité entre deux visages, mais comme ce n’est pas l’objectif de TIRR, c’est une approche qui se révèle peu performante dans ce contexte.

Il est nécessaire pour le système de conserver et de développer les informations qu’il élabore au fur et à mesure que la formation itère plusieurs fois sur les mêmes données, et le réseau siamois de TIRR utilise un LSTM (Long Term Short-Term Memory) pour prendre ces décisions, et pour s’assurer que les fonctionnalités considérées comme pertinentes ne sont pas rejetées de manière aléatoire au fur et à mesure que le cadre élabore ses connaissances.

L’architecture spécifique du réseau siamois pour TIRR.

Les chercheurs ont constaté que le réseau se formait très lentement lorsque toutes les données étaient saisies, et ont ensuite divisé la formation en trois étapes à l’aide de trois sous-ensembles de données différents. Il y a un avantage supplémentaire dans cela, car les expériences de 2020 des chercheurs avaient déjà démontré que la formation des ensembles de données masculins et féminins séparément améliore les performances d’un système de recommandation réciproque.

La ventilation des sessions de formation distinctes pour le réseau siamois de TIRR.

Tests

Pour évaluer les performances de TIRR, les chercheurs ont conservé une partie des données obtenues et l’ont passée dans le système entièrement convergé. Cependant, comme le système est tout à fait nouveau, il n’y a pas de systèmes antérieurs directement analogues auxquels il pourrait être comparé.

Par conséquent, les chercheurs ont d’abord établi une courbe de caractéristique de récepteur (ROC) pour le réseau siamois, avant d’utiliser l’approximation et la projection d’Uniform Manifold pour la réduction de dimensionnalité (UMAP) pour réduire les vecteurs de 128 dimensions pour une visualisation facile, afin d’établir un flux cohérent de « j’aime » et de « je n’aime pas ».

À gauche, la ROC du réseau siamois en tant qu’indicateur de base de performance; à droite, la visualisation UMAP montre les « j’aime » en rouge, les « je n’aime pas » en noir.

TIRR a été testé contre des systèmes de filtrage collaboratif et des systèmes basés sur le contenu avec une portée similaire, y compris le travail précédent des chercheurs ImRec (voir ci-dessus), et RECON, un RRS de 2010, ainsi que les algorithmes de filtrage collaboratif RCF (un système de recommandation de rencontres basé sur le contenu textuel des profils de rencontres de 2015) et LFRR (un projet similaire de 2019).

Dans tous les cas, TIRR a été en mesure d’offrir une précision supérieure, bien que marginalement par rapport à LFRR, ce qui pourrait indiquer des facteurs de corrélation entre le contenu textuel des profils et le niveau de attractivité perçu des photos de profil des sujets.

La quasi-parité entre TIRR basé sur les images et LFRR plus basé sur le texte permet d’au moins deux possibilités: que la perception des utilisateurs de l’attractivité visuelle soit influencée par le contenu textuel des profils; ou que le contenu textuel reçoive plus d’attention et d’approbation qu’il n’aurait pu en être autrement si la photo associée n’avait pas été perçue comme attirante.

Pour des raisons évidentes, l’équipe de recherche n’est pas en mesure de publier le jeu de données ou le code source de TIRR, mais encourage d’autres équipes à dupliquer et à confirmer leur approche.

n.b Les images utilisées dans l’illustration principale sont de thispersondoesnotexist.com.