Ein AI-Soulmate-Empfehlungssystem, das ausschließlich auf Bildern basiert

Forscher aus dem Vereinigten Königreich haben neuronale Netze verwendet, um ein vollständig auf Bildern basierendes Empfehlungssystem für Online-Dating-Matches zu entwickeln, das nur berücksichtigt, ob zwei Benutzer sich gegenseitig zu ihren Fotos hingezogen fühlen (und nicht zu Profilinformationen wie Job, Alter usw.), und haben festgestellt, dass es weniger “oberflächliche” Systeme in Bezug auf die Erzielung eines genauen Matches übertrifft.

Das resultierende System heißt Temporal Image-Based Reciprocal Recommender (TIRR) und verwendet rekurrente neuronale Netze (RNNs), um die historische Vorliebe eines Benutzers für Gesichter zu interpretieren, die er beim Durchsuchen von potenziellen Matches trifft.

Die Studie trägt den Titel – vielleicht entmutigend – Fotos sind alles, was man für eine wechselseitige Empfehlung im Online-Dating benötigt und stammt von zwei Forschern der Universität Bristol, die eine ähnliche Studie (genannt ImRec) im Jahr 2020 veröffentlichten.

In Tests erreichte das System eine Spitzenleistung bei der Vorhersage von wechselseitigen Matches zwischen Benutzern, wobei es nicht nur die Arbeit der Forscher aus dem Jahr 2020 übertraf, sondern auch andere inhaltsbasierte Dating-Empfehlungssysteme, die detailliertere, textbasierte Informationen in Dating-Profilen berücksichtigen.

Realwelt-Dating-Datensatz

TIRR wurde mit Benutzerinformationen trainiert, die von einem nicht genannten ‘beliebten’ Online-Dating-Service mit ‘mehreren Millionen registrierten Benutzern’ bereitgestellt wurden, der es Benutzern nur erlaubt, miteinander zu kommunizieren, wenn jeder das Profil des anderen ‘geliked’ hat. Der verwendete Datensatz umfasste 200.000 Teilnehmer, aufgeteilt auf Männer und Frauen, und etwa 800.000 von den Benutzern ausgedrückte Präferenzen über alle Dating-Profile hinweg.

Da der anonyme Dating-Service, der die Daten bereitstellte, nur heterosexuelle Matches unterstützt, wurden in der Studie nur männlich-weibliche Matches abgedeckt.

TIRR verbessert frühere reziproke Empfehlungssysteme (RRS) in diesem Bereich, indem es direkt die Wahrscheinlichkeit eines Matches zwischen zwei Profilen berechnet, basierend allein auf Profilbildern. Frühere Systeme haben stattdessen zwei einseitige Präferenzen vorhergesagt und diese dann aggregiert, um eine Vorhersage zu erhalten.

Die Forscher schlossen Benutzer aus, die vom Dating-Service entfernt worden waren (aus welchem Grund auch immer, einschließlich freiwilligem Verlassen), und schlossen Profile aus, die keine gesichtsbasierten Fotos enthielten.

Die Benutzerhistorien wurden auf ein Jahr zurück beschränkt, um potenzielle Anomalien zu vermeiden, die auftreten könnten, wenn der Dating-Service seine Algorithmen im Laufe der Zeit änderte. Sie wurden auch auf maximal 15 Benutzerpräferenzen beschränkt, da diese als ausreichend erwiesen wurden, um das Modell zu beweisen, während eine umfassendere Verwendung von Präferenzen die Leistung verschlechterte und die Trainingszeit verlängerte.

Darüber hinaus hatten einige der engagierteren oder langfristigen Benutzer Historien mit Tausenden von Präferenzen, die das Gewicht der erhaltenen Merkmale verzerren und die Trainingszeit weiter verlängern könnten.

Siamese-Netzwerk

TIRR wird mit einem Siamese-Netzwerk formuliert, das normalerweise für ‘One-Shot’-Lernen verwendet wird.

Ein Siamese-Netzwerk-Vorlage, bei dem parallele Convolutional Neural Networks (CNNs) Gewichte teilen, aber nicht Daten. Sie teilen auch eine Verlustfunktion, die aus den Ausgaben jedes CNN abgeleitet wird, und eine Ground-Truth-Bezeichnung.  Quelle: https://arxiv.org/pdf/2108.11714.pdf

Das Netzwerk wurde mit binärer Kreuzentropie trainiert, einer gängigen Verlustfunktion in neuronalen Netzen, und die Forscher fanden, dass es bessere Ergebnisse lieferte als kontrastiver Verlust. Letzterer ist am effektivsten in Systemen, die die Parität zwischen zwei Gesichtern bewerten, aber da dies nicht das Ziel von TIRR ist, ist es ein Ansatz, der in diesem Kontext schlecht abschneidet.

Es ist notwendig, dass das System Informationen behält und aufbaut, die es während der Trainingsiterationen über die gleichen Daten entwickelt, und das Siamese-Netzwerk in TIRR verwendet ein LSTM (Long Term Short-Term Memory)-Netzwerk, um diese Entscheidungen zu treffen und sicherzustellen, dass relevante Merkmale nicht ad hoc verworfen werden, während die Architektur ihre Erkenntnisse aufbaut.

Die spezifische Siamese-Netzwerk-Architektur für TIRR.

Die Forscher fanden heraus, dass das Netzwerk sehr langsam trainiert wurde, als alle Daten eingegeben wurden, und trennten das Training daher in drei Stufen mit drei verschiedenen Teilmengen der Daten. Es gibt auch einen zusätzlichen Vorteil darin, da die Experimente der Forscher aus dem Jahr 2020 bereits gezeigt hatten, dass das Training der männlichen und weiblichen Datensätze getrennt die Leistung eines reziproken Empfehlungssystems verbessert.

Die Aufteilung der separaten Trainingsphasen für TIRRs Siamese-Netzwerk.

Testen

Um die Leistung von TIRR zu bewerten, behielten die Forscher einen Teil der erhaltenen Daten zurück und führten sie durch das vollständig konvergierte System. Da das System jedoch sehr neu ist, gibt es keine direkt vergleichbaren vorherigen Systeme, mit denen es verglichen werden könnte.

Daher erstellten die Forscher zunächst eine Receiver-Operating-Characteristic-Kurve (ROC) als Basis für das Siamese-Netzwerk, bevor sie die Uniform-Manifold-Approximation- und -Projektion für die Dimensionalitätsreduktion (UMAP) verwendeten, um die 128-dimensionalen Vektoren für eine einfache Visualisierung zu reduzieren, um einen kohärenten Fluss von Likes und Dislikes zu etablieren.

Links die ROC des Siamese-Netzwerks als Basisindikator für die Leistung; rechts zeigt die UMAP-Visualisierung ‘Likes’ in rot, ‘Dislikes’ in schwarz.

TIRR wurde gegen kollaboratives Filtern und inhaltsbasierte Systeme mit einem ähnlichen Umfang getestet, einschließlich der vorherigen Arbeit der Forscher ImRec (siehe oben) und RECON, ein RRS aus dem Jahr 2010, sowie die kollaborativen Filteralgorithmen RCF (ein Dating-RRS aus dem Jahr 2015, das auf Textinhalten von Dating-Profilen basiert) und LFRR (ein ähnliches Projekt aus dem Jahr 2019).

In allen Fällen konnte TIRR eine höhere Genauigkeit bieten, wenn auch nur marginal im Vergleich zu LFRR, was möglicherweise auf korrelierende Faktoren zwischen Profiltextinhalt und der wahrgenommenen Attraktivität der Profilfotos der Teilnehmer hinweist.

Die fast-Parität zwischen dem bildbasierten TIRR und dem textbasierten LFRR ermöglicht mindestens zwei Möglichkeiten: dass die Wahrnehmung der visuellen Attraktivität durch die Textinhalte der Profile beeinflusst wird; oder dass Textinhalte mehr Aufmerksamkeit und Zustimmung erhalten, als wenn das zugehörige Bild nicht als attraktiv wahrgenommen worden wäre.

Aus offensichtlichen Gründen kann das Forschungsteam den Datensatz oder den Quellcode für TIRR nicht veröffentlichen, ermutigt jedoch andere Teams, ihren Ansatz zu duplizieren und zu bestätigen.

Hinweis: Die in der Hauptabbildung verwendeten Bilder stammen von thispersondoesnotexist.com.