Ein AI Soulmate-Empfehlungssystem, das nur auf Bildern basiert

Forscher aus Großbritannien haben mithilfe neuronaler Netzwerke ein vollständig auf Bildern basierendes Empfehlungssystem für Online-Dating-Partnerschaften entwickelt, das nur berücksichtigt, ob sich zwei Benutzer von den Fotos des jeweils anderen angezogen fühlen oder nicht (und nicht von Profilinformationen wie Beruf, Alter usw.). Sie haben festgestellt, dass es weniger „oberflächlichen“ Systemen in Bezug auf die Erzielung einer genauen Übereinstimmung überlegen ist.

Das daraus resultierende System heißt Temporal Image-Based Reciprocal Recommender (TIRR) und verwendet Recurrent Neural Networks (RNNs), um die historische Vorliebe eines Benutzers für Gesichter zu interpretieren, die ihm beim Durchsuchen der Suche nach potenziellen Übereinstimmungen begegnen.

Die Krepppapier hat den Anspruch – vielleicht entmutigend – Fotos sind alles, was Sie für eine gegenseitige Empfehlung beim Online-Dating benötigen, und stammt von zwei Forschern an der Universität Bristol, die ein ähnliches System (genannt ImRec), veröffentlicht vom selben Team im Jahr 2020.

In Tests erreichte das System die höchste Genauigkeit seiner Vorhersagefähigkeit wechselseitig Übereinstimmungen zwischen Benutzern, was nicht nur eine Verbesserung gegenüber der Arbeit der Forscher aus dem Jahr 2020 darstellt, sondern auch gegenüber anderen inhaltsbasierten Dating-Empfehlungssystemen, die detailliertere, textbasierte Informationen in Dating-Profilen berücksichtigen.

Dating-Datensatz aus der realen Welt

TIRR wurde anhand von Nutzerdaten eines anonymen, „populären“ Online-Dating-Dienstes mit „mehreren Millionen registrierten Nutzern“ trainiert. Dieser Dienst erlaubt Nutzern die Kommunikation erst, wenn jeder das Profil des anderen „geliked“ hat. Die verwendete Datenmenge umfasste 200,000 Probanden, gleichmäßig verteilt auf Männer und Frauen, sowie rund 800,000 Nutzerpräferenzen in allen Dating-Profilen.

Da der anonyme Dating-Dienst, der die Daten bereitstellt, nur heterosexuelle Matches unterstützt, wurden in der Untersuchung nur Matches zwischen Männern und Frauen berücksichtigt.

TIRR verbessert frühere Entwürfe reziproker Empfehlungssysteme (RRS) in diesem Bereich, indem es die Wahrscheinlichkeit einer Übereinstimmung zwischen zwei Profilen direkt berechnet, und zwar ausschließlich auf der Grundlage von Profilbildern. Frühere Systeme sagten stattdessen zwei unidirektionale Präferenzen voraus und aggregierten sie dann, um eine Vorhersage zu erhalten.

Die Forscher schlossen Benutzer aus, die aus dem Dating-Dienst entfernt wurden (aus irgendeinem Grund, einschließlich freiwilligem Verlassen), und schlossen Profile aus, die keine gesichtsbasierten Fotos enthielten.

Die Benutzerhistorien wurden auf ein Jahr zurück begrenzt, um potenzielle Anomalien zu vermeiden, die auftreten könnten, wenn die Dating-Site ihre Algorithmen im Laufe der Zeit optimierte. Sie waren außerdem auf maximal 15 Benutzerpräferenzen beschränkt, da sich diese als ausreichend zum Nachweis des Modelldesigns erwiesen, während eine umfassendere Nutzung von Präferenzen die Leistung verschlechterte und die Trainingszeiten verlängerte.

Darüber hinaus hatten einige der eifrigeren oder langjährigen Benutzer eine Vorgeschichte mit Tausende von Präferenzen, die das Gewicht der erhaltenen Merkmale verzerren und die Trainingszeiten weiter verlängern könnten.

Siamesisches Netzwerk

TIRR wird mit a formuliert Siamesisches Netzwerk, typischerweise verwendet für „One-Shot“-Lernen.

Ein siamesisches Vorlagennetzwerk, in dem parallele Convolutional Neural Networks (CNNs) Gewichte, aber keine Daten teilen. Sie teilen außerdem eine aus den Ausgaben jedes CNN abgeleitete Verlustfunktion und ein Ground-Truth-Label.  Quelle: https://arxiv.org/pdf/2108.11714.pdf

Das Netzwerk wurde mithilfe der binären Kreuzentropie trainiert, einer häufigen Verlustfunktion in neuronalen Netzwerken, von der die Forscher herausfanden, dass sie im Vergleich zu ihr bessere Ergebnisse liefert KontrastverlustLetzteres ist in Systemen am effektivsten, die die Parität zwischen zwei Gesichtern auswerten, aber da dies nicht das Ziel von TIRR ist, ist die Leistung dieses Ansatzes in diesem Kontext schlecht.

Es ist notwendig, dass das System die Informationen, die es entwickelt, während das Training viele Male über dieselben Daten iteriert, behält und darauf aufbaut. Das siamesische Netzwerk in TIRR verwendet ein LSTM (Long Term Short-Term Memory)-Netzwerk, um diese Entscheidungen zu treffen und sicherzustellen, dass als relevant erachtete Funktionen nicht ad hoc verworfen werden, während das Framework seine Erkenntnisse aufbaut.

Die spezifische siamesische Netzwerkarchitektur für TIRR.

Die Forscher stellten fest, dass das Netzwerk sehr langsam trainierte, wenn alle Daten eingegeben waren. Anschließend teilten sie das Training in drei Phasen auf, wobei drei verschiedene Teilmengen der Daten verwendet wurden. Dies bietet einen weiteren Vorteil, da die Experimente der Forscher aus dem Jahr 2020 bereits gezeigt hatten, dass das separate Training der männlichen und weiblichen Datensätze die Leistung eines reziproken Empfehlungssystems verbessert.

Die Aufschlüsselung der einzelnen Schulungssitzungen für das siamesische Netzwerk von TIRR.

Tests

Um die Leistung von TIRR zu bewerten, haben die Forscher einen Teil der erhaltenen Daten zurückbehalten und durch das vollständig konvergierte System laufen lassen. Da das System jedoch recht neuartig ist, gibt es keine direkt analogen Vorgängersysteme, mit denen es verglichen werden könnte.

Daher erstellten die Forscher zunächst eine Receiver Operating Characteristic Curve (ROC) Basislinie für das siamesische Netzwerk, bevor Uniform Manifold Approximation and Projection zur Dimensionsreduktion verwendet wird (UMAP), um die 128-dimensionalen Vektoren für eine einfache Visualisierung zu verkleinern und einen kohärenten Fluss von Vorlieben und Abneigungen zu schaffen.

Links der ROC des siamesischen Netzwerks als Basisindikator für die Leistung; rechts zeigt die UMAP-Visualisierung „Likes“ in Rot und „Dislikes“ in Schwarz.

TIRR wurde mit kollaborativen Filtersystemen und inhaltsbasierten Systemen mit ähnlichem Anwendungsbereich verglichen, darunter auch mit der früheren Arbeit der Forscher, ImRec (siehe oben), und RECON, ein RRS aus dem Jahr 2010, sowie die kollaborativen Filteralgorithmen RCF (ein Dating-RRS aus dem Jahr 2015, basierend auf Textinhalten von Dating-Profilen) und LFRR (ein ähnliches Projekt aus dem Jahr 2019).

In allen Fällen konnte TIRR eine höhere Genauigkeit bieten, wenn auch nur geringfügig im Vergleich zu LFRR, was möglicherweise auf korrelierende Faktoren zwischen dem Profiltextinhalt und der wahrgenommenen Attraktivität der Profilfotos der Probanden hindeutet.

Die nahezu Gleichwertigkeit zwischen dem bildbasierten TIRR und dem eher textbasierten LFRR lässt mindestens zwei Möglichkeiten zu: Entweder wird die Wahrnehmung der visuellen Attraktivität durch die Benutzer durch den Textinhalt der Profile beeinflusst; oder der Textinhalt erfährt mehr Aufmerksamkeit und Zustimmung, als dies der Fall gewesen wäre, wenn das zugehörige Bild nicht als attraktiv empfunden worden wäre.

Aus offensichtlichen Gründen ist das Forschungsteam nicht in der Lage, den Datensatz oder Quellcode für TIRR freizugeben, ermutigt aber andere Teams, ihren Ansatz zu duplizieren und zu bestätigen.

Hinweis: Die in der Hauptillustration verwendeten Bilder stammen von thispersondoesnotexist.com.