Ein AI Soulmate-Empfehlungssystem, das nur auf Bildern basiert

Forscher aus dem Vereinigten Königreich haben mithilfe neuronaler Netze ein vollständig bildbasiertes Empfehlungssystem für Online-Dating-Matches entwickelt, das nur berücksichtigt, ob zwei Benutzer von den Fotos des anderen angezogen werden oder nicht (anstelle von Profilinformationen wie Job, Alter usw.). ) und haben herausgefunden, dass es weniger „flache“ Systeme hinsichtlich der Erzielung einer genauen Übereinstimmung übertrifft.

Das resultierende System heißt Temporal Image-Based Reciprocal Recommender (TIRR) und nutzt wiederkehrende neuronale Netze (RNNs), um die historische Vorliebe eines Benutzers für Gesichter zu interpretieren, auf die er oder sie beim Suchen nach potenziellen Übereinstimmungen stößt.

Das Krepppapier hat den Anspruch – vielleicht entmutigend – Fotos sind alles, was Sie für eine gegenseitige Empfehlung beim Online-Dating benötigen, und stammt von zwei Forschern an der Universität Bristol, die ein ähnliches System (genannt ImRec), veröffentlicht vom selben Team im Jahr 2020.

In Tests erreichte das System die höchste Genauigkeit seiner Vorhersagefähigkeit wechselseitig Übereinstimmungen zwischen Benutzern, was nicht nur die Arbeit der Forscher im Jahr 2020 verbessert, sondern auch andere inhaltsbasierte Dating-Reziprokempfehlungssysteme, die detailliertere, textbasierte Informationen in Dating-Profilen berücksichtigen.

Dating-Datensatz aus der realen Welt

TIRR wurde anhand von Benutzerinformationen geschult, die von einem namentlich nicht genannten „beliebten“ Online-Dating-Dienst mit „mehreren Millionen registrierten Benutzern“ bereitgestellt wurden, der es den Benutzern erst dann ermöglicht, miteinander zu kommunizieren, wenn jeder das Profil des anderen „geliked“ hat. Die verwendete Teilmenge der Daten umfasste 200,000 Probanden, die gleichmäßig zwischen Männern und Frauen aufgeteilt waren, und etwa 800,000 von Benutzern geäußerte Präferenzen über alle Dating-Profile hinweg.

Da der anonyme Dating-Dienst, der die Daten bereitstellt, nur heterosexuelle Matches unterstützt, wurden in der Untersuchung nur Matches zwischen Männern und Frauen berücksichtigt.

TIRR verbessert frühere Entwürfe reziproker Empfehlungssysteme (RRS) in diesem Bereich, indem es die Wahrscheinlichkeit einer Übereinstimmung zwischen zwei Profilen direkt berechnet, und zwar ausschließlich auf der Grundlage von Profilbildern. Frühere Systeme sagten stattdessen zwei unidirektionale Präferenzen voraus und aggregierten sie dann, um eine Vorhersage zu erhalten.

Die Forscher schlossen Benutzer aus, die aus dem Dating-Dienst entfernt wurden (aus irgendeinem Grund, einschließlich freiwilligem Verlassen), und schlossen Profile aus, die keine gesichtsbasierten Fotos enthielten.

Die Benutzerhistorien wurden auf ein Jahr zurück begrenzt, um potenzielle Anomalien zu vermeiden, die auftreten könnten, wenn die Dating-Site ihre Algorithmen im Laufe der Zeit optimierte. Sie waren außerdem auf maximal 15 Benutzerpräferenzen beschränkt, da sich diese als ausreichend zum Nachweis des Modelldesigns erwiesen, während eine umfassendere Nutzung von Präferenzen die Leistung verschlechterte und die Trainingszeiten verlängerte.

Darüber hinaus hatten einige der eifrigeren oder langjährigen Benutzer eine Vorgeschichte mit Tausende von Präferenzen, die das Gewicht der erhaltenen Merkmale verzerren und die Trainingszeiten weiter verlängern könnten.

Siamesisches Netzwerk

TIRR wird mit a formuliert Siamesisches Netzwerk, typischerweise verwendet für „One-Shot“-Lernen.

Ein siamesisches Vorlagennetzwerk, in dem parallele Convolutional Neural Networks (CNNs) Gewichte, aber keine Daten teilen. Sie teilen außerdem eine aus den Ausgaben jedes CNN abgeleitete Verlustfunktion und ein Ground-Truth-Label.  Quelle: https://arxiv.org/pdf/2108.11714.pdf

Das Netzwerk wurde mithilfe der binären Kreuzentropie trainiert, einer häufigen Verlustfunktion in neuronalen Netzwerken, von der die Forscher herausfanden, dass sie im Vergleich zu ihr bessere Ergebnisse liefert Kontrastverlust. Letzteres ist am effektivsten in Systemen, die die Parität zwischen zwei Flächen bewerten. Da dies jedoch nicht das Ziel von TIRR ist, ist dieser Ansatz in diesem Zusammenhang schlecht geeignet.

Es ist notwendig, dass das System Informationen behält und darauf aufbaut, die es entwickelt, während das Training viele Male dieselben Daten durchläuft, und das siamesische Netzwerk in TIRR verwendet eine LSTM (Long Term Short-Term Memory)-Netzwerk, um diese Entscheidungen zu treffen und sicherzustellen, dass als relevant erachtete Funktionen nicht ad hoc verworfen werden, während das Framework seine Erkenntnisse aufbaut.

Die spezifische siamesische Netzwerkarchitektur für TIRR.

Die Forscher fanden heraus, dass das Netzwerk sehr langsam trainierte, als alle Daten eingegeben wurden, und teilten das Training anschließend in drei Phasen auf, wobei drei verschiedene Teilmengen der Daten verwendet wurden. Darin liegt ein zusätzlicher Vorteil, da die Experimente der Forscher im Jahr 2020 bereits gezeigt hatten, dass das getrennte Training der männlichen und weiblichen Datensätze die Leistung eines reziproken Empfehlungssystems verbessert.

Die Aufteilung der einzelnen Schulungssitzungen für das siamesische Netzwerk von TIRR.

Testen

Um die Leistung von TIRR zu bewerten, hielten die Forscher einen Teil der erhaltenen Daten beiseite und ließen sie durch das vollständig konvergente System laufen. Da das System jedoch recht neu ist, gibt es keine direkt analogen früheren Systeme, mit denen es verglichen werden könnte.

Daher erstellten die Forscher zunächst eine Receiver Operating Characteristic Curve (ROC) Basislinie für das siamesische Netzwerk, bevor Uniform Manifold Approximation and Projection zur Dimensionsreduktion verwendet wird (UMAP), um die 128-dimensionalen Vektoren für eine einfache Visualisierung zu verkleinern und einen kohärenten Fluss von Vorlieben und Abneigungen zu schaffen.

Links der ROC des siamesischen Netzwerks als Basisindikator für die Leistung; Auf der rechten Seite zeigt die UMAP-Visualisierung „Likes“ in Rot und „Dislikes“ in Schwarz.

TIRR wurde anhand kollaborativer Filter- und inhaltsbasierter Systeme mit ähnlichem Umfang getestet, einschließlich der früheren Arbeiten der Forscher ImRec (siehe oben) und RECON, ein RRS aus dem Jahr 2010, sowie die kollaborativen Filteralgorithmen RCF (ein Dating-RRS aus dem Jahr 2015, basierend auf Textinhalten von Dating-Profilen) und LFRR (ein ähnliches Projekt aus dem Jahr 2019).

In allen Fällen konnte TIRR eine überlegene Genauigkeit bieten, allerdings nur geringfügig im Vergleich zu LFRR, was möglicherweise auf korrelierende Faktoren zwischen dem Profiltextinhalt und dem wahrgenommenen Grad der Attraktivität der Profilfotos der Probanden hinweist.

Die nahezu Parität zwischen dem bildbasierten TIRR und dem eher textbasierten LFRR lässt mindestens zwei Möglichkeiten zu: dass die Wahrnehmung der visuellen Attraktivität der Benutzer durch den Textinhalt von Profilen beeinflusst wird; oder dass Textinhalte größere Aufmerksamkeit und Zustimmung erfahren, als dies der Fall gewesen wäre, wenn das zugehörige Bild nicht als attraktiv wahrgenommen worden wäre.

Aus offensichtlichen Gründen ist das Forschungsteam nicht in der Lage, den Datensatz oder Quellcode für TIRR freizugeben, ermutigt aber andere Teams, ihren Ansatz zu duplizieren und zu bestätigen.

Hinweis: Die in der Hauptillustration verwendeten Bilder stammen von thispersondoesnotexist.com.