Ett AI Soulmate Recommender-system endast baserat på bilder

Forskare från Storbritannien har använt neurala nätverk för att utveckla ett helt bildbaserat rekommendationssystem för onlinedejtingmatcher som bara tar hänsyn till om två användare attraheras av varandras foton eller inte (snarare än profilinformation som jobb, ålder etc.). ), och har funnit att det överträffar mindre "grunda" system när det gäller att få en exakt matchning.

Det resulterande systemet kallas Temporal Image-Based Reciprocal Recommender (TIRR), och använder återkommande neurala nätverk (RNN) för att tolka en användares historiska förkärlek för ansikten som han eller hon möter när han letar efter potentiella matchningar.

Smakämnen papper har rätt – kanske nedslående – Foton är allt du behöver för ömsesidiga rekommendationer inom onlinedejting, och kommer från två forskare vid University of Bristol, som framför allt förbättrat ett liknande system (kallat ImRec) släpptes av samma team 2020.

I tester fick systemet toppmodern noggrannhet i sin förmåga att förutsäga ömsesidig matchningar mellan användare, vilket förbättrar inte bara forskarnas 2020-arbete, utan också på andra innehållsbaserade dejtingsystem för ömsesidiga rekommendationer som tar hänsyn till mer detaljerad, textbaserad information i dejtingprofiler.

Real World Dating Dataset

TIRR utbildades på användarinformation från en icke namngiven "populär" onlinedejtingtjänst med "flera miljoner registrerade användare", som bara tillåter användare att kommunicera med varandra när var och en har "gillat" den andras profil. Undergruppen av data som användes inkluderade 200,000 800,000 försökspersoner, jämnt fördelade mellan män och kvinnor, och cirka XNUMX XNUMX användaruttryckta preferenser över alla dejtingprofiler.

Eftersom den anonyma dejtingtjänsten som tillhandahåller data endast stöder heterosexuella matchningar, omfattades endast matchningar mellan män och kvinnor i forskningen.

TIRR förbättrar tidigare konstruktioner för reciprocal recommender system (RRS) inom detta område genom att direkt beräkna sannolikheten för en matchning mellan två profiler, baserat enbart på profilbilder. Tidigare system förutspådde istället två enkelriktade preferenser och aggregerade dem sedan för att erhålla en förutsägelse.

Forskarna uteslöt användare som hade tagits bort från dejtingtjänsten (av någon anledning, inklusive frivilliga lämnar), och uteslöt profiler som inte inkluderade ansiktsbaserade foton.

Användarhistorik var begränsad till ett år sedan, för att undvika potentiella anomalier som kan uppstå när dejtingsajten justerade sina algoritmer över tid. De var också begränsade till maximalt 15 användarpreferenser, eftersom dessa visades vara tillräckliga för att bevisa modelldesignen, medan mer omfattande användning av preferenser försämrade prestanda och ökade träningstider.

Dessutom hade några av de mer ivriga eller långvariga användarna historik med tusentals av preferenser, som kan ha riskerat att snedvrida vikten av de erhållna funktionerna, och ytterligare förlänga träningstiderna.

Siamesiskt nätverk

TIRR formuleras med hjälp av en Siamesiskt nätverk, används vanligtvis för "engångslärande"..

Ett siamesiskt mallnätverk, där parallella Convolutional Neural Networks (CNN) delar vikter men inte data. De delar också en förlustfunktion som härrör från utdata från varje CNN, och en jordsannningsetikett.  Källa: https://arxiv.org/pdf/2108.11714.pdf

Nätverket tränades med hjälp av binär korsentropi, en vanlig förlustfunktion i neurala nätverk, och en som forskarna fann ge överlägsna resultat jämfört med kontrastiv förlust. Det senare är mest effektivt i system som utvärderar paritet mellan två ansikten, men eftersom detta inte är syftet med TIRR, är det ett tillvägagångssätt som presterar dåligt i detta sammanhang.

Det är nödvändigt för systemet att behålla och bygga på information som det utvecklas eftersom träningen upprepar sig många gånger över samma data, och det siamesiska nätverket i TIRR använder en LSTM (Long Term Short-Term Memory) nätverk för att fatta dessa beslut och för att säkerställa att funktioner som anses relevanta inte förkastas ad hoc när ramverket bygger sina insikter.

Den specifika siamesiska nätverksarkitekturen för TIRR.

Forskarna fann att nätverket tränade mycket långsamt när all data matades in och delade sedan upp träningen i tre steg med hjälp av tre olika delmängder av data. Det finns ytterligare en fördel med detta, eftersom forskarnas experiment från 2020 redan hade visat att träning av manliga och kvinnliga datauppsättningar separat förbättrar prestandan hos ett ömsesidigt rekommendationssystem.

Uppdelningen av separata träningspass för TIRR:s siamesiska nätverk.

Testning

För att utvärdera TIRRs prestanda höll forskarna en del av den erhållna informationen åt sidan och körde den genom det helt konvergerade systemet. Men eftersom systemet är ganska nytt, finns det inga direkt analoga tidigare system som det skulle kunna jämföras med.

Därför etablerade forskarna först en mottagares funktionskarakteristisk kurva (ROC) baslinje för det siamesiska nätverket, innan du använder Uniform Manifold Approximation and Projection for Dimensionality Reduction (UMAP) för att banta ner de 128-dimensionella vektorerna för enkel visualisering, för att skapa ett sammanhängande flöde av gillar och ogillar.

Till vänster, ROC för det siamesiska nätverket som en baslinjeindikator för prestanda; till höger visar UMAP-visualiseringen "gillar" i rött, "ogillar" i svart.

TIRR testades mot kollaborativ filtrering och innehållsbaserade system med liknande omfattning, inklusive forskarnas tidigare arbete ImRec (se ovan), och RECON, en RRS från 2010, såväl som de kollaborativa filtreringsalgoritmerna RCF (en 2015 dejting RRS baserad på textinnehåll i dejtingprofiler) och LFRR (ett liknande projekt från 2019).

I alla fall kunde TIRR erbjuda överlägsen noggrannhet, dock endast marginellt jämfört med LFRR, vilket möjligen indikerar korrelerande faktorer mellan profiltextinnehåll och den upplevda attraktivitetsnivån hos försökspersonernas profilfoton.

Den nära pariteten mellan bildbaserad TIRR och den mer textbaserade LFRR tillåter åtminstone två möjligheter: att användarnas uppfattning om visuell attraktionskraft påverkas av textinnehållet i profiler; eller att textinnehåll får större uppmärksamhet och gillande än vad som skulle ha inträffat om den tillhörande bilden inte upplevdes som attraktiv.

Av uppenbara skäl kan forskargruppen inte släppa datamängden eller källkoden för TIRR, men uppmuntra andra team att duplicera och bekräfta sitt tillvägagångssätt.

nb Bilderna som används i huvudillustrationen är från thispersondoesnotexist.com.