Ett AI-baserat system för att hitta själsfrändar baserat endast på bilder

Forskare från Storbritannien har använt neuronnät för att utveckla ett helt bildbaserat system för att hitta lämpliga par på nätet, som endast tar hänsyn till om två användare är attraherade av varandras foton (i stället för profilinformation som jobb, ålder etc.), och har funnit att det presterar bättre än mindre “ytliga” system när det gäller att få en korrekt match.

Det resulterande systemet kallas Temporal Image-Based Reciprocal Recommender (TIRR), och använder återkommande neuronnät (RNN) för att tolka en användares historiska preferenser för ansikten som han eller hon möter medan de bläddrar igenom potentiella matcher.

Artikeln har titeln – kanske nedslående – Foton är allt du behöver för ömsesidigt rekommenderande i online-dejting, och kommer från två forskare vid University of Bristol, som har förbättrat betydligt på ett liknande system (kallat ImRec) som släpptes av samma team 2020.

I testerna uppnådde systemet toppmoderna resultat i sin förmåga att förutsäga ömsesidiga matcher mellan användare, och förbättrade inte bara forskarnas arbete från 2020, utan också andra innehållsbaserade dejtingrekommendationssystem som tar hänsyn till mer detaljerad, textbaserad information i dejtingprofiler.

Verkliga världens dejtingsdata

TIRR tränades på användarinformation som tillhandahållits av en oidentifierad “populär” online-dejtingstjänst med “flera miljoner registrerade användare”, som endast tillåter användare att kommunicera med varandra när båda har “gillat” varandras profiler. Datamängden som användes innehöll 200 000 ämnen, jämnt fördelade mellan män och kvinnor, och cirka 800 000 användaruttryckta preferenser över alla dejtingprofiler.

Eftersom den anonyma dejtingtjänsten som tillhandahåller datan endast stöder heterosexuella matcher, täcktes endast man/kvinna-matcher i forskningen.

TIRR förbättrar tidigare ömsesidiga rekommendationssystem (RRS) i detta fält genom att direkt beräkna sannolikheten för en match mellan två profiler, baserat enbart på profilbilder. Tidigare system förutsåg i stället två ensidiga preferenser och aggregerade dem sedan för att få en förutsägelse.

Forskarna uteslöt användare som hade tagits bort från dejtingtjänsten (av någon anledning, inklusive frivillig avgång), och uteslöt profiler som inte innehöll ansiktsbaserade foton.

Användarhistorik begränsades till ett år tillbaka, för att undvika potentiella anomalier som kan uppstå när dejtingwebbplatsen justerar sina algoritmer över tid. De begränsades också till maximalt 15 användarpreferenser, eftersom dessa visade sig vara tillräckliga för att bevisa modellens design, medan mer omfattande användning av preferenser försämrade prestandan och ökade tränings tid.

Dessutom hade vissa av de mer entusiastiska eller långsiktiga användarna historik med tusentals preferenser, som skulle kunna riskera att sneda tyngden av de erhållna funktionerna, och ytterligare förlänga tränings tider.

Siamese-nätverk

TIRR formuleras med hjälp av ett Siamese-nätverk, som vanligtvis används för ‘one-shot’-inlärning.

En mall för Siamese-nätverk, där parallella konvolutionsneuronnät (CNN) delar vikt, men inte data. De delar också en förlustfunktion som härrör från utdata från varje CNN, och en grund sanningsetikett. Källa: https://arxiv.org/pdf/2108.11714.pdf

Nätverket tränades med binär korsentropi, en vanlig förlustfunktion i neuronnät, och en som forskarna fann gav överlägsna resultat jämfört med kontrastiv förlust. Den senare är mest effektiv i system som utvärderar paritet mellan två ansikten, men eftersom detta inte är målet med TIRR, är det ett tillvägagångssätt som fungerar dåligt i detta sammanhang.

Det är nödvändigt för systemet att behålla och bygga på information som det utvecklar när träningsiterationerna utförs många gånger över samma data, och Siamese-nätverket i TIRR använder ett LSTM (Long Term Short-Term Memory)-nätverk för att fatta dessa beslut, och för att säkerställa att funktioner som anses relevanta inte kastas bort ad hoc när ramverket bygger sin insikt.

Den specifika Siamese-nätverksarkitekturen för TIRR.

Forskarna fann att nätverket tränades mycket långsamt när all data matades in, och delade därför upp träningsprocessen i tre faser med hjälp av tre olika delmängder av datan. Det finns också en viss fördel i detta, eftersom forskarnas experiment från 2020 redan hade visat att träningsprocessen för manliga och kvinnliga dataset skiljer sig åt, och förbättrar prestandan för ett ömsesidigt rekommendationssystem.

En nedbrytning av separata träningspass för TIRR:s Siamese-nätverk.

Testning

För att utvärdera TIRR:s prestanda höll forskarna en del av den erhållna datan åt sidan och körde den genom det fullständigt konvergerade systemet. Men eftersom systemet är ganska nytt, finns det inga direkt analoga tidigare system som det kan jämföras med.

Därför etablerade forskarna först en mottagarens operativa karaktäristikurve (ROC) baslinje för Siamese-nätverket, innan de använde Uniform Manifold Approximation and Projection för dimensionella reduktion (UMAP) för att minska de 128-dimensionella vektorerna för enkel visualisering, i syfte att etablera en sammanhängande flöde av gillanden och ogillanden.

Till vänster, ROC för Siamese-nätverket som en baslinjeindikator för prestanda; till höger, UMAP-visualiseringen visar ‘gillanden’ i rött, ‘ogillanden’ i svart.

TIRR testades mot samarbetsfiltrering och innehållsbaserade system med liknande syfte, inklusive forskarnas tidigare arbete ImRec (se ovan), och RECON, ett RRS från 2010, samt samarbetsfiltreringsalgoritmerna RCF (ett dejting-RRS från 2015 baserat på textinnehåll i dejtingprofiler) och LFRR (ett liknande projekt från 2019).

I alla fall kunde TIRR erbjuda överlägsen noggrannhet, om än marginellt jämfört med LFRR, möjligen indikerande korrelerande faktorer mellan profiltextinnehåll och den upplevda nivån av attraktivitet hos ämnena i profilfotona.

Nästan-jämnheten mellan bildbaserade TIRR och mer textbaserade LFRR tillåter åtminstone två möjligheter: att användarnas uppfattning om visuell attraktivitet påverkas av textinnehållet i profilerna; eller att textinnehållet får större uppmärksamhet och godkännande än vad som skulle ha skett om den associerade bilden inte uppfattades som attraktiv.

Av uppenbara skäl kan forskarteamet inte släppa datasetet eller källkoden för TIRR, men uppmuntrar andra team att duplicera och bekräfta deras tillvägagångssätt.

n.b Bilderna som används i huvudillustrationen är från thispersondoesnotexist.com.