Et AI-matchesystem til dating baseret kun på billeder

Forskere fra Storbritannien har brugt neurale netværk til at udvikle et helt billedbaseret anbefalingssystem for online-datingsmatch, som kun tager hensyn til, om to brugere er tiltrukket af hinandens fotos (i stedet for profilinformation som job, alder osv.), og har fundet, at det overgår mindre “overfladiske” systemer i forhold til at opnå en præcis match.

Det resulterende system kaldes Temporal Image-Based Reciprocal Recommender (TIRR), og bruger Recurrent Neural Networks (RNNs) til at fortolke en brugers historiske præference for ansigter, som han eller hun møder, mens han eller hun søger efter potentielle match.

Artiklen har titlen – måske nedslående – Billeder er alt, du behøver for gensidig anbefaling i online-dating, og kommer fra to forskere ved University of Bristol, og udgør en betydelig forbedring af et lignende system (kaldet ImRec) udgivet af samme hold i 2020.

I tests opnåede systemet state-of-the-art-nøjagtighed i sin evne til at forudsige gensidige match mellem brugere, og forbedrede ikke kun forskernes arbejde fra 2020, men også andre indholdsbaserede dating-gensidige anbefalingssystemer, som tager hensyn til mere detaljeret, tekstbaseret information i dating-profiler.

Virkelige datingdata

TIRR blev trænet på brugerinformation leveret af en navnløs ‘populær’ online-datingtjeneste med ‘flere millioner registrerede brugere’, som kun tillader brugere at kommunikere med hinanden, når hver har ‘liket’ den andens profil. Dataundermængden inkluderede 200.000 emner, fordelt ligeligt mellem mænd og kvinder, og ca. 800.000 brugerudtrykte præferencer på tværs af alle dating-profilerne.

Da den anonyme datingtjeneste, der leverede dataen, kun understøtter heteroseksuelle match, blev kun mand/kvinde-match dækket i undersøgelsen.

TIRR forbedrer tidligere gensidige anbefalingssystemer (RRS) i dette felt ved direkte at beregne sandsynligheden for en match mellem to profiler, baseret kun på profilbilleder. Tidligere systemer forudsagde i stedet to ensrettede præferencer og aggregere dem derefter for at opnå en forudsigelse.

Forskerne udelukkede brugere, der var blevet fjernet fra datingtjenesten (af enhver grund, herunder frivilligt forladt), og udelukkede profiler, der ikke indeholdt ansigtsbaserede billeder.

Brugernes historik blev begrænset til et år tilbage, for at undgå potentielle anomalier, der kunne opstå, mens dating-sitet justerede sine algoritmer over tid. De blev også begrænset til en maksimum på 15 brugerpræferencer, da disse blev demonstreret som tilstrækkelige til at bevise modeldesignet, mens en mere omfattende brug af præferencer forringede ydelsen og øgede træningstider.

Derudover havde nogle af de mere ivrige eller langsigtede brugere historikker med tusinder af præferencer, som kunne have risikeret at skæve vægten af de opnåede funktioner og yderligere forlænge træningstider.

Siamese-netværk

TIRR er formuleret ved hjælp af et Siamese-netværk, som typisk bruges til ‘one-shot’-læring.

En skabelon-Siamese-netværk, hvor parallelle Convolutional Neural Networks (CNNs) deler vægte, men ikke data. De deler også en tab-funktion, der er afledt fra output fra hver CNN, og en grundsandhedsmærke.  Source: https://arxiv.org/pdf/2108.11714.pdf

Netværket blev trænet ved hjælp af binær cross-entropi, en almindelig tab-funktion i neurale netværk, og en, som forskerne fandt gav overlegne resultater i forhold til kontrastiv tab. Sidstnævnte er mest effektiv i systemer, der vurderer lighed mellem to ansigter, men da dette ikke er formålet med TIRR, er det en tilgang, der fungerer dårligt i denne sammenhæng.

Det er nødvendigt for systemet at fastholde og bygge på information, som det udvikler, mens træningen itererer mange gange over samme data, og Siamese-netværket i TIRR bruger et LSTM (Long Term Short-Term Memory)-netværk til at træffe disse beslutninger og til at sikre, at funktioner, der anses for relevante, ikke kasseres ad hoc, mens rammen bygger sine indsigt.

Den specifikke Siamese-netværksarkitektur for TIRR.

Forskerne fandt, at netværket trænede meget langsomt, når alle dataene blev indført, og delte herefter træningen i tre faser ved hjælp af tre forskellige undermængder af data. Der er en vis fordel i dette, da forskernes eksperimenter i 2020 allerede havde demonstreret, at træning af mandlige og kvindelige datasæt separat forbedrer ydelsen af et gensidigt anbefalingssystem.

Den detaljerede gennemgang af separate træningssessioner for TIRR’s Siamese-netværk.

Test

For at evaluere TIRR’s ydelse beholdt forskerne en del af de opnåede data og kørte dem gennem det fuldt konvergerede system. Men da systemet er ret nyt, er der ingen direkte analoge tidligere systemer, som det kan sammenlignes med.

Forskerne etablerede derfor en Receiver Operating Characteristic Curve (ROC)-baseline for Siamese-netværket, før de brugte Uniform Manifold Approximation and Projection for Dimensionality Reduction (UMAP) til at reducere de 128-dimensionale vektorer til en let visualisering, for at etablere en sammenhængende strøm af likes og dislikes.

Til venstre, ROC for Siamese-netværket som baseline-indikator for ydelse; til højre, UMAP-visualiseringen viser ‘likes’ i rød, ‘dislikes’ i sort.

TIRR blev testet mod collaborative filtering og indholdsbaserede systemer med en lignende omfang, herunder forskernes tidligere arbejde ImRec (se ovenfor), og RECON, et RRS fra 2010, samt de collaborative filtering-algoritmer RCF (en dating-RRS fra 2015 baseret på tekstindhold i dating-profiler) og LFRR (et lignende projekt fra 2019).

I alle tilfælde kunne TIRR tilbyde overlegen nøjagtighed, omend kun marginalt i forhold til LFRR, muligvis indikerende korrelerende faktorer mellem profiltekstindhold og den opfattede niveau af tiltrækning af subjektets profilbilleder.

Nær-ligheden mellem billedbaseret TIRR og den mere tekstbaserede LFRR tillader mindst to muligheder: at brugernes opfattelse af visuel tiltrækning påvirkes af tekstindholdet i profilerne; eller at tekstindholdet modtager større opmærksomhed og billigelse, end der ellers ville have været tilfældet, hvis det associerede billede ikke var opfattet som tiltrækkende.

For åbenlyse grunde kan forskningsteamet ikke udgive datasettet eller kildekoden for TIRR, men opmuntrer andre hold til at duplikere og bekræfte deres tilgang.

n.b Billederne, der er brugt i den primære illustration, er fra thispersondoesnotexist.com.