En AI-basert kjærlighetsreommendasjonssystem som bare bruker bilder

Forskere fra Storbritannia har brukt neurale nettverk til å utvikle et helt bildebasert anbefalingssystem for online-dating matcher som bare tar hensyn til om to brukere er tiltrukket av hverandres bilder (i stedet for profilinformasjon som jobb, alder osv.), og har funnet ut at det overstiger mindre “overfladiske” systemer når det gjelder å få en nøyaktig match.

Det resulterende systemet kalles Temporal Image-Based Reciprocal Recommender (TIRR), og bruker Recurrent Neural Networks (RNNs) til å tolke en brukers historiske preferanser for ansikter som han eller hun møter mens de blar gjennom potensielle matcher.

Artikkelen har tittelen – kanskje nedslående – Bilder er alt du trenger for gjensidig anbefaling i online-dating, og kommer fra to forskere ved University of Bristol, og forbedrer betydelig på et lignende system (kalt ImRec) utgitt av samme team i 2020.

I tester fikk systemet state-of-the-art nøyaktighet i evnen til å forutsi gjensidige matcher mellom brukere, og forbedret ikke bare på forskernes arbeid fra 2020, men også på andre innholdsbaserte dating-gjensidige anbefalingssystemer som tar hensyn til mer detaljert, tekstbasert informasjon i dating-profiler.

Verdens datasaet for dating

TIRR ble trent på brukerinformasjon levert av en ubenyttet “populær” online-datingtjeneste med “flere millioner registrerte brukere”, som bare tillater brukere å kommunisere med hverandre når hver har “liket” den andres profil. Datamengden inkluderte 200 000 emner, fordelt likt mellom menn og kvinner, og omtrent 800 000 bruker-uttrykte preferanser over alle dating-profilene.

Siden den anonyme datingtjenesten som leverte dataene bare støtter heteroseksuelle matcher, ble bare mannskvinne-matcher dekket i forskningen.

TIRR forbedrer tidligere gjensidige anbefalingssystemer (RRS) i dette feltet ved å direkte beregne sannsynligheten for en match mellom to profiler, basert bare på profilbilder. Tidligere systemer forutså i stedet to ensrettede preferanser og aggregerte dem for å få en forutsigelse.

Forskerne ekskluderte brukere som var fjernet fra datingtjenesten (av noen grunn, inkludert frivillig å forlate), og ekskluderte profiler som ikke inkluderte ansiktsbilder.

Brukerhistorier ble begrenset til ett år tilbake, for å unngå potensielle anomali som kunne oppstå når dating-siden justerte sine algoritmer over tid. De ble også begrenset til en maksimum på 15 brukerpreferanser, siden disse ble demonstrert som tilstrekkelige til å bevise modell-designet, mens mer omfattende bruk av preferanser forverret ytelsen og økte trenings-tidene.

I tillegg hadde noen av de mer ivrige eller langvarige brukerne historier med tusener av preferanser, som kunne ha risikert å skjeve vekten av de oppnådde funksjonene, og ytterligere forlenge trenings-tidene.

Siamese nettverk

TIRR er formulert ved hjelp av et Siamese nettverk, som vanligvis brukes til ‘one-shot’ læring.

En mal Siamese nettverk, hvor parallelle Convolutional Neural Networks (CNNs) deler vekter, men ikke data. De deler også en tap-funksjon avledet fra utgangene av hver CNN, og en grunn-sannhets-etikett. Kilde: https://arxiv.org/pdf/2108.11714.pdf

Nettverket ble trent ved hjelp av binær cross-entropi, en vanlig tap-funksjon i neurale nettverk, og en som forskerne fant å gi bedre resultater sammenlignet med kontrastiv tap. Den siste er mest effektiv i systemer som vurderer likhet mellom to ansikter, men siden dette ikke er målet for TIRR, er det en tilnærming som fungerer dårlig i denne sammenhengen.

Det er nødvendig for systemet å beholde og bygge på informasjon som det utvikler mens trenings-iterasjonene gjentas mange ganger over samme data, og Siamese nettverket i TIRR bruker en LSTM (Long Term Short-Term Memory) nettverk for å fatte disse beslutningene, og for å sikre at funksjoner som anses som relevante ikke kastes ad hoc mens rammeverket bygger sine innsikter.

Den spesifikke Siamese nettverks-arkitekturen for TIRR.

Forskerne fant ut at nettverket ble trent svært sakte når all data ble innført, og delte deretter trenings-data i tre faser ved hjelp av tre forskjellige undermengder av data. Det er noen ytterligere fordeler i dette, ettersom forskernes eksperimenter fra 2020 allerede hadde demonstrert at å trene manns- og kvinne-datasett separat forbedrer ytelsen av et gjensidig anbefalingssystem.

Oppdelingen av separate trenings-sesjoner for TIRR sitt Siamese nettverk.

Testing

For å evaluere TIRR sin ytelse, beholdt forskerne en del av de innhentede data til siden og kjørte dem gjennom det fullstendig konvergerte systemet. Imidlertid, ettersom systemet er ganske nytt, finnes det ingen direkte analoge tidligere systemer som det kan sammenlignes med.

Forskerne etablerte derfor en mottaker-operasjons-karakteristikk-kurve (ROC) baseline for Siamese nettverket, før de brukte Uniform Manifold Approximation and Projection for Dimensionality Reduction (UMAP) for å slimme ned de 128-dimensionale vektorene for enkel visualisering, for å etablere en sammenhengende flyt av liker og misliker.

Til venstre, ROC for Siamese nettverket som en baseline-indikator for ytelse; til høyre, UMAP visualiseringen viser ‘liker’ i rødt, ‘misliker’ i svart.

TIRR ble testet mot samarbeidsfiltrering og innholdsbaserte systemer med en lignende omfang, inkludert forskernes tidligere arbeid ImRec (se over), og RECON, et RRS fra 2010, samt samarbeidsfiltrerings-algoritmene RCF (en dating RRS basert på tekst-innhold av dating-profiler fra 2015) og LFRR (et lignende prosjekt fra 2019).

I alle tilfeller kunne TIRR tilby bedre nøyaktighet, om enn bare marginalt sammenlignet med LFRR, muligens indikerer korrelerende faktorer mellom profiltekst-innhold og den opplevde nivået av tiltrekning av subjektets profilbilder.

Nær-pariteten mellom bilde-basert TIRR og mer tekst-basert LFRR tillater minst to muligheter: at brukernes opplevelse av visuell tiltrekning påvirkes av tekst-innholdet i profilene; eller at tekst-innhold mottar større oppmerksomhet og godkjenning enn det som kunne ha skjedd hvis det tilknyttede bildet ikke ble oppfattet som tiltrekkende.

Av åpenbare grunner er forskningsteamet ikke i stand til å utgi datamengden eller kildekoden for TIRR, men oppmuntrer andre team til å duplisere og bekrefte deres tilnærming.

n.b Bildene brukt i hoved-illustrasjonen er fra thispersondoesnotexist.com.