Een AI-maatschappelijk aanbevelingssysteem gebaseerd alleen op afbeeldingen

Onderzoekers uit het VK hebben neurale netwerken gebruikt om een volledig op afbeeldingen gebaseerd aanbevelingssysteem voor online datingmatches te ontwikkelen, dat alleen rekening houdt met of twee gebruikers elkaar aantrekkelijk vinden (in plaats van profielinformatie zoals werk, leeftijd, enz.), en hebben ontdekt dat het beter presteert dan minder ‘oppervlakkige’ systemen in termen van het verkrijgen van een nauwkeurige match.

Het resulterende systeem heet Temporal Image-Based Reciprocal Recommender (TIRR) en gebruikt Recurrent Neural Networks (RNN’s) om een gebruikers historische voorkeur voor gezichten te interpreteren die hij of zij tegenkomt tijdens het browsen naar potentiële matches.

Het artikel is getiteld – misschien ontmoedigend – Foto’s zijn alles wat je nodig hebt voor wederzijdse aanbeveling in online dating, en komt van twee onderzoekers aan de Universiteit van Bristol, die aanzienlijk verbeteren ten opzichte van een soortgelijk systeem (genaamd ImRec) dat in 2020 door hetzelfde team is uitgebracht.

In tests heeft het systeem state-of-the-art nauwkeurigheid behaald in zijn vermogen om wederzijdse matches tussen gebruikers te voorspellen, niet alleen verbeterend ten opzichte van de onderzoekers van 2020, maar ook ten opzichte van andere inhoudsgebaseerde dating wederzijdse aanbevelingssystemen die rekening houden met meer gedetailleerde, tekstgebaseerde informatie in datingprofielen.

Real World Dating Dataset

TIRR is getraind op gebruikersinformatie die is verstrekt door een anonieme ‘populaire’ online datingdienst met ‘meer dan een miljoen geregistreerde gebruikers’, die alleen gebruikers toestaat om met elkaar te communiceren als elk van hen de profielfoto van de ander heeft ‘geliked’. De subset van de data die is gebruikt, bevatte 200.000 onderwerpen, gelijk verdeeld tussen mannen en vrouwen, en ongeveer 800.000 door de gebruiker uitgedrukte voorkeuren over alle datingprofielen.

Aangezien de anonieme datingdienst die de data verstrekt, alleen heteroseksuele matches ondersteunt, werden alleen man/vrouw-matches behandeld in het onderzoek.

TIRR verbetert eerdere wederzijdse aanbevelingssystemen (RRS) ontwerpen in dit veld door rechtstreeks de kans op een match tussen twee profielen te berekenen, gebaseerd op profielfoto’s alleen. Eerdere systemen voorspelden twee eenrichtingsvoorkeuren en agregen ze vervolgens om een voorspelling te verkrijgen.

De onderzoekers sloten gebruikers uit die van de datingdienst waren verwijderd (om welke reden dan ook, inclusief vrijwillig vertrek), en sloten profielen uit die geen gezichtsgebaseerde foto’s bevatten.

Gebruikersgeschiedenissen werden beperkt tot één jaar terug, om potentieel aan te tasten anomalieën die zouden kunnen optreden als de datingsite zijn algoritmes in de loop van de tijd aanpaste. Ze werden ook beperkt tot een maximum van 15 gebruikersvoorkeuren, aangezien deze voldoende werden aangetoond om het modelontwerp te bewijzen, terwijl uitgebreider gebruik van voorkeuren de prestaties verslechterde en de trainingsduur verlengde.

Bovendien hadden sommige van de meer enthousiaste of langetermijngebruikers geschiedenissen met duizenden voorkeuren, die het risico zouden kunnen lopen om het gewicht van de verkregen kenmerken te vertekenen en de trainingsduur verder te verlengen.

Siamese Network

TIRR is geformuleerd met behulp van een Siamese netwerk, typisch gebruikt voor ‘one-shot’ leren.

Een sjabloon Siamese netwerk, waarin parallelle Convolutional Neural Networks (CNN’s) gewichten delen, maar geen gegevens. Ze delen ook een verliesfunctie die is afgeleid van de uitvoer van elke CNN, en een grondwaarheidslabel.  Bron: https://arxiv.org/pdf/2108.11714.pdf

Het netwerk is getraind met binaire cross-entropie, een veel voorkomende verliesfunctie in neurale netwerken, en een die de onderzoekers hebben gevonden om superieure resultaten te geven in vergelijking met contrastieve verlies. De laatste is het meest effectief in systemen die de gelijkheid tussen twee gezichten evalueren, maar aangezien dit niet het doel van TIRR is, is het een aanpak die slecht presteert in deze context.

Het is noodzakelijk voor het systeem om informatie te behouden en op te bouwen die het ontwikkelt terwijl de training meerdere keren over dezelfde gegevens wordt uitgevoerd, en het Siamese netwerk in TIRR gebruikt een LSTM (Long Term Short-Term Memory) netwerk om deze beslissingen te nemen, en om ervoor te zorgen dat kenmerken die als relevant worden beschouwd, niet ad hoc worden weggegooid terwijl het kader zijn inzichten opbouwt.

De specifieke Siamese netwerkarchitectuur voor TIRR.

De onderzoekers vonden dat het netwerk zeer langzaam trainde toen alle gegevens werden ingevoerd, en splitsten de training vervolgens in drie fasen met behulp van drie verschillende subsets van de gegevens. Er is enig voordeel bij dit, aangezien de onderzoekers van 2020 al hadden aangetoond dat het trainen van de mannelijke en vrouwelijke datasets afzonderlijk de prestaties van een wederzijdse aanbevelingssysteem verbetert.

De opsplitsing van afzonderlijke trainingsessies voor TIRR’s Siamese netwerk.

Testing

Om de prestaties van TIRR te evalueren, hielden de onderzoekers een deel van de verkregen gegevens apart en voerden ze door het volledig geconvergeerde systeem. Echter, aangezien het systeem nogal nieuw is, zijn er geen directe analoge eerdere systemen waarmee het kan worden vergeleken.

Derhalve stelden de onderzoekers eerst een Receiver Operating Characteristic Curve (ROC) baseline voor het Siamese netwerk vast, voordat ze Uniform Manifold Approximation and Projection for Dimensionality Reduction (UMAP) gebruikten om de 128-dimensionale vectoren af te slanken voor eenvoudige visualisatie, om een coherent verloop van likes en dislikes te vestigen.

Links, de ROC van het Siamese netwerk als baseline-indicator van de prestaties; rechts, de UMAP-visualisatie toont ‘likes’ in rood, ‘dislikes’ in zwart.

TIRR werd getest tegen collaboratieve filtering en inhoudsgebaseerde systemen met een soortgelijke ambitie, inclusief de onderzoekers van eerdere werk ImRec (zie hierboven), en RECON, een RRS uit 2010, evenals de collaboratieve filtering algoritmen RCF (een dating RRS uit 2015 op basis van tekstinhoud van datingprofielen) en LFRR (een soortgelijk project uit 2019).

In alle gevallen kon TIRR superieure nauwkeurigheid bieden, hoewel slechts marginaal in vergelijking met LFRR, mogelijk aangegeven door correlerende factoren tussen profieltekstinhoud en de waargenomen mate van aantrekkelijkheid van de onderwerpen van de profielfoto’s.

De bijna-pariteit tussen het op afbeeldingen gebaseerde TIRR en het meer op tekst gebaseerde LFRR laat ten minste twee mogelijkheden zien: dat gebruikers’ perceptie van visuele aantrekkelijkheid wordt beïnvloed door de tekstinhoud van profielen; of dat tekstinhoud meer aandacht en goedkeuring krijgt dan zou zijn gebeurd als de bijbehorende foto niet als aantrekkelijk werd waargenomen.

Om voor de hand liggende redenen kan het onderzoeksteam de dataset of de broncode voor TIRR niet vrijgeven, maar moedigen andere teams aan om hun aanpak te dupliceren en te bevestigen.

n.b De afbeeldingen die in de hoofdillustratie worden gebruikt, zijn van thispersondoesnotexist.com.