Hvorfor gir AI ikke bedre produktanbefalinger

Hvis du er interessert i obskure ting, er det to grunner til at dine søk etter varer og produkter sannsynligvis vil være mindre relatert til dine interesser enn dine “mainstream”-jevnaldrende; enten er du en monetisering “edge case” hvis interesser bare vil bli møtt hvis du også er i de øvre kategoriene av økonomisk kjøpekraft (for eksempel produkter og tjenester relatert til ‘formueforvaltning’); eller søkealgoritmene du bruker utnytter collaborative filtering (CF), som favoriserer interesser hos majoriteten.

Ettersom collaborative filtering er billigere og mer etablert enn andre potensielt mer kapable algoritmer og rammer, er det mulig at begge disse tilfellene gjelder.

CF-baserte søkeresultater vil prioritere varer som oppfattes som populære blant “personer som deg”, så godt vertssystemet kan forstå hva slags forbruker du er.

Hvis du er skeptisk til å gi dataprofileringsinformasjon til vertssystemet – for eksempel ikke er tilbøyelig til å trykke på “Like”-knappene i Netflix og andre videoinnholdstjenester – vil du sannsynligvis bli klassifisert ganske generisk i dine tidlige interaksjoner med systemet, og anbefalingene du mottar vil reflektere de mest populære trendene.

På en strømmetjeneste kan dette bety at du blir anbefalt hva som helst som er “hot” for øyeblikket, som reality-TV og krimdokumentarer, uavhengig av din interesse for disse. Likedan for bokanbefalingstjenester, som vil tendere til å foreslå nåværende og nylige bestselgere, tilsynelatende tilfeldig.

I teorien bør selv data-forsiktige brukere til slutt få bedre resultater fra slike systemer basert på måten de bruker dem og tingene de søker etter, ettersom de fleste søke rammer gir brukerne begrenset mulighet til å redigere sin brukslogg.

Enhver farge du liker, så lenge det er svart

Men ifølge en ny studie fra Østerrike, den økende bruken av collaborative filtering over innholdsbasert filtering (som søker å definere relasjoner mellom produkter i stedet for bare å ta aggregat popularitet med i betraktning), og andre alternative tilnærminger, kan søkesystemer bli mer tilbøyelige til langvarig popularitetsforvrengning, der åpenbart populære resultater blir presset mot slutbrukere som er usannsynlig til å bli entusiastiske over dem.

Studien finner at brukere som er uinteresserte i populære varer mottar ‘signifikant dårligere’ anbefalinger enn brukere med medium eller høy interesse for popularitet, og (kanskje tautologisk) at populære varer anbefales mer hyppig enn upopulære varer. Forskerne konkluderer også at brukere med lav interesse for populære varer tenderer til å ha større brukerprofiler som potensielt kan forbedre anbefalingssystemer – hvis bare systemene kunne kvitte seg med ‘flokk’-metrikker.

Sammenligning av popularitet og kompleksitet av brukerprofiler viser at ‘marginale’ brukere som er uinteresserte i mainstream-innhold faktisk har mer potensiell innhold for anbefalingssystemer å utnytte; men siden slike brukere ikke konformerer seg til trender, ser det ut til å være en tapt mulighet. Kilde: https://arxiv.org/pdf/2203.00376.pdf

Den studien har tittelen Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems, og kommer fra forskere ved nå-Center GmbH i Graz, og Graz Universitet for Teknologi.

Dekningsområder

Bygging på tidligere arbeider som studerte enkeltsektorer (slik som bokanbefalinger), undersøker den nye studien fire domener: digitale bøker (via BookCrossing-datasettet); filmer (via MovieLens); musikk (via Last.fm); og anime (via MyAnimeList).

Studien anvendte fire populære multimedia-anbefalingssystemer (MMRS) collaborative filtering-algoritmer mot datasett delt inn i tre brukergrupper, etter deres tilbøyelighet til å være mottakelige for ‘populære’ resultater: LowPop, MedPop, og HighPop. Brukergruppene ble filtrert ned til 1000 like store grupper, basert på minst, gjennomsnitt og mest sannsynlig til å favorisere ‘populære’ resultater.

I kommentar til resultatene sier forfatterne:

‘[Vi] finner at sannsynligheten for at et multimedia-element skal anbefales sterkt korrelerer med dette elementets popularitet [og] at brukere som er uinteresserte i populære varer mottar statistisk signifikant dårligere multimedia-anbefalinger enn brukere med medium eller høy tilbøyelighet til populære varer…

‘Våre resultater viser at selv om brukere med liten interesse for populære varer tenderer til å ha større brukerprofiler, mottar de lavest anbefalingsnøyaktighet. Derfor er fremtidig forskning nødvendig for å mildne popularitetsforvrengning i MMRS, både på vare- og brukernivå.’

Blant algoritmene som ble evaluert, var to K-Nearest Neighbors (KNN)-varianter, UserKNN og UserKNNAvg. Den første av disse genererer ikke en gjennomsnittlig vurdering for målbrukeren og -varen. En ikke-negativ matrisefaktorisering-variant (NMF) ble også testet, sammen med en CoClustering-algoritme.

Evalueringprotokollen betraktet anbefalingsoppgaven som en prediksjonsutfordring, målt av forskerne i form av gjennomsnittlig absolutt feil (MAE), mot en fem-folds kryssvalideringsprotokoll som overstiger den vanlige 80/20-splittingen mellom trent og testdata.

Resultatene indikerer en nære garanti for popularitetsforvrengning under collaborative filtering. Spørsmålet, kan man si, er om dette oppfattes som et problem av de multi-milliarderselskapene som for tiden inkorporerer CF i sine søkealgoritmer.

Over alle fire datasett som ble studert over fire populære Collaborative Filtering-anbefalinger, indikerer hver resultater at populære medievarer er mer sannsynlig å bli anbefalt enn upopulære tilbud.

Den ‘enkle’ utveien

Selv om collaborative filtering i økende grad brukes som bare ett plank i en bredere søkealgoritme-strategi, har det en sterk andel i søke-sektoren, og dens logikk og potensielle lønnsomhet er tiltrekkende lett å forstå.

I seg selv, CF laster i praksis oppgaven med å vurdere innholdets verdi over på slutbrukerne, og bruker deres mottak av innholdet som en indeks for dets verdi og potensiell tiltrekningskraft for andre kunder. Ved analogi er det i praksis et kart over ‘vannkilde-buzz’.

Innholdsbasert filtering (CBF) er mer vanskelig, men kunne potensielt gi mer relevante resultater. I datavisjonssektoren, blir det for tiden brukt en økende mengde forskning på å kategorisere videoinnhold og forsøke å avlede domener, funksjoner og høynivå-konsepter gjennom analyse av lyd og video i film- og TV-utgang.

Ett av mange forskningsprosjekter de siste fem årene som forsøker å avlede semantiske funksjoner fra innholdet i filmer, for å generere mer intelligente ‘adjasent’ anbefalinger. Kilde: https://arxiv.org/pdf/1701.00199.pdf

Men dette er en relativt ny tilnærming, og knyttet til den nåværende, mer generelle kampen til å kvantifisere, isolere og utnytte høynivå-konsepter og funksjoner i domenekunnskap.

Hvem bruker Collaborative Filtering?

På tidspunktet for skriving, forble Netflix’ kritiserende anbefalingsmotor fortsatt fokusert på ulike collaborative filtering-tilnærminger, anvendende en rekke tilleggs-teknologier i pågående forsøk på å generere mer bruker-relevante anbefalinger.

Amazons søkemotor utviklet seg fra sin tidlige tilnærming til bruker-basert collaborative filtering til en vare-til-vare collaborative filtering-metode, som legger større vekt på kundens kjøpehistorikk. Naturligvis kan dette føre til ulike typer uakkuratheit, som filter-bobler, eller over-vekting på sparsomme data. I det siste tilfelle, hvis en sjelden Amazon-kunde gjør en ‘usannsynlig’ kjøp, som et sett med operetter for en operael-skende venn, kan det ikke være nok alternative kjøp som reflekterer kundens egne preferanser for å stoppe dette kjøpet fra å bli en innflytelse på deres egne anbefalinger.

Collaborative filtering brukes også omfattende av Facebook, i kombinasjon med andre tilnærminger, og også av LinkedIn, YouTube og Twitter.

Først publisert 2. mars 2022.