Hvorfor AI ikke giver bedre produktanbefalinger

Hvis du er interesseret i obskure ting, er der to grunde til, at dine søgninger efter varer og produkter sandsynligvis vil være mindre relateret til dine interesser end dem fra dine ‘mainstream’-ligemænd; enten er du en monetarisk ‘edge case’, hvis interesser kun vil blive tilgodeset, hvis du også er i de øvre kategorier af økonomisk købekraft (f.eks. produkter og tjenester relateret til ‘formueforvaltning’); eller søger algoritmerne, du bruger, sammenligning af filtrering (CF), som favoriserer interesserne hos flertallet.

Da sammenligning af filtrering er billigere og mere etableret end andre potentielt mere kapable algoritmer og rammer, er det muligt, at begge disse tilfælde gælder.

CF-baserede søgeresultater vil prioritere elementer, der opfattes som populære blandt ‘personer som dig’, så godt værtsrammen kan forstå, hvilken slags forbruger du er.

Hvis du er forsigtig med at give dataprofilering til værtsystemet – f.eks. ikke er tilbøjelig til at trykke på ‘Lide’-knapperne i Netflix og andre videoindholdstjenester – er du sandsynligvis klassificeret ret generisk i dine tidligste interaktioner med systemet, og anbefalingerne du modtager, vil afspejle de mest populære trends.

På en streamingplatform kan det betyde, at du bliver anbefalet shows og film, der pt. er ‘hot’, som reality-tv og retsmedicinske morddokumentarer, uanset din interesse for disse. Ligeså for boganbefalingsplatforme, der tenderer til at tilbyde aktuelle og nyere bestsellere, tilsyneladende arbitrært.

I teorien bør selv data-forsigtige brugere til sidst få bedre resultater fra sådanne systemer baseret på, hvordan de bruger dem og hvad de søger efter, da de fleste søgeframeworks giver brugerne begrænsede muligheder for at redigere deres brugs historik.

Enhver farve du kan lide, så længe det er sort

Men ifølge en ny undersøgelse fra Østrig favoriserer sammenligning af filtrering over indholdsbaseret filtrering (som søger at definere relationer mellem produkter i stedet for kun at tage samlet popularitet i betragtning) og andre alternative tilgange, søgeresultaterne mod langsigtede popularitetsforvrængning, hvor åbenlyst populære resultater presses mod slutbrugere, der sandsynligvis ikke er begejstrede for dem.

Arbejdet finder, at brugere, der ikke er interesseret i populære elementer, modtager ‘significativt dårligere’ anbefalinger end brugere med medium eller høj interesse for popularitet, og (muligvis tautologisk) at populære elementer anbefales hyppigere end upopulære elementer. Forskerne konkluderer også, at brugere med lav interesse for populære elementer tenderer til at have større brugerprofiler, der potentielt kunne forbedre anbefalningssystemer – hvis systemerne kun kunne af med deres afhængighed af ‘hjordemålinger’.

Sammenligning af popularitet med kompleksitet af brugerprofiler viser, at ‘marginale’ brugere, der ikke er interesseret i mainstream-indhold, faktisk har mere potentiale til indhold, som anbefalningssystemer kan udnytte; men da sådanne brugere ikke konformerer sig til trends, synes det at være en tabt mulighed. Kilde: https://arxiv.org/pdf/2203.00376.pdf

Den rapport er titlen Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems og kommer fra forskere ved nu-Center GmbH i Graz og Graz Universitet for Teknologi.

Dækning af domæner

Bygget på tidligere arbejder, der studerede enkeltsektorer (såsom boganbefalinger), undersøger den nye rapport fire domæner: digitale bøger (via BookCrossing-datasættet); film (via MovieLens); musik (via Last.fm); og animes (via MyAnimeList).

Studiet anvendte fire populære multimedieanbefalingsalgoritmer (MMRS) sammenligning af filtrering mod datasæt split i tre brugergrupper, efter deres tilbøjelighed til at være modtagelige for ‘populære’ resultater: LowPop, MedPop og HighPop. Brugergrupperne blev filtreret ned til 1000 lige store grupper, baseret på mindst, gennemsnit og mest sandsynlig til at favorisere ‘populære’ resultater.

I kommentar til resultaterne udtaler forfatterne:

‘[Vi] finder, at sandsynligheden for, at et multimedieelement bliver anbefalet, stærkt korrelerer med dette elements popularitet [og] at brugere, der ikke er interesseret i populære elementer, modtager statistisk signifikant dårligere multimedieanbefalinger end brugere med medium eller høj tilbøjelighed til populære elementer…

‘Vore resultater viser, at selv om brugere med lidt interesse for populære elementer tenderer til at have de største brugerprofiler, modtager de lavest anbefalingsnøjagtighed. Derfor er der behov for fremtidig forskning for at mindske popularitetsforvrængning i MMRS, både på element- og brugerniveau.’

Blandt de algoritmer, der blev evaluaret, var to K-Nearest Neighbors (KNN)-varianter, UserKNN og UserKNNAvg. Den første af disse genererer ikke en gennemsnitsvurdering for målbrugeren og -elementet. En ikke-negativ matrixfaktorisering-variant (NMF) blev også testet, sammen med en CoClustering-algoritme.

Evalueringen tog anbefalingsopgaven som en forudsigelsesudfordring, målt af forskerne i form af gennemsnitlig absolut fejl (MAE), mod en femfold cross-valideringsprotokol, der overstiger den sædvanlige 80/20-splitning mellem trænet og testdata.

Resultaterne viser en næsten-garanti for popularitetsforvrængning under sammenligning af filtrering. Spørgsmålet, kan man argumentere for, er, om dette opfattes som et problem af de multibillion-dollars virksomheder, der pt. inkorporerer CF i deres søgealgoritmer.

Over alle fire datasæt, der blev studeret over fire populære sammenligning af filtreringsanbefalinger, viser hver resultater, at populære medieelementer er mere sandsynlig at blive anbefalet end upopulære tilbud.

Den ‘lette’ udvej

Selv om sammenligning af filtrering i stigende grad bruges som kun en del af en bredere søgealgoritme-strategi, har det en stærk interesse i søge-sektoren, og dens logik og potentielle profitabilitet er attraktivt let at forstå.

I sig selv afhænger sammenligning af filtrering essentielt opgaven med at evaluere indholdsværdi til slutbrugere og bruger deres optagelse af indholdet som en indeks for dets værdi og potentiel tiltrækning for andre kunder. Ved analogi er det essentielt et kort over ‘vandkøler-snak’.

Indholdsbaseret filtrering (CBF) er mere svært, men kunne potentielt give mere relevante resultater. I computersektoren er der pt. en øget mængde forskning, der pt. udgives på at kategorisere videoindhold og forsøge at udlede domæner, funktioner og højt niveau koncepter gennem analyse af lyd og video i film- og tv-udsendelser.

Et af mange forskningsprojekter over de sidste fem år, der forsøger at udlede semantiske funktioner fra indholdet af film for at generere mere intelligente ‘adjacent’ anbefalinger. Kilde: https://arxiv.org/pdf/1701.00199.pdf

Men dette er en relativt ny tilgang, og er bundet op i den nuværende, mere generelle kamp for at kvantificere, isolere og udnytte højt niveau koncepter og funktioner i domæneviden.

Qui bruger sammenligning af filtrering?

På tidspunktet for skrivningen er Netflix’s ofte-kritiserede anbefalingsmotor stadig fast besluttet på forskellige sammenligning af filtrerings-tilgange, anvender en række tillægs-teknologier i fortsatte forsøg på at generere mere bruger-relevante anbefalinger.

Amazon’s søgemaskine udviklede sig fra sin tidlige tilgang til bruger-baseret sammenligning af filtrering til en vare-vare-sammenligning af filtrering-metode, som lægger større vægt på kundens købs historik. Naturligvis kan dette føre til forskellige typer af fejl, såsom filterbobler, eller overbetoning af sparsomme data. I sidstnævnte tilfælde, hvis en sjælden Amazon-kunde foretager en ‘usædvanlig’ køb, såsom et sæt operetter til en opera-elskende ven, kan der ikke være nok alternative køb, der afspejler kundens egne præferencer for at forhindre, at dette køb bliver en indflydelse på deres egne anbefalinger.

Sammenligning af filtrering bruges også omfattende af Facebook, i koncert med andre tilgange, og også af LinkedIn, YouTube og Twitter.

Udgivet første gang 2. marts 2022.