Waarom AI geen betere productaanbevelingen biedt

Als je geïnteresseerd bent in obscure dingen, zijn er twee redenen waarom je zoekopdrachten voor artikelen en producten waarschijnlijk minder relevant zijn voor je interesses dan die van je ‘mainstream’ peers; of je bent een monetisatie-‘edge case’ wiens interesses alleen worden bediend als je ook in de bovenste categorieën van economische koopkracht valt (bijvoorbeeld producten en diensten gerelateerd aan ‘vermogensbeheer’); of de zoekalgoritmes die je gebruikt, maken gebruik van collaboratieve filtering (CF), die de interesses van de meerderheid bevoordelen.

Aangezien collaboratieve filtering goedkoper en meer gevestigd is dan andere mogelijk meer capabele algoritmes en kaders, is het mogelijk dat beide gevallen van toepassing zijn.

CF-gebaseerde zoekresultaten geven prioriteit aan artikelen die als populair worden beschouwd onder ‘mensen zoals jij’, voor zover het hostframework kan begrijpen wat voor soort consument je bent.

Als je terughoudend bent om gegevens over je profiel te verstrekken aan het hostsysteem – bijvoorbeeld niet geneigd om op de ‘Like’-knoppen in Netflix en andere videodiensten te drukken – word je waarschijnlijk vrij generiek geclassificeerd in je eerste interacties met het systeem, en de aanbevelingen die je ontvangt, weerspiegelen de meest populaire trends.

Op een streamingplatform kan dit betekenen dat je wordt aanbevolen om shows en films te kijken die momenteel ‘hot’ zijn, zoals reality-tv en forensische moorddocumentaires, ongeacht je interesse in deze onderwerpen. Hetzelfde geldt voor boekaanbevelingsplatforms, die de huidige en recente bestsellers zullen aanbieden, ogenschijnlijk willekeurig.

In theorie zouden zelfs gebruikers die terughoudend zijn met het verstrekken van gegevens over hun profiel, uiteindelijk betere resultaten moeten krijgen van dergelijke systemen op basis van de manier waarop ze deze gebruiken en de dingen die ze zoeken, aangezien de meeste zoekframeworks gebruikers een beperkte mogelijkheid geven om hun gebruiksgeschiedenis te bewerken.

Elke kleur die je wilt, zolang het maar zwart is

Echter, volgens een nieuwe studie uit Oostenrijk, leidt de dominantie van collaboratieve filtering boven inhoudsgebaseerde filtering (die probeert om relaties tussen producten te definiëren in plaats van alleen de geaggregeerde populariteit in aanmerking te nemen), en andere alternatieve benaderingen, ertoe dat zoeksystemen de neiging hebben om langdurige populariteitsbias te vertonen, waarbij overduidelijk populaire resultaten naar eindgebruikers worden gepusht die waarschijnlijk niet enthousiast zullen zijn over deze resultaten.

De studie toont aan dat gebruikers die niet geïnteresseerd zijn in populaire artikelen, ‘aanzienlijk slechtere’ aanbevelingen ontvangen dan gebruikers met een gemiddelde of hoge interesse in populariteit, en (misschien tautologisch) dat populaire artikelen vaker worden aanbevolen dan onpopulaire artikelen. De onderzoekers concluderen ook dat gebruikers met weinig interesse in populaire artikelen de grootste gebruikersprofielen hebben, die potentieel de aanbevelingssystemen zouden kunnen verbeteren – als de systemen maar hun verslaving aan ‘kudde’-metrieken zouden kunnen overwinnen.

Het vergelijken van populariteit met de complexiteit van gebruikersprofielen toont aan dat ‘marginale’ gebruikers die niet geïnteresseerd zijn in mainstream-inhoud, eigenlijk meer potentieel hebben voor aanbevelingssystemen om te mijnen; maar omdat deze gebruikers niet conformeren aan trends, lijkt het een verloren kans. Bron: https://arxiv.org/pdf/2203.00376.pdf

De studie heet Populariteitsbias in Collaboratieve Filtering-Gebaseerde Multimedia-Aanbevelingssystemen, en komt van onderzoekers bij now-Center GmbH in Graz, en de Technische Universiteit van Graz.

Domeinen die worden behandeld

De studie bouwt voort op eerdere werken die individuele sectoren bestudeerden (zoals boekaanbevelingen), en onderzoekt vier domeinen: digitale boeken (via de BookCrossing-dataset); films (via MovieLens); muziek (via Last.fm); en animes (via MyAnimeList).

De studie paste vier populaire multimedia-aanbevelingssystemen (MMRS) collaboratieve filtering-algoritmes toe op datasets gesplitst in drie gebruikersgroepen, volgens hun neiging om ‘populaire’ resultaten te ontvangen: LowPop, MedPop, en HighPop. De gebruikersgroepen werden gefilterd tot 1000 gelijke groepen, op basis van de minste, gemiddelde en meest waarschijnlijke populariteit.

De auteurs merken op:

‘[We] vinden dat de kans dat een multimedia-item wordt aanbevolen, sterk correleert met de populariteit van dat item [en] dat gebruikers met weinig interesse in populariteit (LowPop) aanzienlijk slechtere multimedia-aanbevelingen ontvangen dan gebruikers met een gemiddelde (MedPop) en hoge (HighPop) interesse in populaire items…

‘Onze resultaten tonen aan dat gebruikers met weinig interesse in populaire items de grootste gebruikersprofielen hebben, maar dat ze de laagste aanbevelingsnauwkeurigheid ontvangen. Daarom is toekomstig onderzoek nodig om populariteitsbias in MMRS te mitigeren, zowel op item- als op gebruikersniveau.’

Onder de geëvalueerde algoritmes waren twee K-Nearest Neighbors (KNN)-varianten, UserKNN en UserKNNAvg. De eerste van deze genereert geen gemiddelde beoordeling voor de doelgebruiker en het item. Een niet-negatieve matrixfactorisatie-variant (NMF) werd ook getest, evenals een CoClustering-algoritme.

De evaluatieprotocol beschouwde de aanbevelingstaak als een voorspellingsuitdaging, gemeten door de onderzoekers in termen van gemiddelde absolute fout (MAE), tegen een vijfvoudige crossvalidatieprotocol dat de gebruikelijke 80/20-splitsing tussen getrainde en testgegevens overschrijdt.

De resultaten geven een vrijwel garantie van populariteitsbias onder collaboratieve filtering. De vraag is, of dit als een probleem wordt beschouwd door de multibillion-dollarbedrijven die momenteel CF in hun zoekalgoritmes integreren.

Over alle vier datasets heen, onder vier populaire Collaboratieve Filtering-aanbevelingen, geeft elk resultaat aan dat populaire media-items vaker worden aanbevolen dan onpopulaire aanbiedingen.

De ‘gemakkelijke’ uitweg

Hoewel collaboratieve filtering steeds vaker wordt gebruikt als onderdeel van een bredere zoekalgoritme-strategie, heeft het een sterke positie in de zoeksector, en de logica en potentieel rendabele logica is aantrekkelijk eenvoudig te begrijpen.

Collaboratieve filtering zelf schuift in wezen de taak van het evalueren van de waarde van inhoud af naar eindgebruikers, en gebruikt hun gebruik van de inhoud als een index van de waarde en potentieel aantrekkelijkheid voor andere klanten. Door analogie is het eigenlijk een kaart van ‘waterkoeler-praat’.

Inhoudsgebaseerde filtering (CBF) is moeilijker, maar kan potentieel relevantere resultaten opleveren. In de computervisi-sector wordt op dit moment veel onderzoek gedaan naar het categoriseren van video-inhoud en het afleiden van domeinen, kenmerken en hoog niveau-concepten door analyse van audio en video in film- en tv-uitvoer.

Een van de vele onderzoeksprojecten van de afgelopen vijf jaar die probeert om semantische kenmerken af te leiden uit de inhoud van films, om intelligentere ‘aangrenzende’ aanbevelingen te genereren. Bron: https://arxiv.org/pdf/1701.00199.pdf

Echter, dit is een relatief nieuwe onderneming, en verbonden met de huidige, bredere strijd om hoog niveau-concepten en kenmerken in domeinkennis te kwantificeren, isoleren en exploiteren.

Wie gebruikt Collaboratieve Filtering?

Op het moment van schrijven, blijft de vaak bekritiseerde aanbevelingsengine van Netflix gefixeerd op verschillende collaboratieve filtering-benaderingen, waarbij een verscheidenheid aan aanvullende technologieën wordt toegepast in voortdurende pogingen om meer gebruikersspecifieke aanbevelingen te genereren.

De zoekengine van Amazon evolueerde van zijn vroege adoptie van gebruikersgebaseerde collaboratieve filtering naar een item-item collaboratieve filtering-methode, die meer nadruk legt op de aankoopgeschiedenis van de klant. Natuurlijk kan dit leiden tot verschillende soorten onnauwkeurigheid, zoals filterbubbels, of over-emphasis op schaarse gegevens. In het laatste geval, als een zeldzame Amazon-klant een ‘ongewone’ aankoop doet, zoals een set operettes voor een operaliefhebbende vriend, kan er mogelijk niet voldoende alternatieve aankopen zijn die de voorkeuren van de klant weerspiegelen om deze aankoop te stoppen van invloed te zijn op hun eigen aanbevelingen.

Collaboratieve filtering wordt ook uitgebreid gebruikt door Facebook, in combinatie met andere benaderingen, en ook door LinkedIn, YouTube en Twitter.

Origineel gepubliceerd op 2 maart 2022.