Perché l'intelligenza artificiale non fornisce consigli sui prodotti migliori

Se sei interessato a cose oscure, ci sono due motivi per cui è probabile che le tue ricerche di articoli e prodotti siano meno correlate ai tuoi interessi rispetto a quelle dei tuoi colleghi "tradizionali"; o sei un "caso limite" di monetizzazione i cui interessi saranno soddisfatti solo se sei anche nelle categorie superiori del potere d'acquisto economico (ad esempio, prodotti e servizi relativi a 'gestione patrimoniale'); o gli algoritmi di ricerca che stai utilizzando stanno sfruttando filtraggio collaborativo (CF), che favorisce gli interessi della maggioranza.

Poiché il filtraggio collaborativo è più economico e più consolidato rispetto ad altri algoritmi e framework potenzialmente più capaci, è possibile che entrambi questi casi si applichino.

I risultati di ricerca basati su CF daranno la priorità agli elementi che sono percepiti come popolari tra "persone come te", poiché il framework host può capire meglio che tipo di consumatore sei.

Se sei cauto nel fornire informazioni di profilazione dei dati al sistema host, ad esempio non sei incline a premere i pulsanti "Mi piace" su Netflix e altri servizi di contenuti video, è probabile che verrai classificato in modo piuttosto generico nelle tue prime interazioni con il sistema e le raccomandazioni che riceverai rifletteranno le tendenze più popolari.

Su una piattaforma di streaming, ciò potrebbe significare ricevere consigli su qualsiasi programma e film attualmente "caldo", come reality TV e documentari sugli omicidi forensi, indipendentemente dal tuo interesse per questi. Allo stesso modo per le piattaforme di raccomandazione di libri, che tenderanno a offrire best-seller attuali e recenti, apparentemente arbitrariamente.

In teoria, anche gli utenti attenti ai dati dovrebbero alla fine ottenere risultati migliori da tali sistemi in base al modo in cui li utilizzano e alle cose che cercano, poiché la maggior parte dei framework di ricerca offre agli utenti una capacità limitata di modificare la cronologia di utilizzo.

Qualsiasi colore ti piaccia, basta che sia nero

Tuttavia, secondo un nuovo studio dall'Austria, l'ascesa del filtraggio collaborativo è finita filtraggio basato sul contenuto (che cerca di definire le relazioni tra i prodotti invece di prendere in considerazione solo la popolarità aggregata) e altri approcci alternativi, inclina i sistemi di ricerca verso il lungo termine pregiudizio di popolarità, in cui i risultati ovviamente popolari vengono spinti verso gli utenti finali che difficilmente ne saranno entusiasti.

Il documento rileva che gli utenti che non sono interessati agli articoli popolari ricevono raccomandazioni "significativamente peggiori" rispetto agli utenti con un interesse medio o alto per la popolarità e (forse tautologicamente) che gli articoli popolari sono consigliati più frequentemente degli articoli impopolari. I ricercatori concludono inoltre che gli utenti con scarso interesse per gli articoli popolari tendono ad avere profili utente più ampi che potrebbero potenzialmente migliorare i sistemi di raccomandazione, se solo i sistemi riuscissero a eliminare la loro dipendenza dalle metriche del "gregge".

Il confronto tra popolarità e complessità dei profili utente mostra che gli utenti "marginali" disinteressati ai contenuti tradizionali hanno in realtà più contenuti potenziali da estrarre per i sistemi di raccomandazione; ma poiché tali utenti non si conformano alle tendenze, sembra essere un'occasione persa. Fonte: https://arxiv.org/pdf/2203.00376.pdf

I carta è intitolato Bias di popolarità nei sistemi di raccomandazione multimediali basati su filtri collaborativi, e proviene dai ricercatori dell'attuale Center GmbH di Graz e dell'Università di tecnologia di Graz.

Domini coperti

Basandosi su lavori precedenti che studiavano singoli settori (come le raccomandazioni sui libri), il nuovo documento esamina quattro ambiti: libri digitali (tramite il set di dati BookCrossing); film (via Obiettivo del film); musica (via Last.fm); e anime (tramite MyAnimeList).

Lo studio ha applicato quattro popolari algoritmi di filtraggio collaborativo dei sistemi di raccomandazione multimediale (MMRS) rispetto ai set di dati dividere in tre gruppi di utenti, in base alla loro propensione ad essere ricettivi ai risultati 'popolari': BassoPop, MedPope HighPop. I gruppi di utenti sono stati filtrati fino a 1000 gruppi di dimensioni uguali, in base ai risultati minimo, medio e più probabile per favorire i risultati "popolari".

Commentando i risultati, gli autori affermano:

"[Riteniamo] che la probabilità che un articolo multimediale venga raccomandato è fortemente correlata alla popolarità di questo articolo [e] che gli utenti con minore inclinazione alla popolarità (LowPop) ricevono raccomandazioni multimediali statisticamente significativamente peggiori rispetto agli utenti con media (MedPop) e alta (HighPop) inclinazione per articoli popolari...

"I nostri risultati dimostrano che, sebbene gli utenti con scarso interesse per gli articoli popolari tendano ad avere i profili utente più grandi, ricevono la minore precisione di raccomandazione. Quindi, sono necessarie ricerche future per mitigare il bias di popolarità nell'MMRS, sia a livello di articolo che di utente.'

Tra gli algoritmi valutati ce n'erano due K-vicini più vicini (KNN) varianti, UtenteKNN e UserKNNAvg. Il primo di questi non genera una valutazione media per l'utente e l'elemento di destinazione. UN non negativo fattorizzazione di matrici è stata testata anche la variante (NMF), insieme a un algoritmo di CoClustering.

Il protocollo di valutazione ha considerato l'attività di raccomandazione come una sfida di previsione, misurata dai ricercatori in termini di errore assoluto medio (MAE), rispetto a un protocollo di convalida incrociata di cinque volte che supera la consueta suddivisione 80/20 tra dati addestrati e dati di test.

I risultati indicano un bias di popolarità quasi garantito sotto filtraggio collaborativo. La domanda, probabilmente, è se questo sia percepito come un problema dalle società multimiliardarie che attualmente incorporano CF nei loro algoritmi di ricerca.

In tutti e quattro i set di dati studiati in base a quattro popolari consigli di filtraggio collaborativo, ogni risultato indica che gli elementi multimediali popolari hanno maggiori probabilità di essere consigliati rispetto alle offerte impopolari.

La "facile" via d'uscita

Sebbene il filtraggio collaborativo sia sempre più utilizzato come solo un asse di una più ampia strategia di algoritmo di ricerca, ha un forte interesse nel settore della ricerca e la sua logica e la potenziale redditività sono facilmente comprensibili.

Di per sé, CF essenzialmente scarica il compito di valutare il valore del contenuto agli utenti finali e utilizza il loro assorbimento del contenuto come indice del suo valore e della potenziale attrattiva per altri clienti. Per analogia, è essenzialmente una mappa del "ronzio del refrigeratore d'acqua".

Il filtraggio basato sui contenuti (CBF) è più difficile, ma potrebbe potenzialmente fornire risultati più pertinenti. Nel settore della visione artificiale, una quantità crescente di ricerca viene attualmente spesa per categorizzare contenuti video e cercando di derivare domini, funzionalità e concetti di alto livello attraverso l'analisi di audio e video nell'output di film e TV.

Uno dei tanti progetti di ricerca degli ultimi cinque anni che tenta di ricavare caratteristiche semantiche dal contenuto dei film, al fine di generare raccomandazioni "adiacenti" più intelligenti. Fonte: https://arxiv.org/pdf/1701.00199.pdf

Tuttavia, questa è una ricerca relativamente nascente e legata all'attuale, più generale lotta per quantificare, isolare e sfruttare concetti e caratteristiche di alto livello nella conoscenza del dominio.

Chi utilizza il filtro collaborativo?

Al momento in cui scrivo, Netflix's spesso criticato il motore di raccomandazione rimane fissato su vari approcci di filtraggio collaborativo, applicandone una varietà tecnologie aggiuntive nei continui tentativi di generare raccomandazioni più rilevanti per l'utente.

Il motore di ricerca di Amazon si è evoluta dall'adozione precoce del filtraggio collaborativo basato sull'utente a un metodo di filtraggio collaborativo articolo per articolo, che pone maggiore enfasi sulla cronologia degli acquisti del cliente. Naturalmente, questo può portare a diversi tipi di imprecisioni, come ad esempio bolle di filtroo enfasi eccessiva su dati sparsi. In quest'ultimo caso, se un cliente Amazon occasionale effettua un acquisto "insolito", come un set di operette per un amico amante dell'opera, potrebbero non esserci acquisti alternativi adeguati che riflettano le preferenze del cliente per evitare che questo acquisto diventi un influenza sulle proprie raccomandazioni.

Il filtraggio collaborativo è ampiamente utilizzato anche da Facebook, di concerto con altri approcci, e anche da LinkedIn, YouTube e Twitter.

Pubblicato per la prima volta il 2 marzo 2022.