Por que a IA não fornece melhores recomendações de produtos

Se você está interessado em coisas obscuros, há duas razões pelas quais suas buscas por itens e produtos são provavelmente menos relacionadas aos seus interesses do que as de seus pares “mainstream”; ou você é um caso de “edge” de monetização cujos interesses só serão atendidos se você também estiver nas categorias superiores de poder de compra econômico (por exemplo, produtos e serviços relacionados à ‘gestão de patrimônio’); ou os algoritmos de busca que você está usando estão utilizando filtragem colaborativa (FC), que favorece os interesses da maioria.

Desde que a filtragem colaborativa é mais barata e estabelecida do que outros algoritmos e estruturas potencialmente mais capazes, é possível que ambos os casos sejam aplicáveis.

Os resultados de busca baseados em FC priorizarão itens que são percebidos como populares entre “pessoas como você”, da melhor forma que o framework hospedeiro possa entender que tipo de consumidor você é.

Se você é cauteloso em fornecer informações de perfil de dados ao sistema hospedeiro – por exemplo, não inclinado a pressionar os botões “Curtir” no Netflix e em outros serviços de conteúdo de vídeo – você provavelmente será classificado de forma genérica em suas primeiras interações com o sistema, e as recomendações que você receberá refletirão as tendências mais populares.

Em uma plataforma de streaming, isso pode significar ser recomendado o que os shows e filmes estão “quentes” no momento, como reality TV e documentários de assassinato forense, independentemente do seu interesse nesses. Da mesma forma para plataformas de recomendação de livros, que tenderão a oferecer best-sellers atuais e recentes, aparentemente de forma arbitrária.

Em teoria, mesmo os usuários que são circunspectos em relação aos dados devem eventualmente obter melhores resultados desses sistemas com base na forma como eles usam e nas coisas que eles procuram, desde que a maioria dos frameworks de busca dê aos usuários uma capacidade limitada de editar seu histórico de uso.

Qualquer Cor que Você Goste, desde que seja Preto

Entretanto, de acordo com um novo estudo da Áustria, a ascensão da filtragem colaborativa sobre filtragem baseada em conteúdo (que busca definir relações entre produtos em vez de apenas considerar a popularidade agregada), e outras abordagens alternativas, inclina os sistemas de busca para longo prazo viés de popularidade, onde resultados obviamente populares são empurrados para os usuários finais que são improváveis de serem entusiastas por eles.

O artigo descobre que os usuários que não estão interessados em itens populares recebem “significativamente piores” recomendações do que os usuários com interesse médio ou alto em popularidade, e (talvez tautologicamente) que itens populares são recomendados com mais frequência do que itens impopulares. Os pesquisadores também concluem que os usuários com baixo interesse em itens populares tendem a ter perfis de usuário maiores que poderiam potencialmente melhorar os sistemas de recomendação – se apenas os sistemas pudessem abandonar sua dependência de métricas de “manada”.

Comparando popularidade com complexidade de perfis de usuário mostra que usuários ‘marginais’ desinteressados em conteúdo mainstream realmente têm mais potencial de conteúdo para os sistemas de recomendação explorarem; mas como esses usuários não se conformam às tendências, parece ser uma oportunidade perdida. Fonte: https://arxiv.org/pdf/2203.00376.pdf

O artigo é intitulado Viés de Popularidade em Sistemas de Recomendação de Mídia Baseados em Filtragem Colaborativa, e vem de pesquisadores da agora-Center GmbH em Graz, e da Universidade Técnica de Graz.

Domínios Cobertos

Construindo sobre trabalhos anteriores que estudaram setores individuais (como recomendações de livros), o novo artigo examina quatro domínios: livros digitais (via o conjunto de dados BookCrossing); filmes (via MovieLens); música (via Last.fm); e animes (via MyAnimeList).

O estudo aplicou quatro algoritmos de recomendação de mídia colaborativa (MMRS) populares contra conjuntos de dados divididos em três grupos de usuários, de acordo com sua inclinação para ser receptivo a resultados “populares”: LowPop, MedPop e HighPop. Os grupos de usuários foram filtrados para 1000 grupos de tamanho igual, com base na menor, média e mais provável de favorecer resultados “populares”.

Comentando sobre os resultados, os autores afirmam:

‘[Nós] descobrimos que a probabilidade de um item de mídia ser recomendado fortemente correlaciona com a popularidade desse item [e] que os usuários com menor inclinação para popularidade (LowPop) recebem recomendações de mídia significativamente piores do que os usuários com inclinação média (MedPop) e alta (HighPop) para itens populares… ‘

‘Nossos resultados demonstram que, embora os usuários com pouco interesse em itens populares tendam a ter os maiores perfis de usuário, eles recebem a menor precisão de recomendação. Portanto, é necessário realizar pesquisas futuras para mitigar o viés de popularidade em MMRS, tanto no nível do item quanto no nível do usuário.’

Entre os algoritmos avaliados estavam dois variantes de K-Nearest Neighbors (KNN), UserKNN e UserKNNAvg. O primeiro não gera uma classificação média para o usuário e item de destino. Um não negativo fator de matriz variante (NMF) também foi testado, junto com um algoritmo de CoClustering.

O protocolo de avaliação considerou a tarefa de recomendação como um desafio de previsão, medido pelos pesquisadores em termos de erro absoluto médio (MAE), contra um protocolo de validação cruzada de cinco vezes que excede a divisão usual de 80/20 entre dados treinados e de teste.

Os resultados indicam uma garantia quase certa de viés de popularidade sob filtragem colaborativa. A pergunta, arguivelmente, é se isso é percebido como um problema pelas empresas de multi-bilhões de dólares que atualmente incorporam FC em seus algoritmos de busca.

Em todos os quatro conjuntos de dados estudados sobre quatro recomendações de filtragem colaborativa populares, cada resultado indica que itens de mídia populares são mais prováveis de serem recomendados do que ofertas impopulares.

A Maneira “Fácil” de Sair

Embora a filtragem colaborativa seja cada vez mais usada como apenas uma parte de uma estratégia de algoritmo de busca mais ampla, ela tem uma participação significativa no setor de busca, e sua lógica e potencial rentabilidade são atraentemente fáceis de entender.

Em si, a FC basicamente transfere a tarefa de avaliar o valor do conteúdo para os usuários finais, e usa a adoção do conteúdo como um índice de seu valor e potencial atração para outros clientes. Por analogia, é basicamente um mapa de “conversa de água fria”.

A filtragem baseada em conteúdo (CBF) é mais difícil, mas pode potencialmente fornecer resultados mais relevantes. No setor de visão computacional, uma quantidade crescente de pesquisa está sendo atualmente realizada para categorizar o conteúdo de vídeo e tentar derivar domínios, recursos e conceitos de alto nível por meio da análise de áudio e vídeo em saídas de filmes e TV.

Um dos muitos projetos de pesquisa nos últimos cinco anos que tenta derivar recursos semânticos do conteúdo de filmes para gerar recomendações mais inteligentes ‘adjacentes’. Fonte: https://arxiv.org/pdf/1701.00199.pdf

Entretanto, isso é um empreendimento relativamente nascente, e ligado à luta atual, mais geral, para quantificar, isolar e explorar conceitos e recursos de alto nível em conhecimento de domínio.

Quem Usa Filtragem Colaborativa?

No momento da escrita, o motor de recomendação da Netflix, frequentemente criticado, permanece fixado em várias abordagens de filtragem colaborativa, aplicando uma variedade de tecnologias auxiliares em tentativas contínuas de gerar recomendações mais relevantes para o usuário.

O mecanismo de busca da Amazon evoluiu de sua adoção inicial de filtragem colaborativa baseada em usuário para um método de filtragem colaborativa de item para item, que dá mais ênfase ao histórico de compras do cliente. Naturalmente, isso pode levar a diferentes tipos de imprecisão, como bolhas de filtro, ou ênfase excessiva em dados escassos. Neste último caso, se um cliente infrequente da Amazon fizer uma compra “incomum”, como um conjunto de operetas para um amigo que ama ópera, pode não haver compras alternativas suficientes que reflitam as preferências do cliente para evitar que essa compra se torne uma influência em suas próprias recomendações.

A filtragem colaborativa também é usada extensivamente pelo Facebook, em conjunto com outras abordagens, e também pelo LinkedIn, YouTube e Twitter.

Publicado pela primeira vez em 2 de março de 2022.