Um sistema de recomendação de alma gêmea baseado apenas em imagens

Pesquisadores do Reino Unido usaram redes neurais para desenvolver um sistema de recomendação totalmente baseado em imagens para correspondências de namoro online, que leva em conta apenas se dois usuários se sentem atraídos pelas fotos um do outro (em vez de informações de perfil como emprego, idade, etc.) e descobriram que ele supera sistemas menos "superficiais" em termos de obtenção de uma correspondência precisa.

O sistema resultante é chamado de Recomendação Recíproca Baseada em Imagens Temporais (TIRR) e usa Redes Neurais Recorrentes (RNNs) para interpretar a predileção histórica do usuário por rostos que ele ou ela encontra enquanto procura por possíveis correspondências.

O processo de papel tem direito – talvez de forma desanimadora – As fotos são tudo o que você precisa para recomendações recíprocas em encontros on-line, e vem de dois pesquisadores da Universidade de Bristol, aprimorando notavelmente um sistema semelhante (chamado ImRec) lançado pela mesma equipe em 2020.

Em testes, o sistema obteve precisão de ponta em sua capacidade de prever recíproca correspondências entre usuários, melhorando não apenas o trabalho dos pesquisadores de 2020, mas também outros sistemas de recomendação recíproca de namoro baseados em conteúdo que levam em conta informações mais detalhadas e baseadas em texto em perfis de namoro.

Conjunto de dados de encontros no mundo real

O TIRR foi treinado com base em informações de usuários fornecidas por um serviço de namoro online "popular" e não identificado, com "vários milhões de usuários registrados", que só permite que os usuários se comuniquem depois que cada um "curtir" o perfil do outro. O subconjunto de dados utilizado incluiu 200,000 participantes, divididos igualmente entre homens e mulheres, e aproximadamente 800,000 preferências expressas pelos usuários em todos os perfis de namoro.

Uma vez que o serviço de namoro anônimo que fornece os dados suporta apenas correspondências heterossexuais, apenas correspondências entre homens e mulheres foram abordadas na pesquisa.

O TIRR melhora os projetos anteriores de sistemas de recomendação recíproca (RRS) neste campo, calculando diretamente a probabilidade de uma correspondência entre dois perfis, com base apenas em imagens de perfil. Em vez disso, os sistemas anteriores previam duas preferências unidirecionais e depois as agregavam para obter uma previsão.

Os pesquisadores excluíram usuários que haviam sido removidos do serviço de namoro (por qualquer motivo, incluindo saída voluntária) e perfis que não incluíam fotos com base no rosto.

Os históricos do usuário foram limitados a um ano atrás, a fim de evitar possíveis anomalias que possam ocorrer à medida que o site de namoro ajusta seus algoritmos ao longo do tempo. Eles também foram limitados a um máximo de 15 preferências do usuário, uma vez que se mostraram suficientes para provar o design do modelo, enquanto o uso mais extensivo de preferências prejudicou o desempenho e aumentou os tempos de treinamento.

Além disso, alguns dos usuários mais ávidos ou de longo prazo tinham histórias com milhares de preferências, o que pode ter arriscado distorcer o peso dos recursos obtidos e prolongar ainda mais os tempos de treinamento.

rede siamesa

O TIRR é formulado usando um rede siamesa, normalmente usado para aprendizagem 'única'.

Um modelo de rede siamesa, onde redes neurais convolucionais (CNNs) paralelas compartilham pesos, mas não dados. Eles também compartilham uma função de perda derivada das saídas de cada CNN e um rótulo de verdade de campo.  Fonte: https://arxiv.org/pdf/2108.11714.pdf

A rede foi treinada usando entropia cruzada binária, uma função de perda comum em redes neurais, e que os pesquisadores descobriram fornecer resultados superiores em comparação com perda contrastiva. Este último é mais eficaz em sistemas que avaliam a paridade entre duas faces, mas como esse não é o objetivo do TIRR, é uma abordagem que tem baixo desempenho nesse contexto.

É necessário que o sistema retenha e desenvolva as informações que ele desenvolve à medida que o treinamento itera muitas vezes sobre os mesmos dados, e a rede siamesa no TIRR usa um LSTM (Long Term Short-Term Memory) rede para tomar essas decisões e para garantir que os recursos considerados relevantes não sejam descartados ad hoc à medida que a estrutura constrói seus insights.

A arquitetura de rede Siamese específica para TIRR.

Os pesquisadores descobriram que a rede treinou muito lentamente quando todos os dados foram inseridos e, posteriormente, dividiram o treinamento em três etapas, usando três subconjuntos diferentes de dados. Há uma vantagem adicional nisso, pois os experimentos dos pesquisadores em 2020 já haviam demonstrado que treinar os conjuntos de dados masculino e feminino separadamente melhora o desempenho de um sistema de recomendação recíproca.

A divisão de sessões de treinamento separadas para a rede siamesa do TIRR.

Testes

Para avaliar o desempenho do TIRR, os pesquisadores separaram parte dos dados obtidos e os executaram no sistema totalmente convergente. No entanto, como o sistema é bastante novo, não há sistemas anteriores diretamente análogos aos quais ele possa ser comparado.

Portanto, os pesquisadores primeiro estabeleceram uma curva característica de operação do receptor (ROC) linha de base para a rede Siamese, antes de usar a Aproximação de Manifold Uniforme e Projeção para Redução de Dimensionalidade (UMAP) para diminuir os vetores de 128 dimensões para facilitar a visualização, a fim de estabelecer um fluxo coerente de gostos e desgostos.

À esquerda, o ROC da rede siamesa como um indicador básico de desempenho; à direita, a visualização UMAP mostra "curtidas" em vermelho e "não curtidas" em preto.

O TIRR foi testado em sistemas de filtragem colaborativa e baseados em conteúdo com um âmbito semelhante, incluindo o trabalho anterior dos pesquisadores ImRec (veja acima) e RECON, um RRS de 2010, bem como os algoritmos de filtragem colaborativa FCR (um RRS de namoro de 2015 com base no conteúdo de texto de perfis de namoro) e LFRR (um projeto semelhante de 2019).

Em todos os casos, o TIRR foi capaz de oferecer precisão superior, embora apenas marginalmente comparado ao LFRR, possivelmente indicando fatores de correlação entre o conteúdo do texto do perfil e o nível percebido de atratividade das fotos de perfil dos sujeitos.

A quase paridade entre o TIRR baseado em imagens e o LFRR mais baseado em texto permite pelo menos duas possibilidades: que a percepção dos usuários sobre a atratividade visual seja influenciada pelo conteúdo de texto dos perfis; ou que o conteúdo de texto receba maior atenção e aprovação do que poderia ter ocorrido se a imagem associada não fosse percebida como atraente.

Por razões óbvias, a equipe de pesquisa não pode liberar o conjunto de dados ou o código-fonte do TIRR, mas incentiva outras equipes a duplicar e confirmar sua abordagem.

nb As imagens usadas na ilustração principal são de thispersondoesnotexist.com.