基于图像的人工智能配对推荐系统

英国研究人员使用神经网络开发了一种仅基于用户是否对彼此的照片感兴趣的在线约会配对推荐系统（而不是考虑个人资料信息，如工作、年龄等），并发现它在获得准确匹配方面优于其他“不那么肤浅”的系统。

该系统被称为时间图像基于互惠推荐（TIRR），它使用循环神经网络（RNNs）来解释用户在浏览潜在匹配时遇到的面部的历史偏好。

论文的标题是——也许令人沮丧的——在线约会中只需要照片进行互惠推荐，由布里斯托大学的两位研究人员撰写，显著改进了他们2020年发布的类似系统（称为ImRec）。

在测试中，该系统在预测用户之间的互惠匹配方面获得了最先进的准确性，不仅优于研究人员2020年的工作，也优于其他考虑更多详细文本信息的内容基于在线约会互惠推荐系统。

真实世界约会数据集

TIRR是在一个匿名的在线约会服务上训练的，该服务有数百万注册用户，只允许用户相互“喜欢”对方的个人资料后才能进行通信。使用的数据子集包括20万个对象，男女均等，约有80万个用户表达的偏好，涵盖所有约会个人资料。

由于提供数据的匿名约会服务仅支持异性恋匹配，因此研究仅涵盖了男女匹配。

TIRR通过直接计算两个个人资料之间的匹配概率（仅基于个人资料图像）来改进以前的互惠推荐系统（RRS）设计。以前的系统预测两个单向偏好，然后将它们聚合以获得预测。

研究人员排除了因任何原因被删除的用户（包括自愿离开），并排除了不包含面部照片的个人资料。

用户历史记录仅限于一年，为了避免潜在的异常，这些异常可能会随着时间的推移而发生，因为约会网站会调整其算法。它们还被限制为最多15个用户偏好，因为这些被证明足以证明模型设计，而更广泛的偏好会降低性能并增加训练时间。

此外，一些更热心或长期的用户有成千上万的偏好，这可能会偏斜所获得的特征的权重，并进一步延长训练时间。

孪生网络

TIRR使用孪生网络，通常用于“一次性”学习。

一个模板孪生网络，其中并行卷积神经网络（CNNs）共享权重但不共享数据。它们还共享来自每个CNN输出的损失函数和真实标签。来源：https://arxiv.org/pdf/2108.11714.pdf

该网络使用二元交叉熵训练，这是神经网络中常见的损失函数，研究人员发现它比对比损失更好。后者在评估两个面部之间的奇偶性时最有效，但由于这不是TIRR的目标，因此这种方法在此背景下效果较差。

为了保留和建立系统在训练过程中多次迭代相同数据时开发的信息，TIRR中的孪生网络使用LSTM（长短期记忆）网络来做出这些决定，并确保相关特征不会被随意丢弃，因为框架建立了其见解。

TIRR的具体孪生网络架构。

研究人员发现，当所有数据都输入时，网络训练速度非常慢，因此他们将训练分为三个阶段，使用三个不同的数据子集。这样做还有额外的好处，因为他们2020年的实验已经证明，将男性和女性数据集分别训练可以提高互惠推荐系统的性能。

TIRR孪生网络的训练会话分解。

测试

为了评估TIRR的性能，研究人员保留了一部分获得的数据，并将其输入到完全收敛的系统中。然而，由于该系统相当新颖，因此没有直接类似的先前系统可以与之比较。

因此，研究人员首先为孪生网络建立了一个接收者操作特性（ROC）曲线基线，然后使用统一流形近似和投影（UMAP）来减少128维向量，以便于可视化，并建立喜欢和不喜欢的连贯流程。

左边，孪生网络的ROC作为性能的基准指标；右边，UMAP可视化显示“喜欢”为红色，“不喜欢”为黑色。

TIRR被测试与具有类似范围的协同过滤和内容基于系统进行比较，包括研究人员之前的工作ImRec（见上文），以及RECON，一个2010年的RRS，以及协同过滤算法RCF（2015年基于文本内容的在线约会RRS）和LFRR（2019年类似项目）。

在所有情况下，TIRR都能够提供更高的准确性，尽管与LFRR相比仅略有提高，这可能表明个人资料文本内容和个人资料照片的吸引力之间存在相关因素。

TIRR与基于文本的LFRR之间的近似平等允许至少有两种可能性：用户对视觉吸引力的感知受到个人资料文本内容的影响；或者文本内容比可能没有被认为是吸引人的相关图片所获得的更多关注和赞同。

由于明显的原因，研究团队无法发布TIRR的数据集或源代码，但鼓励其他团队复制和确认他们的方法。

n.b 主要插图中使用的图像来自thispersondoesnotexist.com。