Система рекомендаций AI Soulmate, основанная только на изображениях

Исследователи из Великобритании использовали нейронные сети для разработки полностью основанной на изображениях рекомендательной системы для онлайн-знакомств, которая учитывает только то, привлекают ли двух пользователей фотографии друг друга (а не информацию профиля, такую ​​как работа, возраст и т. д.). ) и обнаружили, что он превосходит менее «поверхностные» системы с точки зрения получения точного совпадения.

Получившаяся система называется системой взаимной рекомендации на основе временных изображений (TIRR) и использует рекуррентные нейронные сети (RNN) для интерпретации исторических предпочтений пользователя к лицам, с которыми он или она сталкивается при поиске потенциальных совпадений.

Ассоциация бумаги озаглавлено — возможно, обескураживающе — Фотографии - это все, что вам нужно для взаимной рекомендации в онлайн-знакомствах, и исходит от двух исследователей из Бристольского университета, которые значительно улучшили аналогичную систему (называемую ImRec), выпущенный той же командой в 2020 году.

В ходе испытаний система показала высочайшую точность прогнозирования. обоюдный соответствия между пользователями, улучшая не только работу исследователей 2020 года, но и другие системы взаимных рекомендаций на основе контента, которые учитывают более подробную текстовую информацию в профилях знакомств.

Набор данных о знакомствах в реальном мире

TIRR был обучен на информации о пользователях, предоставленной неназванной «популярной» службой онлайн-знакомств с «несколькими миллионами зарегистрированных пользователей», которая позволяет пользователям общаться друг с другом только после того, как каждый из них «понравился» профилю другого. Подмножество использованных данных включало 200,000 800,000 субъектов, поровну разделенных между мужчинами и женщинами, и примерно XNUMX XNUMX пользовательских предпочтений во всех профилях знакомств.

Поскольку служба анонимных знакомств, предоставляющая данные, поддерживает только гетеросексуальные совпадения, в исследовании учитывались только совпадения мужчин и женщин.

TIRR улучшает предыдущие конструкции систем взаимных рекомендаций (RRS) в этой области, напрямую вычисляя вероятность совпадения между двумя профилями, основываясь исключительно на изображениях профилей. Вместо этого предшествующие системы предсказывали два однонаправленных предпочтения, а затем объединяли их для получения прогноза.

Исследователи исключили пользователей, которые были удалены из службы знакомств (по любой причине, в том числе по собственному желанию), а также исключили профили, в которых не было фотографий на основе лиц.

Истории пользователей были ограничены одним годом назад, чтобы избежать потенциальных аномалий, которые могут возникнуть, поскольку сайт знакомств со временем настраивает свои алгоритмы. Они также были ограничены максимум 15 пользовательскими настройками, поскольку было продемонстрировано, что их достаточно для подтверждения дизайна модели, в то время как более широкое использование предпочтений снижало производительность и увеличивало время обучения.

Кроме того, у некоторых из наиболее заядлых или давних пользователей были истории с тысячи предпочтений, что могло привести к искажению веса полученных признаков и дальнейшему увеличению времени обучения.

Сиамская сеть

TIRR формулируется с использованием Сиамская сеть, обычно используется для «одноразовое» обучение.

Шаблон сиамской сети, в которой параллельные сверточные нейронные сети (CNN) совместно используют веса, но не данные. Они также имеют общую функцию потерь, полученную из выходных данных каждой CNN, и метку истинности.  Источник: https://arxiv.org/pdf/2108.11714.pdf

Сеть была обучена с использованием двоичной кроссэнтропии, распространенной функции потерь в нейронных сетях, которая, как обнаружили исследователи, дает превосходные результаты по сравнению с контрастная потеря. Последний наиболее эффективен в системах, которые оценивают паритет между двумя лицами, но, поскольку это не является целью TIRR, этот подход плохо работает в этом контексте.

Это необходимо для того, чтобы система сохраняла и строила информацию, которую она получает, поскольку обучение многократно повторяет одни и те же данные, а сиамская сеть в TIRR использует LSTM (Долгосрочная кратковременная память) для принятия этих решений и обеспечения того, чтобы функции, считающиеся релевантными, не отбрасывались ad hoc по мере того, как фреймворк формирует свои идеи.

Специфическая сиамская сетевая архитектура для TIRR.

Исследователи обнаружили, что сеть обучалась очень медленно, когда были введены все данные, и впоследствии разделили обучение на три этапа с использованием трех разных подмножеств данных. В этом есть некоторое дополнительное преимущество, поскольку эксперименты исследователей 2020 года уже продемонстрировали, что обучение мужских и женских наборов данных по отдельности повышает производительность системы взаимных рекомендаций.

Разбивка отдельных учебных занятий для сиамской сети TIRR.

Тестирование

Чтобы оценить производительность TIRR, исследователи сохранили часть полученных данных в стороне и прогнали их через полностью конвергентную систему. Однако, поскольку система довольно новая, нет прямых аналогов предшествующих систем, с которыми ее можно было бы сравнить.

Поэтому исследователи сначала установили кривую рабочих характеристик приемника (РПЦ) базовая линия для сиамской сети до использования равномерного многообразия аппроксимации и проекции для уменьшения размерности (УМАП), чтобы уменьшить 128-мерные векторы для облегчения визуализации, чтобы установить последовательный поток симпатий и антипатий.

Слева ROC сиамской сети как базовый показатель производительности; справа визуализация UMAP показывает «нравится» красным, «не нравится» — черным.

TIRR был протестирован против систем совместной фильтрации и контент-ориентированных систем аналогичного масштаба, включая предыдущую работу исследователей ImRec (см. выше) и RECON, RRS 2010 года, а также алгоритмы совместной фильтрации RCF (RRS знакомств 2015 года, основанный на текстовом содержании профилей знакомств) и ЛФРР (аналогичный проект 2019 года).

Во всех случаях TIRR смог обеспечить превосходную точность, хотя и незначительно по сравнению с LFRR, что, возможно, указывает на факторы корреляции между текстовым содержанием профиля и воспринимаемым уровнем привлекательности фотографий профиля субъектов.

Почти равенство между TIRR на основе изображений и LFRR, в большей степени основанным на тексте, допускает как минимум две возможности: на восприятие пользователями визуальной привлекательности влияет текстовое содержание профилей; или что текстовый контент получает больше внимания и одобрения, чем это могло бы произойти, если бы связанное с ним изображение не воспринималось как привлекательное.

По понятным причинам исследовательская группа не может опубликовать набор данных или исходный код для TIRR, но призывает другие команды дублировать и подтверждать свой подход.

nb Изображения, использованные в основной иллюстрации, взяты с сайта thispersondoesnotexist.com.