Система рекомендаций AI Soulmate, основанная только на изображениях

Исследователи из Великобритании использовали нейронные сети для разработки полностью основанной на изображениях рекомендательной системы для поиска совпадений в онлайн-знакомствах, которая учитывает только то, нравятся ли двум пользователям фотографии друг друга (а не информацию из профилей, такую ​​как работа, возраст и т. д.), и обнаружили, что она превосходит менее «поверхностные» системы с точки зрения получения точного соответствия.

Полученная система называется временным взаимным рекомендателем на основе изображений (TIRR) и использует рекуррентные нейронные сети (RNN) для интерпретации исторических предпочтений пользователя в отношении лиц, с которыми он сталкивается при поиске потенциальных совпадений.

Команда статье озаглавлено — возможно, обескураживающе — Фотографии - это все, что вам нужно для взаимной рекомендации в онлайн-знакомствах, и исходит от двух исследователей из Бристольского университета, которые значительно улучшили аналогичную систему (называемую ImRec), выпущенный той же командой в 2020 году.

В ходе испытаний система показала высочайшую точность прогнозирования. обоюдный совпадения между пользователями, что является улучшением не только по сравнению с работой исследователей 2020 года, но и по сравнению с другими системами взаимных рекомендаций для знакомств на основе контента, которые учитывают более подробную текстовую информацию в профилях знакомств.

Набор данных о знакомствах в реальном мире

Система TIRR была обучена на основе информации о пользователях, предоставленной неназванным «популярным» онлайн-сервисом знакомств с «несколькими миллионами зарегистрированных пользователей», который позволяет пользователям общаться друг с другом только после того, как каждый из них поставил отметку «Нравится» под профилем другого. Использованная подгруппа данных включала 200,000 800,000 участников, поровну мужчин и женщин, и около XNUMX XNUMX пользовательских предпочтений, высказанных во всех профилях знакомств.

Поскольку служба анонимных знакомств, предоставляющая данные, поддерживает только гетеросексуальные совпадения, в исследовании учитывались только совпадения мужчин и женщин.

TIRR улучшает предыдущие конструкции систем взаимных рекомендаций (RRS) в этой области, напрямую вычисляя вероятность совпадения между двумя профилями, основываясь исключительно на изображениях профилей. Вместо этого предшествующие системы предсказывали два однонаправленных предпочтения, а затем объединяли их для получения прогноза.

Исследователи исключили пользователей, которые были удалены из службы знакомств (по любой причине, в том числе по собственному желанию), а также исключили профили, в которых не было фотографий на основе лиц.

Истории пользователей были ограничены одним годом назад, чтобы избежать потенциальных аномалий, которые могут возникнуть, поскольку сайт знакомств со временем настраивает свои алгоритмы. Они также были ограничены максимум 15 пользовательскими настройками, поскольку было продемонстрировано, что их достаточно для подтверждения дизайна модели, в то время как более широкое использование предпочтений снижало производительность и увеличивало время обучения.

Кроме того, у некоторых из наиболее заядлых или давних пользователей были истории с тысячи предпочтений, что могло привести к искажению веса полученных признаков и дальнейшему увеличению времени обучения.

Сиамская сеть

TIRR формулируется с использованием Сиамская сеть, обычно используется для «однократное» обучение.

Шаблон сиамской сети, в которой параллельные сверточные нейронные сети (CNN) совместно используют веса, но не данные. Они также имеют общую функцию потерь, полученную из выходных данных каждой CNN, и метку истинности.  Источник: https://arxiv.org/pdf/2108.11714.pdf

Сеть была обучена с использованием двоичной кроссэнтропии, распространенной функции потерь в нейронных сетях, которая, как обнаружили исследователи, дает превосходные результаты по сравнению с контрастная потеря. Последний вариант наиболее эффективен в системах, оценивающих четность двух лиц, но поскольку это не является целью TIRR, в данном контексте этот подход работает плохо.

Системе необходимо сохранять и развивать информацию, которую она накапливает, поскольку обучение повторяется много раз на одних и тех же данных, и сиамская сеть в TIRR использует LSTM (Долгосрочная кратковременная память) для принятия этих решений и обеспечения того, чтобы функции, считающиеся релевантными, не отбрасывались ad hoc по мере того, как фреймворк формирует свои идеи.

Специфическая сиамская сетевая архитектура для TIRR.

Исследователи обнаружили, что сеть обучалась очень медленно при подаче всех данных, поэтому разделили обучение на три этапа с использованием трёх разных подмножеств данных. Это даёт дополнительное преимущество, поскольку эксперименты исследователей 2020 года уже продемонстрировали, что раздельное обучение наборов данных для мужчин и женщин повышает эффективность реципрокной рекомендательной системы.

Разбивка отдельных учебных сессий для сиамской сети TIRR.

Тестирование

Чтобы оценить эффективность TIRR, исследователи сохранили часть полученных данных и пропустили их через полностью конвергентную систему. Однако, поскольку система довольно новая, прямых аналогов, с которыми её можно было бы сравнить, не существует.

Поэтому исследователи сначала установили кривую рабочих характеристик приемника (РПЦ) базовая линия для сиамской сети до использования равномерного многообразия аппроксимации и проекции для уменьшения размерности (УМАП), чтобы уменьшить 128-мерные векторы для облегчения визуализации, чтобы установить последовательный поток симпатий и антипатий.

Слева — ROC сиамской сети как базовый показатель эффективности; справа — визуализация UMAP, показывающая «лайки» красным цветом, «дизлайки» — черным.

TIRR был протестирован с использованием систем совместной фильтрации и контента с аналогичными характеристиками, включая предыдущую работу исследователей ImRec (см. выше), и RECON, RRS 2010 года, а также алгоритмы совместной фильтрации RCF (RRS знакомств 2015 года, основанный на текстовом содержании профилей знакомств) и ЛФРР (аналогичный проект 2019 года).

Во всех случаях TIRR смог продемонстрировать более высокую точность, хотя и не намного превышающую точность LFRR, что, возможно, указывает на наличие факторов корреляции между текстовым содержанием профиля и воспринимаемым уровнем привлекательности фотографий профиля субъектов.

Почти полное соответствие между TIRR, основанным на изображении, и LFRR, основанным в большей степени на тексте, допускает по крайней мере две возможности: либо восприятие визуальной привлекательности пользователями зависит от текстового содержания профилей, либо текстовое содержание получает больше внимания и одобрения, чем могло бы быть, если бы связанное с ним изображение не воспринималось как привлекательное.

По понятным причинам исследовательская группа не может опубликовать набор данных или исходный код для TIRR, но призывает другие команды дублировать и подтверждать свой подход.

nb Изображения, использованные в основной иллюстрации, взяты с сайта thispersondoesnotexist.com.