Система AI Soulmate Recommender System, заснована лише на зображеннях

Дослідники з Великої Британії використали нейронні мережі, щоб розробити повністю засновану на зображеннях систему рекомендацій для онлайн-знайомств, яка враховує лише те, чи приваблюють двох користувачів фотографії один одного (а не інформацію профілю, таку як робота, вік тощо). ), і виявили, що він перевершує менш «мілкі» системи з точки зору отримання точної відповідності.

Отримана система називається Temporal Image-Based Reciprocal Recommender (TIRR) і використовує повторювані нейронні мережі (RNN) для інтерпретації історичної прихильності користувача до облич, з якими він або вона стикається під час перегляду потенційних збігів.

Команда папір має право – можливо, невтішно – Фотографії – це все, що вам потрібно для взаємних рекомендацій під час онлайн-знайомств, і походить від двох дослідників з Брістольського університету, значно вдосконалюючи подібну систему (називається ImRec), випущений цією ж командою у 2020 році.

Під час випробувань система отримала найсучаснішу точність своєї здатності передбачати зворотний збігів між користувачами, покращуючи не лише роботу дослідників у 2020 році, але й інші системи взаємних рекомендацій щодо знайомств на основі вмісту, які враховують більш детальну текстову інформацію в профілях знайомств.

Реальний набір даних знайомств

TIRR пройшов навчання з використанням інформації про користувачів, наданої неназваною «популярною» службою онлайн-знайомств із «декількома мільйонами зареєстрованих користувачів», яка дозволяє користувачам спілкуватися один з одним лише після того, як кожен «лайкає» профіль іншого. Підмножина використаних даних включала 200,000 800,000 суб’єктів, рівномірно розподілених між чоловіками та жінками, і приблизно XNUMX XNUMX висловлених користувачами переваг у всіх профілях знайомств.

Оскільки анонімна служба знайомств, яка надає дані, підтримує лише гетеросексуальні збіги, у дослідженні були охоплені лише збіги між чоловіками та жінками.

TIRR удосконалює попередні розробки систем взаємних рекомендацій (RRS) у цій галузі шляхом прямого обчислення ймовірності збігу між двома профілями виключно на основі зображень профілів. Натомість попередні системи передбачали два однонаправлені переваги, а потім агрегували їх для отримання прогнозу.

Дослідники виключили користувачів, які були видалені зі служби знайомств (з будь-якої причини, включно з добровільним виходом), а також виключили профілі, які не містили фотографій обличчя.

Історії користувачів були обмежені роком тому, щоб уникнути потенційних аномалій, які могли виникнути, оскільки сайт знайомств з часом змінював свої алгоритми. Вони також були обмежені до максимум 15 налаштувань користувача, оскільки вони були продемонстровані як достатні для підтвердження дизайну моделі, тоді як більш широке використання налаштувань погіршувало продуктивність і збільшувало час навчання.

Крім того, деякі з більш завзятих або тривалих користувачів мали історію з тисячі уподобань, які могли б спотворити вагу отриманих характеристик і ще більше подовжити час навчання.

Сіамська мережа

TIRR формулюється за допомогою a Сіамська мережа, зазвичай використовується для одноразове навчання.

Шаблон сіамської мережі, де паралельні згорткові нейронні мережі (CNN) обмінюються вагами, але не даними. Вони також мають спільну функцію втрат, отриману з результатів кожного CNN, і базову мітку істинності.  Джерело: https://arxiv.org/pdf/2108.11714.pdf

Мережа була навчена за допомогою бінарної крос-ентропії, загальної функції втрат у нейронних мережах, яка, як виявили дослідники, дає кращі результати порівняно з контрастна втрата. Останній є найбільш ефективним у системах, які оцінюють паритет між двома гранями, але оскільки це не є метою TIRR, це підхід, який погано працює в цьому контексті.

Необхідно, щоб система зберігала та створювала інформацію, яку вона розвиває, оскільки навчання багато разів повторює ті самі дані, а сіамська мережа в TIRR використовує LSTM (Long Term Short-Term Memory) для прийняття цих рішень і для забезпечення того, щоб функції, які вважаються релевантними, не відкидалися випадково, коли структура будує свої знання.

Особлива архітектура сіамської мережі для TIRR.

Дослідники виявили, що мережа тренувалася дуже повільно, коли всі дані були введені, і згодом розділили навчання на три етапи, використовуючи три різні підмножини даних. У цьому є додаткова перевага, оскільки експерименти дослідників у 2020 році вже продемонстрували, що окреме навчання чоловічих і жіночих наборів даних покращує продуктивність системи взаємних рекомендацій.

Розбивка окремих навчальних сесій для сіамської мережі TIRR.

Тестування

Щоб оцінити продуктивність TIRR, дослідники залишили частину отриманих даних осторонь і пропустили їх через повністю конвергентну систему. Однак, оскільки система є досить новою, немає прямо аналогічних попередніх систем, з якими можна було б її порівняти.

Тому дослідники спочатку встановили криву робочих характеристик приймача (ROC) базова лінія для сіамської мережі, перед використанням рівномірної апроксимації колектора та проекції для зменшення розмірності (UMAP), щоб зменшити 128-вимірні вектори для легкої візуалізації, щоб створити послідовний потік лайків і антипатій.

Ліворуч ROC сіамської мережі як базовий показник ефективності; праворуч візуалізація UMAP показує «подобається» червоним, «не подобається» чорним.

TIRR було протестовано на основі спільної фільтрації та систем на основі вмісту з подібним діапазоном, включаючи попередню роботу дослідників ImRec (див. вище) та РЕКОН, RRS від 2010 року, а також алгоритми спільної фільтрації RCF (RRS для знайомств 2015 року на основі текстового вмісту профілів знайомств) і LFRR (подібний проект 2019 року).

У всіх випадках TIRR міг запропонувати вищу точність, хоча й незначну порівняно з LFRR, можливо, вказуючи на кореляційні фактори між текстовим вмістом профілю та сприйманим рівнем привабливості фотографій профілю суб’єктів.

Майже паритет між TIRR на основі зображень і більш текстовим LFRR допускає принаймні дві можливості: що на сприйняття користувачами візуальної привабливості впливає текстовий вміст профілів; або що текстовий вміст отримує більше уваги та схвалення, ніж це могло б відбутися, якби пов’язане зображення не сприймалося як привабливе.

З очевидних причин дослідницька група не може опублікувати набір даних або вихідний код для TIRR, але заохочуйте інші команди дублювати та підтверджувати їхній підхід.

nb Зображення, використані в основній ілюстрації, взято з thispersondoesnotexist.com.