Чому штучні рекомендації AI не стають кращими

Якщо вас цікавлять незвичайні речі, існує дві причини, чому ваші пошуки товарів і продуктів можуть бути менш пов’язані з вашими інтересами, ніж у ваших «мейнстрімових» однолітків; або ви є випадком «монетизації краю», інтереси якого будуть задоволені лише у разі, якщо ви також належите до верхніх категорій економічної купівельної потужності (наприклад, продукти та послуги, пов’язані з «управлінням багатством»); або пошукові алгоритми, які ви використовуєте, використовують колаборативний фільтр (CF), який віддає перевагу інтересам більшості.

Оскільки колаборативний фільтр дешевший і більш устоявся, ніж інші потенційно більш здатні алгоритми та рамки, можливо, що обидва ці випадки застосовуються.

Результати пошуку на основі CF будуть пріоритезувати товари, які сприймаються як популярні серед «людей, подібних до вас», наскільки це найкраще розуміє хост-фреймворк, яким ви є споживачем.

Якщо ви обережні щодо надання інформації про профіль до хост-системи – наприклад, не схильні натискати кнопки «Лайк» у сервісах відеоконтенту, таких як Netflix, – ви, ймовірно, будете класифіковані досить загально у ваших перших взаємодіях із системою, і рекомендації, які ви отримуєте, будуть відображати найпопулярніші тенденції.

На потоковому сервісі це може означати рекомендацію будь-яких шоу та фільмів, які зараз «гарячі», наприклад, реаліті-шоу та документальні фільми про вбивства, незалежно від вашого інтересу до цих речей. Аналогічно для платформ рекомендацій книг, які будуть схильні пропонувати поточні та недавні бестселери, здавалося б, довільно.

У теорії, навіть користувачі, які обмежують дані про профіль, повинні в кінцевому підсумку отримувати кращі результати від таких систем на основі того, як вони використовують їх та чого шукають, оскільки більшість пошукових фреймворків надають користувачам обмежену можливість редагувати свою історію використання.

Будь-який колір вам подобається,只要 це чорний

Однак згідно з новим дослідженням з Австрії, домінування колаборативного фільтру над фільтром на основі вмісту (який намагається визначити відносини між продуктами, а не просто брати до уваги агреговану популярність), та інших альтернативних підходів, схильність пошукових систем до довгострокової популярної упередженості, де очевидно популярні результати відштовхуються до кінцевих користувачів, які малоймовірно будуть захоплені ними.

У дослідженні було виявлено, що користувачі, які не цікавляться популярними предметами, отримують «значно гірші» рекомендації, ніж користувачі з середнім або високим інтересом до популярності, і (можливо, тавтологічно) те, що популярні предмети рекомендуються частіше, ніж непопулярні предмети. Дослідники також роблять висновок, що користувачі з низьким інтересом до популярних предметів схильні мати більші профілі користувачів, які потенційно можуть покращити системи рекомендацій – якщо тільки системи можуть позбутися своєї залежності від «стадних» метрик.

Порівняння популярності з складністю профілів користувачів показує, що «маргінальні» користувачі, які не цікавляться мейнстрімовим контентом, фактично мають більше потенційних даних для систем рекомендацій; але оскільки такі користувачі не відповідають тенденціям, це здається втраченою можливістю. Джерело: https://arxiv.org/pdf/2203.00376.pdf

Дослідження названо Популярна упередженість у колаборативному фільтрі для систем рекомендацій мультимедійного контенту, і походять від дослідників з now-Center GmbH у Граці та Грацького технічного університету.

Домени, які охоплюються

Розробляючи попередні роботи, які вивчали окремі сектори (наприклад, рекомендації книг), нове дослідження вивчає чотири домени: цифрові книги (за допомогою набору даних BookCrossing); фільми (за допомогою MovieLens); музику (за допомогою Last.fm); та аніме (за допомогою MyAnimeList).

Дослідження застосувало чотири популярні алгоритми колаборативного фільтру для мультимедійного контенту до наборів даних розділених на три групи користувачів, відповідно до їх схильності бути сприйнятливими до «популярних» результатів: LowPop, MedPop і HighPop. Групи користувачів були відфільтровані до 1000 рівних груп, на основі найменшої, середньої та найбільшої схильності до популярних результатів.

Коментуючи результати, автори заявляють:

‘[Ми] виявили, що ймовірність рекомендації мультимедійного предмета сильно корелює з популярністю цього предмета [і] що користувачі, які не цікавляться популярними предметами, отримують статистично значно гірші рекомендації мультимедійного контенту, ніж користувачі зі середнім і високим інтересом до популярних предметів…

‘Наші результати демонструють, що хоча користувачі з низьким інтересом до популярних предметів схильні мати більші профілі користувачів, вони отримують найгіршу точність рекомендацій. Отже, майбутні дослідження потрібні для пом’якшення популярної упередженості в системах рекомендацій мультимедійного контенту, як на рівні предмета, так і на рівні користувача.’

Серед алгоритмів, які були оцінені, були два варіанти K-Nearest Neighbors (KNN), UserKNN і UserKNNAvg. Перший з них не генерує середню оцінку для цільового користувача та предмета. Також був протестований не-негативний факторизаційний варіант (NMF) та алгоритм CoClustering.

Протокол оцінки розглядав завдання рекомендації як прогностичну задачу, виміряну дослідниками за допомогою середньої абсолютної похибки (MAE), проти протоколу п’ятикратної перекрестної перевірки, який перевищує звичайний розріз 80/20 між навченими та тестовими даними.

Результати вказують на майже гарантовану популярну упередженість під колаборативним фільтром. Питання, ймовірно, полягає в тому, чи сприймається це як проблема багатомільярдними компаніями, які зараз включили CF у свої пошукові алгоритми.

По всім чотирьом наборам даних, вивченим за чотири популярні рекомендації колаборативного фільтру, кожен результат вказує на те, що популярні медіа-предмети більш ймовірно будуть рекомендовані, ніж непопулярні пропозиції.

«Легкий» Вихід

Хоча колаборативний фільтр усе частіше використовується лише як один із елементів ширшої стратегії пошукового алгоритму, він має сильний інтерес у сфері пошуку, і його логіка та потенційна прибутковість привабливо легко зрозуміти.

Сам по собі CF фактично передає завдання оцінки цінності контенту кінцевим користувачам і використовує їхнє прийняття контенту як індекс його цінності та потенційної привабливості для інших клієнтів. За аналогією, це фактично карта «водяного охолоджувача».

Фільтр на основі вмісту (CBF) складніший, але потенційно може забезпечити більш актуальні результати. У сфері комп’ютерного зору зараз витрачається багато досліджень на категоризацію відеоконтенту та спроби вивести домени, функції та високорівневі концепції через аналіз аудіо та відео у фільмах та телевізійних програмах.

Одна з багатьох дослідницьких робіт за останні п’ять років, яка намагається вивести семантичні функції з вмісту фільмів, щоб генерувати більш інтелектуальні «сусідні» рекомендації. Джерело: https://arxiv.org/pdf/1701.00199.pdf

Однак це відносно нове заняття, і пов’язане з поточною, більш загальною боротьбою за кількісну оцінку, ізоляцію та експлуатацію високорівневих концепцій та функцій у доменних знаннях.

Хто використовує колаборативний фільтр?

На момент написання цього тексту пошукова система Netflix, яка часто піддається критиці, залишається зосередженою на різних підходах колаборативного фільтру, застосовуючи різні допоміжні технології в спробах генерувати більш актуальні рекомендації для користувачів.

Пошукова система Amazon еволюціонувала від свого раннього прийняття колаборативного фільтру на основі користувача до методу колаборативного фільтру на основі предмета, який ставить більший акцент на історії покупок клієнта. Природно, це може привести до різних типів неточності, таких як фільтр-бульбашки, або надмірний акцент на рідких даних. У цьому останньому випадку, якщо рідкісний клієнт Amazon робить «незвичайну» покупку, наприклад, набір оперет для друга, який любить оперу, може не бути достатньо альтернативних покупок, які відображають власні уподобання клієнта, щоб зупинити цю покупку від впливу на власні рекомендації.

Колаборативний фільтр також широко використовується Facebook, у поєднанні з іншими підходами, та також компаніями LinkedIn, YouTube та Twitter.

Перше опубліковано 2 березня 2022 року.