Еластичність > Точність: Чому «еластичність моделі» повинна бути справжнім метриком для впровадження моделей

Інго Мірсва, Засновник, Президент та Головний науковий працівник у RapidMiner.

Наука про дані зробила деякий прогрес за останні кілька років, і багато організацій використовують передові методи аналізу або моделі машинного навчання, щоб отримати глибші знання про процеси та, в деяких випадках, навіть передбачити ймовірні результати майбутнього. Для інших «наук» часто неясно, чи буде проект успішним чи ні, і були повідомлення про те, що до 87% проектів науки про дані ніколи не переходять у виробництво. Хоча 100% успіху не можна очікувати, є деякі закономірності в проектах науки про дані, які призводять до вищого рівня успіху, ніж можна вважати прийнятним у галузі. Ці проблемні закономірності, здається, існують незалежно від будь-якої конкретної галузі чи використання, що свідчить про те, що існує універсальна проблема в науці про дані, яку потрібно вирішити.

Вимірювання успіху машинного навчання

Дослідники, які створюють моделі машинного навчання, покладаються на добре визначені математичні критерії для вимірювання того, як добре такі моделі працюють. Який із цих критеріїв застосовується в основному залежить від типу моделі. Припустимо, що модель повинна передбачити класи або категорії для нових ситуацій – наприклад, чи буде клієнт залишатися чи ні. У таких ситуаціях дослідники використовували б вимірювання, такі як точність (як часто модель правильна) або точність (як часто клієнти дійсно залишаються, якщо ми передбачаємо їхнє залишення).

Дослідникам потрібні об’єктивні критерії, як ці, тому що частина їхньої роботи полягає в оптимізації цих оцінювальних критеріїв для створення найкращої моделі. Насправді, поряд з підготовкою даних для моделювання, побудова та налаштування цих моделей – це там, де дослідники проводять більшу частину свого часу.

Недолік цього полягає в тому, що дослідники насправді не зосереджуються на впровадженні цих моделей у виробництво, що є проблемою з більш ніж однієї причини. По-перше, моделі, які не дають успішних результатів, не можуть бути використані для генерації бізнес-імпакту для організацій, які їх впроваджують. По-друге, оскільки ці організації витратили час і гроші на розробку, навчання та впровадження моделей, які не дали успішних результатів при роботі з «реальними» даними, вони більш схильні вважати, що машинне навчання та інші інструменти науки про дані є безкорисними для своєї організації та відмовитися від майбутніх ініціатив науки про дані.

Справді, дослідники просто люблять налаштовувати моделі та проводять багато часу на цьому. Але без бізнес-імпакту цей час не витрачається мудро, що особливо болісно, враховуючи, наскільки рідкісним ресурсом є дослідники у сучасному світі.

Приз Нетфлікс та виробнича невдача

Ми бачили це явище надмірних інвестицій у побудову моделей та не у впровадження моделей у останні роки. Приз Нетфлікс був відкритим змаганням за найкращий алгоритм колаборативного фільтрування для передбачення оцінок користувачів фільмів. Якщо ви дали новому фільму високу оцінку, то, швидше за все, вам сподобався цей фільм – тому, використовуючи цю систему оцінок, Нетфлікс буде рекомендувати вам певні назви, і якщо вам сподобається рекомендований контент, ви, швидше за все, залишитеся клієнтом Нетфлікс довше. Головний приз складав 1 мільйон доларів США, який був присуджений команді, яка змогла покращити алгоритм Нетфлікс至少 на 10%.

Змагання розпочалося у 2006 році, і протягом наступних трьох років внески понад 40 000 команд дослідників науки про дані з усього світу призвели до вражаючого покращення більш ніж на 10% успіху рекомендацій фільмів. Однак моделі переможної команди ніколи не були впроваджені у виробництво. Нетфлікс заявив, що «підвищення точності не здається достатнім, щоб виправдати зусилля, необхідні для впровадження цих моделей у виробництво».

Чому оптимальне не завжди оптимальне

Точність моделі та інші критерії науки про дані давно використовувалися як метрика для вимірювання успіху моделі перед її впровадженням у виробництво. Як ми бачили, багато моделей навіть не переходять до цього етапу – що є марнуванням ресурсів, як у плані енергії, так і часу, витраченого на це.

Але є ще більше проблем з цією культурою надмірних інвестицій у налаштування моделей. По-перше, це є непередбачуване перенавчання на тестових даних, яке призведе до моделей, які виглядають добре для керуючого дослідника, але насправді працюють гірше, коли їх впроваджують у виробництво – іноді навіть завдаючи шкоди. Це відбувається з двох причин:

1. Існує добре відомий розбіг між похибкою тестування та тією, яку ви бачите у виробництві
2. Бізнес-імпакт і критерії виконання науки про дані часто корелюють, але «оптимальні» моделі не завжди забезпечують найбільший імпакт

Перша причина вище також називається «перенавчання на тестовому наборі». Це добре відоме явище, особливо серед учасників змагань науки про дані, таких як ті, що проводяться на Kaggle. Для цих змагань ви можете побачити сильнішу версію цього явища вже між публічним і приватним рейтингами. Насправді, учасник міг би виграти публічний рейтинг у змаганні Kaggle, не коли-небудь читав дані. Подібно, переможець приватного рейтингу та загального змагання може не створити модель, яка могла б підтримувати свою продуктивність на будь-якому іншому наборі даних, окрім того, за яким вона була оцінена.

Точність не дорівнює бізнес-імпакту

Занадто довго ми приймали цю практику, яка призводить до повільної адаптації моделей до тестових наборів даних. Як результат, те, що виглядає як найкраща модель, виявляється посередньою в кращому випадку:

• Вимірювання, такі як передбачувальна точність, часто не дорівнюють бізнес-імпакту
• Покращення точності на 1% не можна перекласти в 1% кращий бізнес-результат
• Є випадки, коли модель з низькою продуктивністю перевершує інші з точки зору бізнес-імпакту
• Інші фактори, такі як технічне обслуговування, швидкість оцінювання або стійкість до змін з часом (називається «еластичністю»), також повинні бути враховані.

Остання причина особливо важлива. Найкращі моделі не тільки переможуть у змаганнях або виглядатимуть добре в лабораторії науки про дані, але й будуть працювати добре у виробництві та демонструвати хорошу продуктивність на різних тестових наборах. Ці моделі називаються еластичними моделями.

Дрейф і важливість еластичності

Всі моделі погіршуються з часом. Єдине питання – як швидко це відбувається і як добре модель ще працює за змінених обставин. Причина цього погіршення полягає в тому, що світ не є статичним. Тому дані, до яких застосовується модель, також змінюються з часом. Якщо ці зміни відбуваються повільно, ми називаємо це «концептуальним дрейфом». Якщо зміни відбуваються раптово, ми називаємо це «концептуальним зсувом». Наприклад, клієнти можуть змінювати свою поведінку споживання з часом, під впливом тенденцій та/або маркетингу. Моделі схильності можуть перестати працювати в певний момент. Ці зміни можуть бути різко прискорені в певних ситуаціях. COVID-19, наприклад, спровокував продаж товарів, таких як туалетна папір і дезінфікуючі засоби – несподіване різке збільшення певних товарів, яке може повністю вивести з ладу таку модель.

Еластична модель може не бути найкращою моделлю за критеріями, такими як точність або точність, але буде працювати добре на ширшому діапазоні наборів даних. Через це вона також працюватиме краще протягом довшого періоду часу та буде краще здатна забезпечувати тривалий бізнес-імпакт.

Лінійні та інші прості моделі часто є більш еластичними, тому що їм важче перенавчити на певний тестовий набір або момент часу. Більш потужні моделі можна і слід використовувати як «претендентів» для простішої моделі, дозволяючи дослідникам побачити, чи може вона також витримувати з часом. Але це слід робити на кінцевому етапі, а не на початку шляху моделювання.

Хоча формальний КПІ для вимірювання еластичності ще не був введений у галузі науки про дані, є кілька способів, за допомогою яких дослідники можуть оцінити, наскільки еластичними є їхні моделі:

• Менші стандартні відхилення у перехресній перевірці означають, що продуктивність моделі залежала менше від особливостей різних тестових наборів
• Даже якщо дослідники не проводять повну перехресну перевірку, вони можуть використовувати два різних набори даних для тестів і валідації. Менша розбіжність між похибками для тестових і валідних наборів даних свідчить про вищу еластичність
• Якщо модель належним чином моніториться у виробництві, похибки можна побачити з часом. Сталість похибок з часом є хорошим знаком еластичності моделі.
• Якщо рішення моніторингу моделі вибрано з урахуванням дрейфу, дослідники також повинні звернути увагу на те, як добре модель впливає на цей вхідний дрейф.

Зміна культури науки про дані

Після того, як модель була розгорнута на етапі впровадження, все ще існують загрози точності моделі. Останні два пункти щодо еластичності моделі вже вимагають належного моніторингу моделей у виробництві. Як початок зміни культури науки про дані, компанії добре порадять інвестувати у належний моніторинг моделей та почати тримати дослідників відповідальними за відсутність продуктивності після розгортання моделей у виробництво. Це негайно змінить культуру з культури побудови моделей на культуру створення та підтримання цінностей для галузі науки про дані.

Як недавні світові події показали нам, світ змінюється швидко. Тепер, ніж будь-коли, нам потрібно будувати еластичні моделі – не тільки точні. Щоб захопити значний бізнес-імпакт з часом. Наприклад, Kaggle проводить змагання, щоб мобілізувати дослідників науки про дані по всьому світу, щоб допомогти створити рішення моделей для використання у глобальній боротьбі з COVID-19. Я передбачаю, що найуспішнішою моделлю, створеною в результаті цього змагання, буде найеластичніша, а не найточніша, оскільки ми бачили, як швидко дані COVID-19 можуть змінитися за один день.

Наука про дані повинна бути про пошук істини, а не про створення «найкращої» моделі. Тримаючи себе за вищим стандартом еластичності над точністю, дослідники будуть能够 забезпечувати більший бізнес-імпакт для наших організацій та допомогти позитивно формувати майбутнє.