Успішна розробка машинного навчання потребує нової парадигми – лідерів думок

Віктор Ту, президент, Дататрон

Ініціативи з використанням машинного навчання не можна розглядати так само, як проекти з використанням звичайного програмного забезпечення. Вкрай важливо рухатися швидко, щоб ви могли перевірити речі, виправити проблеми та перевірити їх знову. Іншими словами, ви повинні вміти швидко зазнавати невдач – і робити це на ранніх стадіях процесу. Очікування пізніше в цьому процесі, щоб знайти проблеми, може закінчитися дуже дорогим і трудомістким.

ШІ вимагає нового підходу

Розробляючи програмне забезпечення традиційним методом, ви використовуєте логіку прийняття рішень. Якщо бути максимально точним, ви включаєте логіку, яка забезпечує належну роботу програмного забезпечення. Після розробки логіки програми (зазвичай) немає потреби вносити зміни, окрім виправлення помилок. Це дуже методичний процес розвитку; ви просуваєтеся поступово, переконавшись, що кожен крок у процесі є точним, перш ніж переходити до наступного. Це перевірена стратегія, яка постійно демонструвала свою ефективність у розробці програмного забезпечення.

Однак ви не можете використовувати ту саму стратегію для проектів AI/ML, оскільки вона просто не працюватиме. Натомість, щоб досягти успіху в проекті ML, вам потрібно мати здатність виконувати швидкі та часті ітерації. Оскільки ML вимагає початкового навчання та є процесом, ви повинні підходити до нього, знаючи, що воно не буде точним під час першого розгортання.

Цей процес потребує кількох ітерацій. Реальність така, що ваша перша модель стикатиметься з неочікуваними результатами в 99% випадків. Навіть якщо ви витратите місяці на навчання своєї моделі в лабораторії, вона, безсумнівно, зміниться, коли зіткнеться з реальними даними та трафіком.

Не прагніть до миттєвої досконалості

Отже, щоб випробувати модель і визначити, які модифікації потрібні, ви повинні мати можливість швидко запустити її у виробництво. Потім ви можете внести будь-які коригування, випустити його знову та вдосконалити. З цієї причини вам не слід докладати надто багато зусиль, намагаючись зробити вашу модель бездоганною перед випробуванням її у виробництві; початкова спроба не буде ідеальною, і ніхто не повинен цього очікувати.

Поки модель розробляється в лабораторії, додаткові покращення з 92% до 95% точності можуть бути незначними для деяких випадків використання. Чому ні? Лише невелика частина навчальних даних була використана для навчання вашої моделі ШІ. Ви можете вкласти багато часу та грошей, щоб отримати додаткову точність, відмовившись від переваг, які може запропонувати ваша модель.

Ефективні кроки в розгортанні ML

Оскільки існує ймовірність того, що модель зазнає невдачі або дасть неправильні прогнози, науковці МЛ іноді не бажають запускати модель у виробництво. Певною мірою це має сенс. Вам потрібна система, яка дає змогу переглядати події, як вони відбуваються, у реальному часі. За допомогою такого підходу ви можете негайно отримати й оновити свою модель, а потім швидко випустити нову модель. Замість того, щоб загрузнути в «паралічі аналізу», це найефективніший метод для впровадження моделей машинного навчання у виробництво.

Набагато краще просто запустити модель і дати їй набратися життєвого досвіду. Це не скасовує необхідності для дослідників даних створювати модель якомога точніше з самого початку. Але як тільки ви закінчите цю початкову версію, вам слід негайно почати збирати ці важливі дані.

Можливо, у рамках цього процесу ви захочете запустити свої моделі в режимі A/B-тестування або в тіньовому режимі з даними реального світу. Таким чином, ви можете в основному порівняти продуктивність різних моделей і отримати багато даних і доказів, перш ніж вибрати, яку модель просувати або знижувати.

Побудова локалізованої моделі замість того, щоб зосереджуватися на створенні єдиної глобальної моделі для прогнозування поведінки макросередовища, є ще однією найкращою практикою. За допомогою локальної моделі ви можете використовувати дані з конкретних ситуацій, щоб модель працювала належним чином для кожного з цих сценаріїв. Це економить час, дані та зусилля порівняно з всеохоплюючою моделлю, яка вимагала б значної кількості цих ресурсів для забезпечення її роботи.

Ілюстрацією тут буде визначення попиту на кросівки на замовлення. Глобальна модель могла б бути застосована до решти Північної Америки, якби вона базувалася на чисельності населення Нью-Йорка. Однак це, ймовірно, не буде точно відображати попит в інших частинах країни. Стратегія локалізованої моделі дозволила б вам отримати вищі прибутки, які ви зараз втрачаєте.

Звичайно, моделі вимагають регулярного оновлення. Моделі потребують постійного оновлення, оскільки дані середовища постійно змінюються, на відміну від традиційного програмного забезпечення, яке можна налаштувати один раз і залишити в спокої. Моделі ML з часом погіршуються, якщо їх не повторювати на регулярній основі. Це має відбуватися протягом усього терміну експлуатації моделі та має ретельно контролюватися.

Нова парадигма машинного навчання

Порівнювати моделі машинного навчання зі звичайним програмним забезпеченням нерозумно. Однак експерти з ML виграють від технології швидкого розгортання моделей штучного інтелекту та ML, як інженери програмного забезпечення зробили з DevOps. Для проектів ML вам потрібна система, яка дозволяє швидко запускати моделі. Ви повинні вміти порівнювати різні моделі, ефективно протиставляючи ту, яка живе, з іншою. Ці та інші найкращі практики, згадані вище, допоможуть вам швидко й на ранній стадії обійти параліч аналізу та помилки, щоб ви могли масштабувати машинне навчання.