Розробка машинного навчання вимагає нового підходу – лідери думок

Від Віктора Ту, президента Datatron

Ініціативи, що використовують машинне навчання, не можуть бути behandelt у такому ж порядку, як проекти, що涉ють традиційне програмне забезпечення. Необхідно рухатися швидко, щоб ви могли протестувати речі, виправити проблеми та протестувати їх знову. Інакше кажучи, ви повинні мати можливість швидко помилятися – і робити це на ранніх етапах процесу. Чекання до пізнішого етапу процесу для виявлення проблем може виявитися дуже дорогим і трудомістким.

Штучний інтелект вимагає нового підходу

Під час розробки програмного забезпечення за традиційним методом ви використовуєте логіку прийняття рішень. Для того, щоб бути якнайточнішим, ви включаєте логіку, яка дозволяє програмному забезпеченню функціонувати правильно. Зазвичай немає потреби у змінах після розробки логіки програми, окрім виправлення помилок. Це дуже методичний процес розробки; ви рухаєтеся поступово, забезпечуючи, щоб кожний крок у процесі був точним, перш ніж переходити до наступного. Це перевірена стратегія, яка постійно демонструє свою ефективність для розробки програмного забезпечення.

Однак, ви не можете використовувати ту ж стратегію для проектів AI/ML, оскільки вона просто не спрацює. Замість цього вам потрібно мати можливість швидко ітерувати, щоб знайти успіх у проекті ML. Оскільки ML вимагає початкової навчальної програми та є процесом, ви повинні підходити до нього з знанням того, що він не буде точним при першому розгортанні.

Цей процес вимагає багаторазових ітерацій. Реальність така, що ваша перша модель зустріне несподівані результати 99% часу. Навіть якщо ви витратите місяці на навчання моделі у лабораторії, вона безумовно зміниться, коли зустріне реальні дані та трафік.

Не ставте за мету негайну досконалість

Тому, щоб протестувати модель і визначити, які зміни потрібні, ви повинні мати можливість швидко розгорнути її у виробництві. Ви можете потім зробити будь-які корективи, випустити її знову та вдосконалити. Через це ви не повинні вкладати надто багато зусиль у спроби зробити свою модель досконалою до тестування у виробництві; перша спроба не буде досконалою, і ніхто не повинен очікувати цього.

Під час розробки моделі у лабораторії додаткові поліпшення з 92% до 95% точності можуть не бути суттєвими для деяких випадків використання. Чому? Только мала частина навчальних даних була використана для навчання вашої моделі AI. Ви можете витратити багато часу та грошей, щоб отримати додаткову точність, відмовившись при цьому від переваг, які ваша модель може вам запропонувати тим часом.

Ефективні кроки у розгортанні ML

Оскільки існує можливість, що модель може не спрацювати або дати неправильні передбачення, вчені-математики іноді неохоче розгортають модель у виробництві. Це має певний сенс. Вам потрібна система, яка дозволяє вам бачити події в режимі реального часу. З цим підходом ви можете негайно зупинити та оновити свою модель, а потім швидко випустити нову модель. Замість того, щоб займатися “аналітичною паралічем”, це найефективніший спосіб розгортання моделей машинного навчання.

Найкращше просто розгорнути модель і дозволити їй набути деякого життєвого досвіду. Це не усуває необхідності для вчених-математиків створити модель якомога точніше з самого початку. Але як тільки ви закінчите цю першу версію, ви повинні негайно почати збирати важливі дані.

Ви можете бажати запустити свої моделі у режимі A/B-тестування або тіньовому режимі проти реальних даних під час цього процесу. Таким чином, ви можете порівняти продуктивність різних моделей та мати багато даних та доказів, перш ніж вибрати, яку модель просувати чи понижувати.

Створення локальної моделі замість зосередження на створенні однієї глобальної моделі для прогнозування поведінки для макро-оточення є ще однією найкращою практикою. З локальною моделлю ви можете використовувати дані з конкретних ситуацій, щоб модель поводилася так, як вона повинна для кожної з цих ситуацій. Це економить час, дані та зусилля порівняно з всеосяжною моделлю, яка потребувала б великої кількості цих ресурсів, щоб вона працювала.

Визначення попиту на індивідуальні кросівки буде прикладом цього. Глобальна модель могла б бути застосована до решти Північної Америки, якщо вона була заснована на населенні Нью-Йорка. Однак вона, ймовірно, не точно відображатиме попит в інших частинах країни. Стратегія локальної моделі дозволила б вам отримати вищі прибуткові маржі, яких ви зараз позбавлені.

Моделі потребують регулярного оновлення, звичайно. Моделі потребують постійних оновлень, оскільки дані оточення завжди змінюються, на відміну від традиційного програмного забезпечення, яке можна встановити один раз і залишити без змін. Моделі ML погіршуються з часом, якщо їх не оновлювати регулярно. Це повинно відбуватися протягом усього життя моделі та повинно бути уважно відстежено.

Новий парадигма машинного навчання

Порівнювати моделі машинного навчання з традиційним програмним забезпеченням не має сенсу. Однак експерти з машинного навчання користуються швидким методом розгортання моделей AI/ML, як і програмісти зробили з DevOps. Для проектів ML вам потрібна система, яка дозволяє швидко розгортати моделі. Ви повинні мати можливість порівнювати різні моделі, ефективно контрастуючи одну, яка живе, з тією, яка не живе. Ці та інші найкращі практики, згадані вище, допоможуть вам уникнути аналітичної паралічу та швидко і рано помилятися, щоб ви могли масштабувати своє машинне навчання.