З готовими або замовними моделями машинного навчання?

Коли краще будувати, ніж купувати готове рішення?

Компанії можуть використовувати різні підходи до розробки моделей. Від повністю керованих послуг машинного навчання до замовних моделей. В залежності від бізнес-вимог, наявної експертизи та обмежень планування, їм потрібно зробити вибір: чи розробляти замовні рішення з нуля? Чи вибирати готову послугу?

Для всіх стадій робіт з машинним навчанням потрібно прийняти рішення щодо того, як різні частини пазла будуть складатися разом. Від збору даних, підготовки та візуалізації, до інженерії функцій, навчання моделей та оцінки, інженери машинного навчання постійно задають собі одне й те саме питання: чи буде це замовне рішення, написане та розроблене з нуля? Чи це буде готовий сервіс?

Але коли краще будувати, ніж купувати готове рішення? Основні відмінні фактори між двома підходами: зусилля з попередньої обробки, швидкість розробки та необхідна експертиза.

Що потрібно враховувати при визначенні використання готових або замовних моделей машинного навчання?

Зусилля з попередньої обробки

Проекти машинного навчання зустрічають різні види викликів, але, можливо, найбільшим викликом є наявність навчальних даних. Недостаток навчальних даних може зупинити проєкт, навіть до його початку. До початку проєкту можна зіткнутися з значними витратами на попередню обробку даних, маркування даних, очистку та попередню обробку. Це добре відомий пастка, в якому багато проєктів машинного навчання зазнають невдачі: попередня обробка займає 80% ресурсів, виділених для проєкту, тоді як небагато ресурсів залишається для фактичного навчання та оцінки моделі.

Готові рішення полегшують труднощі та болі попередньої обробки. Вони побудовані для виконання найбільш поширених операцій з мінімальною конфігурацією. Найкраще в них: готові рішення існують для всіх стадій робіт з машинним навчанням.

Замовні рішення, зазвичай, вимагають більше зусиль з попередньої обробки. Це не означає, що їх потрібно повністю відкинути: вони все ще потрібні для тонкої настройки певної стадії машинного навчання до особливостей розв’язуваної проблеми. Особливо брудні дані можуть вимагати спеціальних правил очистки. Водночас, певний набір функцій може вимагати замовної інженерії функцій, так само, як і нейронні архітектури можуть вимагати незначних коригувань. У цьому випадку замовні рішення, побудовані з нуля, найімовірніше, покриють усі потреби.

Швидкість розробки

Готові рішення фокусуються на конфігурації, а не на реалізації. Замість виділення ресурсів на визначення того, що потрібно зробити, команди машинного навчання будуть зосереджені на тому, як різні частини пазла будуть складатися разом. Цей підхід дозволяє компаніям, дослідникам та інженерам швидко реалізовувати прототипи та докази концепції. Замість того, щоб винайдати колесо, готові рішення дозволяють використовувати існуючі знання, тим самим економлячи час розробки.

Замовні рішення, реалізовані з нуля, відомі тим, що вони значно повільніші за швидкість розробки. Це пов’язано з їхніми підвищеними потребами у технічному обслуговуванні: інженерам потрібно визначити і що, і як рішення. Аналогічно, чим складнішим є рішення, тим більше часу ресурсів потрібно для забезпечення його масштабованості та доступності під час виробництва. З цієї точки зору, замовні рішення та витрати часу прямо пропорційні: чим складнішим є рішення, тим більше часу воно буде потребувати.

Зазвичай, однак, правда знаходиться десь посередині: існуючий код буде перероблений та адаптований до потреб поточного проєкту. Такий є випадок з відомим підходом до навчання моделей, заснованим на передаванні знань.

Експертиза

Як і існує кілька рівнів, на яких здійснюється машинне навчання, існує кілька рівнів експертизи, на яких можуть бути розроблені моделі машинного навчання, починаючи від безкодових інтерфейсів та закінчуючи побудовою моделей з нуля.

Готові рішення існують, для яких потрібно дуже мало експертизи з машинного навчання. Використовуючи інтуїтивні інтерфейси та навіть підхід “перетягування та випускання”, стало дуже простим для будь-кого (від бізнес-аналітиків до програмістів) побудувати та розгорнути деяку модель машинного навчання. Хоча цей простий підхід до розробки моделей може працювати для прототипування, він малоймовірно задовольнить вимогам систем виробництва.

Експертиза все ще потрібна для правильної конфігурації, налаштування та технічного обслуговування готових рішень у виробництві. Обхідні шляхи, патчі коду, підключення до різних інтерфейсів API та робота з проблемами розгортання є звичайними завданнями, необхідними для забезпечення продуктивності моделей у виробничих середовищах.

Замовні рішення, зазвичай, реалізуються на рівні інфраструктури, і немає іншого виходу: експертиза обов’язкова. В залежності від розміру компанії та цілей проєкту можуть бути потрібні мультидисциплінарні команди для підтримки систем виробництва. Спеціалісти з даних, інженери машинного навчання та бізнес-аналітики працюють разом, щоб зрозуміти результати висновків та підтримувати продуктивність моделей.

Що використовувати: готове або замовне рішення машинного навчання?

Рішення машинного навчання складається з багатьох окремих компонентів та послуг, які повинні складатися разом у єдине рішення. Це ніколи не стосується 100% замовного або 100% готового рішення, оскільки різні бізнес-проблеми вимагають різних рішень. Частіше за все рішення, засновані на машинному навчанні, будуються шляхом поєднання двох підходів: готових послуг для отримання загальних висновків, поєднаних із замовними моделями для підвищення точності та моделювання знань конкретної галузі.

Секрет полягає в тому, щоб знати, коли реалізовувати замовні рішення з нуля, а які частини проєкту можуть використовувати переваги готових послуг. Це залежить від типу розв’язуваної проблеми, бізнес-вимог, наявних даних та загальних обмежень середовища розробки.

Для більшої інформації про штучний інтелект та технологічні тенденції дивіться Джош Мірамант, генеральний директор компанії Blue Orange Digital, яка пропонує дані рішення для ланцюжків постачання, автоматизації документів у сфері охорони здоров’я та іншого.

Вам також можуть сподобатися:

Використовуйте NLP для класифікації коментарів у соціальних мережах

Як обробка мови покращується завдяки відкритій моделі BERT від Google