Ендрю Нг критикує культуру перефітування в машинному навчанні

Ендрю Нг, один з найвпливовіших голосів у машинному навчанні за останні десять років, зараз висловлює занепокоєння щодо того, наскільки сектор акцентує інновації у моделі архітектури над даними – і зокрема, наскільки це дозволяє “перефітування” результатів як узагальнені рішення або досягнення.

Це є широкі критики поточної культури машинного навчання, що походять від одного з його найвищих авторитетів, і мають наслідки для довіри до сектора, який все частіше характеризується як невизначений довгостроковий бізнес-інвестиція, третя криза довіри бізнесу до розробки штучного інтелекту за останні шістдесят років.

Нг, професор Стенфордського університету, також є одним із засновників deeplearning.ai, і у березні опублікував послання на сайті організації, яке викристалізувало недавню промову до двох основних рекомендацій:

По-перше, що дослідницька спільнота повинна перестати скаржитися на те, що очищення даних становить 80% проблем у машинному навчанні, і зайнятися розробкою надійних методологій та практик MLOps.

По-друге, що вона повинна відійти від “легких перемог”, які можна здобути за допомогою перефітування даних до моделі машинного навчання, так що вона працює добре на цій моделі, але не узагальнюється чи не дає широко застосовуваної моделі.

Прийняття виклику даних архітектури та кураторства

“Моя точка зору”, – написав Нг, “полягає в тому, що якщо 80% нашої роботи – це підготовка даних, то забезпечення якості даних є важливою роботою команди машинного навчання”.

Він продовжив:

“Натомість ніж сподіватися, що інженери випадково знайдуть найкращий спосіб поліпшити набір даних, я сподіваюсь, що ми можемо розробити інструменти MLOps, які допоможуть зробити будівництво систем штучного інтелекту, включаючи будівництво високоякісних наборів даних, більш повторюваними та систематичними.

“MLOps – це новий напрямок, і різні люди визначають його по-різному. Але я думаю, що найважливішим організаційним принципом команд та інструментів MLOps повинна бути забезпечення постійного та високоякісного потоку даних на всіх етапах проекту. Це допоможе багатьом проектам проходити більш гладко.”

Під час промови на Zoom у прямому ефірі сесії питань та відповідей наприкінці квітня Нг звернувся до питання про застосування системи аналізу радіології:

“Виявляється, що коли ми збираємо дані зі Стенфордської лікарні, потім тренуємо та тестируємо дані з тієї ж лікарні, ми можемо опублікувати статті, які показують, що алгоритми порівнянні з людськими радіологами у виявленні певних станів.

“…[Коли] ви берете ту саму модель, ту саму систему штучного інтелекту, до старої лікарні вниз по вулиці, з старою машиною, і технік використовує трохи іншу протокол зображення, дані починають дрейфувати, що призводить до погіршення продуктивності системи штучного інтелекту. Натомість будь-який людський радіолог може пройти вниз по вулиці до старої лікарні та впоратися з цим.”

Недофітування не є рішенням

Перефітування відбувається, коли модель машинного навчання спеціально розробляється для задоволення ексцентриків певного набору даних (або способу格式ування даних). Це може включати, наприклад, визначення ваг, які дадуть хороші результати з цього набору даних, але не “узагальнюватимуться” на інших даних.

У багатьох випадках такі параметри визначаються на “не-даних” аспектах тренувального набору, таких як конкретна роздільна здатність зібраних даних або інші особливості, які не гарантовані повторюватися в інших наступних наборах даних.

Хоча було б добре, перефітування не є проблемою, яку можна вирішити, просто розширивши сферу або гнучкість архітектури даних чи моделі, коли насправді потрібні широко застосовувані та високо актуальні особливості, які будуть працювати добре в різних середовищах даних – більш складна задача.

У загальному випадку такий тип “недофітування” лише призводить до тих самих проблем, які Нг недавно виклав, де модель машинного навчання не працює на невидимих даних. Різниця в цьому випадку полягає в тому, що модель не працює не через те, що дані чи форматування даних відрізняються від перефітування оригінального тренувального набору, а через те, що модель надто гнучка, а не надто крихка.

У кінці 2020 року стаття Недофітування представляє виклик для достовірності сучасного машинного навчання піддав критиці цю практику, і мала імена не менше сорока дослідників та вчених у галузі машинного навчання з Google та MIT, серед інших установ.

Стаття критикує “шорткат-навчання” та спостерігає, як недофітування моделей можуть відхилятися у випадкові напрямки на основі випадкового стартового пункту, з якого починається навчання моделі. Автори статті спостерігають:

‘Ми бачимо, що недофітування є повсюдним у практичних трубопроводах машинного навчання в багатьох галузях. Насправді, завдяки недофітуванню, суттєві аспекти рішень визначаються довільними виборами, такими як випадковий початковий пункт ініціалізації параметрів.’

Економічні наслідки зміни культури

Незважаючи на свою академічну кваліфікацію, Нг не є відстороненим академіком, а має глибокий та високий рівень промислового досвіду як співзасновник Google Brain та Coursera, колишній головний науковець з великих даних та штучного інтелекту в Baidu, а також засновник Landing AI, який адмініструє 175 мільйонів доларів США для нових стартапів у галузі.

Коли він каже “Все штучне інтелект, не тільки охорона здоров’я, має пробіл між концепцією та виробництвом”, це призначено як сигнал тривоги для сектора, який зараз характеризується як невизначений довгостроковий бізнес-інвестиція, спотворений проблемами визначення та сфери.

Проте, власницькі системи машинного навчання, які працюють добре на місці та не працюють в інших середовищах, представляють собою такий тип захоплення ринку, який міг би принести інвестиційний прибуток. Представлення “проблеми перефітування” у контексті професійної небезпеки пропонує нечесний спосіб монетизувати корпоративні інвестиції у відкриті дослідження, і створити (фактично) власницькі системи, де реплікація конкурентами є можливою, але проблематичною.

Чи працюватиме цей підхід у довгостроковій перспективі, залежить від того, наскільки справжні прориви у машинному навчанні продовжуватимуть вимагати дедалі більших рівнів інвестицій, і чи всі продуктивні ініціативи будуть невідворотно мігрувати до FAANG до певної міри, через колосальні ресурси, необхідні для розміщення та операцій.