Як ми можемо використовувати глибоке навчання з малими даними? – Лідери думок

Коли мова йде про те, щоб бути в курсі останніх тенденцій у сфері кібербезпеки, процес стеження за останніми розробками може стати досить трудомістким, оскільки є багато новин, за якими потрібно слідкувати. Однак сьогодні ситуація змінилася кардинально, оскільки сфера кібербезпеки似乎 обертається навколо двох слів – глибоке навчання.

Хоча спочатку ми були здивовані величезним висвітленням глибокого навчання, швидко стало очевидним, що ажіотаж навколо глибокого навчання був цілком виправданий. Глибоке навчання дозволяє моделі штучного інтелекту досягати високої точності, виконуючи завдання безпосередньо з тексту, зображень та аудіо сигналів.

До цього часу широко вважалося, що глибоке навчання залежить від величезної кількості даних, подібної до тих, які мають компанії Google і Facebook, щоб досягти мети вирішення найбільш складних проблем у організації. Протилежно поширеному переконанню, однак, підприємства можуть використовувати силу глибокого навчання, навіть маючи доступ лише до обмеженого набору даних.

У спробі допомогти нашим читачам придбати необхідні знання для оснащення своєї організації глибоким навчанням, ми склали статтю, яка детально розглядає деякі способи, за допомогою яких підприємства можуть використовувати переваги глибокого навчання, незважаючи на обмежений доступ до даних.

Але перед тим, як ми зможемо перейти до суті статті, ми хотіли б зробити невелику, але дуже важливу пропозицію – почніть з простих речей. Однак, перш ніж ви почнете створювати нейронні мережі, достатньо складні, щоб бути представленими у науково-фантастичних фільмах, почніть з експериментів з простими і традиційними моделями, (наприклад, випадковий ліс), щоб познайомитися з програмним забезпеченням.

Отже, перейдемо до деяких способів, за допомогою яких підприємства можуть поєднати глибоке навчання з обмеженими даними.

#1- Уточнення базової моделі:

Як ми вже зазначили вище, перший крок, який підприємства повинні зробити після створення простої базової моделі глибокого навчання, – це уточнити її для конкретної задачі.

Однак, уточнення базової моделі звучить складніше на папері, ніж насправді. Основна ідея полягає в тому, щоб взяти великий набір даних, який має деяку подібність з вашою сферою діяльності, і потім уточнити деталі оригінального набору даних за допомогою ваших обмежених даних.

Що стосується отримання великого набору даних, власники підприємств можуть покладатися на ImageNet, який також пропонує просте рішення проблем класифікації зображень. Набір даних, розміщений на ImageNet, дозволяє організаціям отримати доступ до мільйонів зображень, які розділені на різні класи зображень, що можуть бути корисними для підприємств з різних сфер діяльності, включаючи, але не обмежуючись, зображення тварин тощо.

Якщо процес уточнення попередньо навченої моделі для задоволення конкретних потреб вашої організації все ще здається надто складним, ми рекомендуємо звернутися до інтернет-ресурсів, оскільки простий пошук у Google надасть вам сотні навчальних посібників про те, як уточнити набір даних.

#2- Збір更多 даних:

Хоча другий пункт нашого списку може здатися деяким нашим читачам зайвим, факт залишається таким, що чим більший ваш набір даних, тим більш точними будуть результати.

Хоча суть цієї статті полягає в тому, щоб надати підприємствам з обмеженими даними можливість використання глибокого навчання, ми часто зустрічали випадки, коли вищестоящі особи ставили під сумнів інвестиції у збір даних, вважаючи це гріхом.

Часто підприємства нехтують перевагами глибокого навчання просто через те, що вони не хочуть інвестувати час і зусилля у збір даних. Якщо ваша організація не впевнена у кількості даних, які потрібно зібрати, ми рекомендуємо побудувати криві навчання, коли додаткові дані інтегруються у модель, і спостерігати за зміною продуктивності моделі.

На відміну від поширеного переконання, яке мають许多 CSO і CISO, іноді найкращим способом вирішення проблем є збір більшої кількості релевантних даних. Роль CSO і CISO дуже важлива в цьому випадку, оскільки завжди існує загроза кібератак. За даними 2019 року, загальні витрати на кібербезпеку склали 103,1 мільярда доларів, і ця цифра продовжує зростати. Щоб краще зрозуміти це, розглянемо простий приклад: якщо ви намагаєтеся класифікувати рідкісні діаманти, але маєте обмежений набір даних. Найочевидніше рішення цієї проблеми полягає в тому, щоб зібрати більше даних!

#3- Розширення даних:

Хоча перші два пункти нашого списку досить ефективні для вирішення більшості проблем, пов’язаних з реалізацією глибокого навчання в підприємствах з малими даними, вони сильно залежать від певного рівня удачі.

Якщо ви не можете досягти успіху в уточненні попередньо навченої моделі, ми рекомендуємо спробувати розширення даних. Розширення даних полягає в тому, щоб змінити вхідний набір даних таким чином, щоб отримати новий вихід, не змінюючи при цьому значення мітки.

Щоб краще зрозуміти ідею розширення даних, розглянемо зображення собаки. Якщо зображення повернути, глядач все одно зможе впізнати, що це зображення собаки. Це саме те, чого намагається досягнути розширення даних, на відміну від повернутого зображення дороги, яке змінює кут підйому і залишає багато місця для глибокого навчання алгоритму зробити неправильний висновок і зруйнувати мету реалізації глибокого навчання.

Розширення даних грає ключову роль у вирішенні проблем, пов’язаних з класифікацією зображень, і пропонує різноманітні техніки розширення даних, які допомагають глибокому навчанню алгоритму глибше зрозуміти різні класифікації зображень.

Крім того, розширення даних пропонує几乎 безмежні можливості. Підприємства можуть реалізувати розширення даних різними способами, включаючи NLP і експерименти з GAN, які дозволяють алгоритму генерувати нові дані.

#4- Реалізація ефекту ансамблю:

Технологія глибокого навчання диктує, що мережа побудована на основі декількох шарів. Проте, на відміну від поширеного переконання багатьох, останній шар служить для надання механізму ансамблю.

Віра в те, що підприємства з обмеженими даними повинні будувати свої мережі глибоко, також була висловлена в статті NIPs, яка віддзеркалювала наше переконання. Підприємства з малими даними можуть легко маніпулювати ефектом ансамблю, просто будуючи свої глибокі мережі глибоко, уточнюючи або іншим способом.

#5- Включення автоенкодерів:

Хоча п’ятий пункт нашого списку мав лише відносний успіх, ми все ще підтримуємо використання автоенкодерів для попередньої підготовки мережі і її правильної ініціалізації.

Одна з найбільших причин, крім кібератак, чому підприємства не можуть подолати перші перешкоди реалізації глибокого навчання, полягає в поганій ініціалізації, і її численних пасток. Непередбачувана попередня підготовка часто призводить до поганого або неправильного виконання глибокого навчання, де автоенкодери можуть блистать.

Основна ідея нейронної мережі полягає в створенні мережі, яка передбачає природу вхідних даних. Якщо ви не впевнені, як використовувати автоенкодер, є численні навчальні посібники в інтернеті, які надають чіткі інструкції.

Висновок:

На закінчення статті ми хотіли б повторити те, що ми сказали на початку, з одним доповненням – включення галузевих знань у процес навчання! Не тільки включення цінних знань прискорює процес навчання, але також дозволяє глибокому навчанню алгоритму давати кращі і більш точні результати.