Що таке кількакратне навчання?

Невелике навчання стосується різноманітних алгоритмів і методів, які використовуються для розробки моделі ШІ з використанням дуже невеликої кількості даних навчання. Невелике навчання намагається дозволити моделі штучного інтелекту розпізнавати та класифікувати нові дані після порівняно невеликої кількості екземплярів навчання. Невелике навчання відрізняється від традиційних методів навчання моделей машинного навчання, де зазвичай використовується велика кількість навчальних даних. Невелике навчання є використовується переважно в комп’ютерному зорі.

Щоб розвинути кращу інтуїцію для короткочасного навчання, давайте розглянемо цю концепцію більш детально. Ми розглянемо мотиви та концепції, що лежать в основі малократного навчання, вивчимо деякі різні типи кратного навчання та розглянемо деякі моделі, які використовуються в кратному навчанні на високому рівні. Нарешті, ми розглянемо деякі програми для швидкого навчання.

Що таке кратне навчання?

«Поодиноке навчання» описує практику навчання моделі машинного навчання з мінімальною кількістю даних. Як правило, моделі машинного навчання навчаються на великих обсягах даних, чим більше, тим краще. Однак поодиноке навчання є важливою концепцією машинного навчання з кількох різних причин.

Однією з причин використання поодинокого навчання є те, що воно може значно скоротити обсяг даних, необхідних для навчання моделі машинного навчання, що скорочує час, необхідний для позначення великих наборів даних. Подібним чином, поодиноке навчання зменшує потребу в додаванні певних функцій для різних завдань при використанні спільного набору даних для створення різних зразків. Невелике навчання в ідеалі може зробити моделі більш надійними та здатними розпізнавати об’єкти на основі меншої кількості даних, створюючи більш загальні моделі на відміну від вузькоспеціалізованих моделей, які є нормою.

Покрокове навчання найчастіше використовується в області комп’ютерного зору, оскільки природа проблем з комп’ютерним зором вимагає або великих обсягів даних, або гнучкої моделі.

Підкатегорії

Фраза «кількократне» навчання насправді є лише одним із типів навчання з використанням дуже небагатьох навчальних прикладів. Оскільки ви використовуєте лише «кілька» прикладів навчання, існують підкатегорії короткочасного навчання, які також передбачають навчання з мінімальною кількістю даних. «Одноразове» навчання — це інший тип навчання моделі, який передбачає навчання моделі розпізнавати об’єкт після того, як вона побачила лише одне зображення цього об’єкта. Загальна тактика, яка використовується для однократного та кількох схем навчання, однакова. Майте на увазі, що термін «кількократне» навчання може використовуватися як загальний термін для опису будь-якої ситуації, коли модель навчається з дуже невеликою кількістю даних.

Підходи до поодинокого навчання

Більшість невеликих підходів до навчання можна віднести до однієї з трьох категорій: підходи на рівні даних, підходи на рівні параметрів і підходи на основі показників.

Підходи на рівні даних

Концепція підходів на рівні даних до короткочасного навчання дуже проста. Щоб навчити модель, коли у вас недостатньо навчальних даних, ви можете просто отримати більше навчальних даних. Існують різні методи, які можуть використовувати спеціалісти з обробки даних, щоб збільшити обсяг навчальних даних, які вони мають.

Подібні навчальні дані можуть створити резервну копію точних цільових даних, на яких ви навчаєте класифікатора. Наприклад, якщо ви навчаєте класифікатора розпізнавати певні види собак, але вам не вистачає багатьох зображень конкретного виду, який ви намагаєтеся класифікувати, ви можете включити багато зображень собак, які допоможуть класифікатору визначити загальні риси, які складають собаку. .

Розширення даних може створити більше навчальних даних для класифікатора. Зазвичай це передбачає застосування перетворень до існуючих навчальних даних, наприклад обертання існуючих зображень, щоб класифікатор розглядав зображення з різних кутів. GAN також можна використовувати для створення нових прикладів навчання на основі того, що вони дізналися з кількох автентичних прикладів навчальних даних, які у вас є.

Підходи на рівні параметрів

Метанавчання

Один із підходів на рівні параметрів до малократного навчання передбачає використання техніки під назвою «метанавчання”. Метанавчання передбачає навчання моделі, як вчитися які функції важливі в задачі машинного навчання. Це може бути досягнуто шляхом створення методу для регулювання того, як досліджується простір параметрів моделі.

Метанавчання використовує дві різні моделі: модель викладача та модель студента. Модель «вчитель» і модель «учень». Модель вчителя вчиться інкапсулювати простір параметрів, тоді як алгоритм учня вчиться розпізнавати та класифікувати фактичні елементи в наборі даних. Іншими словами, модель вчителя вчиться оптимізувати модель, а модель учня вчиться класифікувати. Вихідні дані моделі вчителя використовуються для навчання моделі учня, показуючи моделі учня, як узгодити великий простір параметрів, який є результатом занадто малого обсягу навчальних даних. Звідси «мета» в метанавчанні.

Одна з головних проблем з моделями навчання з невеликою кількістю кадрів полягає в тому, що вони можуть легко перевантажити навчальні дані, оскільки вони часто мають простори великої розмірності. Обмеження простору параметрів моделі вирішує цю проблему, і хоча це може бути досягнуто шляхом застосування методів регуляризації та вибору належних функцій втрат, використання алгоритму викладача може значно покращити продуктивність моделі з кількома кадрами.

Модель класифікатора навчання з кількома випадками (модель студента) намагатиметься узагальнити на основі невеликої кількості навчальних даних, які вона надає, і її точність можна підвищити за допомогою моделі викладача, щоб направляти її через простір параметрів великої розмірності. Цю загальну архітектуру називають «градієнтним» метанавчанням.

Повний процес навчання метанавчання на основі градієнта виглядає наступним чином:

1. Створіть базову модель учня (вчителя).
2. Тренуйте модель базового учня на опорному наборі
3. Нехай базовий учень повертає передбачення для набору запитів
4. Навчіть метаучня (студента) на втрату, спричинену помилкою класифікації

Варіації метанавчання

Модельно-агностичне метанавчання це метод, який використовується для розширення основної техніки метанавчання на основі градієнта, про яку ми розповідали вище.

Як ми вже згадували вище, метаучень на основі градієнта використовує попередній досвід, отриманий моделлю вчителя налаштувати себе та давати точніші прогнози для невеликої кількості навчальних даних. Однак, починаючи з випадково ініціалізованих параметрів, модель все ще може потенційно переповнювати дані. Щоб уникнути цього, створюється «незалежний від моделі» мета-учень шляхом обмеження впливу моделі вчителя/базової моделі. Замість навчання моделі учня безпосередньо на втратах прогнозів, зроблених моделлю вчителя, модель учня навчається на втратах для власних прогнозів.

Для кожного епізоду навчання метаучня, який не залежить від моделі:

1. Створено копію поточної моделі метаучня.
2. Копія навчається за допомогою базової моделі/моделі вчителя.
3. Копія повертає прогнози для даних навчання.
4. Обчислені втрати використовуються для оновлення метанавчання.

Метричне навчання

Підходи метричного навчання до розробки моделі навчання з кількома кадрами зазвичай включають використання базової метрики відстані робити порівняння між зразками в наборі даних. Алгоритми вивчення показників, такі як косинусна відстань, використовуються для класифікації вибірок запитів на основі їх подібності до опорних вибірок. Для класифікатора зображень це означатиме лише класифікацію зображень на основі подібності поверхневих характеристик. Після того, як допоміжний набір зображень вибрано та перетворено у вектор вбудовування, те ж саме робиться з набором запиту, а потім порівнюються значення для двох векторів, при цьому класифікатор вибирає клас, який має найближчі значення до векторизованого набору запиту. .

Досконалішим рішенням на основі метрики є «прототипна мережа”. Прототипові мережі кластеризують точки даних разом, об’єднуючи моделі кластеризації з класифікацією на основі метрики, описаною вище. Як і в кластеризації K-середніх, центроїди для кластерів обчислюються для класів у наборах підтримки та запитів. Потім застосовується евклідова метрика відстані для визначення різниці між наборами запитів і центроїдами набору опор, призначаючи набір запитів будь-якому класу набору опор, який є ближчим.

Більшість інших підходів до навчання є лише варіаціями основних технік, описаних вище.

Програми для малократного навчання

Невелике навчання має застосування в багатьох різних підгалузях науки про дані, таких як комп’ютерне бачення, обробка природної мови, робототехніка, охорона здоров’я та обробка сигналів.

Застосунки для навчання за кілька кадрів у просторі комп’ютерного зору включають ефективне розпізнавання символів, класифікацію зображень, розпізнавання об’єктів, відстеження об’єктів, передбачення руху та локалізацію дій. Програми обробки природної мови для швидкого навчання включають переклад, завершення речень, класифікацію намірів користувача, аналіз настроїв і класифікацію тексту за кількома мітками. Нешвидке навчання можна використовувати в області робототехніки, щоб допомогти роботам дізнатися про завдання лише за допомогою кількох демонстрацій, дозволяючи роботам навчитися виконувати дії, рухатися та орієнтуватися в навколишньому світі. Відкриття нечисленних ліків є новою сферою охорони здоров’я ШІ. І, нарешті, у повільному навчанні є додатки для обробки акустичного сигналу, який є процесом аналізу звукових даних, що дозволяє системам штучного інтелекту клонувати голоси на основі лише кількох зразків користувачів або перетворення голосу від одного користувача до іншого.