Що таке глибоке навчання з підкріпленням?

Що таке глибоке навчання з підкріпленням?

Разом з машинним навчанням без нагляду та навчанням з наглядом, ще одним поширеним видом створення штучного інтелекту є навчання з підкріпленням. За межами звичайного навчання з підкріпленням, глибоке навчання з підкріпленням може привести до надзвичайно вражаючих результатів, завдяки тому, що воно поєднує найкращі аспекти глибокого навчання та навчання з підкріпленням. Давайте розглянемо, як працює глибоке навчання з підкріпленням.

Перед тим, як ми зануримося у глибоке навчання з підкріпленням, можливо, буде корисно освіжити нашу пам’ять про те, як працює звичайне навчання з підкріпленням. У навчанні з підкріпленням алгоритми, орієнтовані на досягнення мети, створюються через процес проб і помилок, оптимізуючи дії, які призводять до найкращого результату/дії, яка отримує найбільшу “нагороду”. Коли алгоритми навчання з підкріпленням тренуються, їм надаються “нагороди” або ” покарання”, які впливають на дії, які вони будуть виконувати в майбутньому. Алгоритми намагаються знайти набір дій, який надасть системі найбільшу нагороду, балансуючи між негайними та майбутніми нагородами.

Алгоритми навчання з підкріпленням дуже потужні, оскільки вони можуть бути застосовані майже до будь-якого завдання,能够 гнучко та динамічно навчатися з середовища та відкривати можливі дії.

Огляд глибокого навчання з підкріпленням

Фото: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Якщо говорити про глибоке навчання з підкріпленням, середовище зазвичай представляється у вигляді зображень. Зображення – це захоплення середовища в певний момент часу. Агент повинен проаналізувати зображення та витягнути з них важливу інформацію, використовуючи цю інформацію для визначення дій, які він повинен виконувати. Глибоке навчання з підкріпленням зазвичай проводиться за допомогою одного з двох різних методів: значення-орієнтоване навчання та політика-орієнтоване навчання.

Методи навчання на основі цінностей використовують алгоритми та архітектури, такі як конволюційні нейронні мережі та глибокі мережі Q. Ці алгоритми працюють шляхом перетворення зображення у масштабі сірого та вирізання зайвих частин зображення. Після цього зображення піддається різним конволюціям та операціям пулізації, витягуючи найважливіші частини зображення. Важливі частини зображення потім використовуються для розрахунку Q-значення для різних дій, які агент може виконувати. Q-значення використовуються для визначення найкращого курсу дій для агента. Після розрахунків початкових Q-значень проводиться зворотнє поширення, щоб визначити найбільш точні Q-значення.

Методи політики використовуються, коли кількість можливих дій, які агент може виконувати, дуже велика, що зазвичай відбувається у реальних сценаріях. Такі ситуації потребують іншого підходу, оскільки розрахунок Q-значень для всіх окремих дій не є практичним. Підходи політики працюють без розрахунку функцій цінностей для окремих дій. Замість цього вони приймають рішення про політику шляхом прямого навчання політики, часто за допомогою технік, таких як градієнти політики.

Градієнти політики працюють шляхом отримання стану та розрахунку ймовірностей дій на основі попереднього досвіду агента. Найбільш імовірна дія потім вибирається. Цей процес повторюється до кінця періоду оцінки та нагородження агента. Після нагородження агента параметри мережі оновлюються за допомогою зворотнього поширення.

Що таке Q-навчання?

Оскільки Q-навчання є великою частиною процесу глибокого навчання з підкріпленням, давайте розглянемо, як працює система Q-навчання.

Процес прийняття рішень Маркова

Процес прийняття рішень Маркова. Фото: waldoalvarez via Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Для того, щоб штучний інтелект міг виконувати серію завдань та досягати мети, агент повинен能够 працювати з послідовністю станів та подій. Агент починає у одному стані та повинен виконувати серію дій, щоб досягти кінцевого стану, і між початковим та кінцевим станами може бути величезна кількість станів. Зберігання інформації про кожен стан є непрактичним або неможливим, тому система повинна знайти спосіб зберегти лише найважливішу інформацію про стан. Це досягається за допомогою процесу прийняття рішень Маркова, який зберігає лише інформацію про поточний стан та попередній стан. Кожен стан має властивість Маркова, яка відстежує, як агент змінюється з попереднього стану до поточного.

Глибоке Q-навчання

Після того, як модель має доступ до інформації про стани середовища, можна розрахувати Q-значення. Q-значення – це загальна нагорода, яку агент отримує в кінці послідовності дій.

Q-значення розрахункові за допомогою серії нагород. Є негайна нагорода, розрахункова на поточному стані та залежна від поточної дії. Q-значення для наступного стану також розрахункові, а також Q-значення для стану після цього, і так далі, поки не будуть розрахункові всі Q-значення для різних станів. Є також параметр Гамма, який використовується для контролю ваги майбутніх нагород на дії агента. Політики зазвичай розрахункові шляхом випадкового ініціювання Q-значень та дозволяють моделі збігтися до оптимальних Q-значень протягом процесу навчання.

Глибокі мережі Q

Одна з фундаментальних проблем, пов’язаних з використанням Q-навчання для навчання з підкріпленням, полягає в тому, що кількість пам’яті, необхідної для зберігання даних, швидко зростає з кількістю станів. Глибокі мережі Q розв’язують цю проблему, поєднуючи моделі нейронних мереж з Q-значеннями, що дозволяє агенту навчатися з досвіду та робити розумні припущення про найкращі дії. З глибоким Q-навчанням Q-функції цінностей оцінюються за допомогою нейронних мереж. Нейронна мережа приймає стан як вхідні дані, а мережа виводить Q-значення для всіх можливих дій, які агент може виконувати.

Глибоке Q-навчання досягається шляхом зберігання всіх попередніх досвідів у пам’яті, розрахунку максимальних виходів для Q-мережі, а потім використання функції втрат для розрахунку різниці між поточними значеннями та теоретично найбільшими можливими значеннями.

Глибоке навчання з підкріпленням проти глибокого навчання

Одна з важливих різниць між глибоким навчанням з підкріпленням та звичайним глибоким навчанням полягає в тому, що в першому випадку вхідні дані постійно змінюються, чого не відбувається у традиційному глибокому навчанні. Як можна зробити так, щоб модель навчання враховувала вхідні та вихідні дані, які постійно змінюються?

По суті, для того, щоб врахувати розбіжність між передбачуваними значеннями та ціловими значеннями, можна використовувати дві нейронні мережі замість однієї. Одна мережа оцінює цілові значення, а інша мережа відповідає за передбачення. Параметри мережі-цілі оновлюються, коли модель навчання, після певної кількості ітерацій навчання. Вихідні дані відповідних мереж потім об’єднуються для визначення різниці.

Політика-орієнтоване навчання

Політика-орієнтоване навчання працює інакше, ніж підходи, засновані на Q-значеннях. Підходи, засновані на Q-значеннях, створюють функцію цінностей, яка передбачає нагороди для станів та дій, тоді як методи політики прямо оптимізують політику, яка відображає стани на дії. Інакше кажучи, політика, яка вибирає дії, оптимізується безпосередньо, без урахування функції цінностей.

Градієнти політики

Політика глибокого навчання з підкріпленням належить до однієї з двох категорій: стохастична або детерміністична. Детерміністична політика – це така, при якій стани відображаються на дії, тобто коли політиці надається інформація про стан, повертається дія. Стохастична політика повертає розподіл ймовірностей дій замість однієї окремої дії.

Детерміністичні політики використовуються, коли немає неоднозначності щодо результатів дій, які можна виконувати. Інакше кажучи, коли середовище сам по собі детерміністичне. Натомість стохастичні політики використовуються у середовищах, де результат дій неоднозначний. Зазвичай сценарії навчання з підкріпленням включають певний рівень неоднозначності, тому стохастичні політики використовуються.

Підходи градієнтів політики мають кілька переваг перед підходами Q-навчання, а також деякі недоліки. Серед переваг політика-орієнтовані методи сходять до оптимальних параметрів швидше та надійніше. Градієнт політики можна просто слідувати до тих пір, поки не будуть визначені найкращі параметри, тоді як у значення-орієнтованих методах невеликі зміни оцінок дій можуть привести до великих змін дій та їхніх параметрів.

Градієнти політики працюють краще для високовимірних просторів дій. Коли кількість можливих дій дуже велика, глибоке Q-навчання стає непрактичним, оскільки воно повинно призначити оцінку кожній можливій дії для всіх часових кроків, що може бути неможливим з комп’ютерної точки зору. Однак з політика-орієнтованими методами параметри регулюються протягом часу, і кількість можливих найкращих параметрів швидко зменшується, коли модель сходиться.

Градієнти політики також здатні реалізовувати стохастичні політики, на відміну від значення-орієнтованих політик. Оскільки стохастичні політики генерують розподіл ймовірностей, не потрібно реалізовувати компроміс між дослідженням та експлуатацією.

Що стосується недоліків, головним недоліком градієнтів політики є те, що вони можуть застряти під час пошуку оптимальних параметрів, зосереджуючись лише на вузькому, локальному наборі оптимальних значень замість глобальних оптимальних значень.

Функція оцінки політики

Політики, які використовуються для оптимізації продуктивності моделі, спрямовані на максимізацію функції оцінки – J(θ). Якщо J(θ) – це міра того, наскільки хороша наша політика для досягнення бажаної мети, ми можемо знайти значення “θ”, яке дає нам найкращу політику. Спочатку нам потрібно розрахувати очікувану політику нагород. Ми оцінюємо політику нагород, щоб мали об’єктив, щось, до чого можна оптимізувати. Функція оцінки політики – це те, як ми розраховуємо очікувану політику нагород, і існують різні функції оцінки політики, які зазвичай використовуються, такі як: початкові значення для епізодичних середовищ, середнє значення для безперервних середовищ та середня нагорода за часовий крок.

Градієнт підйому політики

Градієнт підйому спрямований на рух параметрів до місця, де оцінка найвища. Фото: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Після використання бажаної функції оцінки політики та розрахунку очікуваної політики нагород ми можемо знайти значення параметра “θ”, яке максимізує функцію оцінки. Для максимізації функції оцінки J(θ) використовується техніка, називається “градієнт підйому”. Градієнт підйому схожий за концепцією з градієнтом спуску у глибокому навчанні, але ми оптимізуємо для найкрутішого зростання замість спадання. Це тому, що наша оцінка не “помилка”, як у багатьох задачах глибокого навчання. Наша оцінка – це щось, чого ми хочемо максимізувати. Вираз, називається теорема градієнту політики, використовується для оцінки градієнта щодо політики “θ”.

Підсумок глибокого навчання з підкріпленням

Підсумуючи, глибоке навчання з підкріпленням поєднує аспекти навчання з підкріпленням та глибоких нейронних мереж. Глибоке навчання з підкріпленням проводиться за допомогою двох різних методів: глибокого Q-навчання та градієнтів політики.

Методи глибокого Q-навчання спрямовані на передбачення нагород, які будуть слідувати за певними діями у даному стані, тоді як підходи градієнтів політики спрямовані на оптимізацію простору дій, передбачаючи дії самі по собі. Підходи політики до глибокого навчання з підкріпленням можуть бути детерміністичними або стохастичними за своєю природою. Детерміністичні політики відображають стани безпосередньо на дії, тоді як стохастичні політики генерують розподіли ймовірностей дій.