Изкуствен интелект

Задълбочено обучение срещу обучение с подсилване

Обновено on Януари 18, 2023

Deep Learning и Reinforcement Learning са две от най-популярните подгрупи на изкуствения интелект. AI пазар е около 120 милиарда долара през 2022 г. и нараства с умопомрачителен CAGR над 38%. С развитието на изкуствения интелект тези два подхода (RL и DL) са използвани за решаване на много проблеми, включително разпознаване на изображения, машинен превод и вземане на решения за сложни системи. Ще проучим как работят заедно с техните приложения, ограничения и разлики по лесен за разбиране начин.

Какво е дълбоко обучение (DL)?

Дълбокото обучение е подмножеството на машинното обучение, в което използваме невронни мрежи за разпознаване на модели в дадените данни за прогнозно моделиране на невидимите данни. Данните могат да бъдат таблични, текстови, изображения или реч.

Дълбокото обучение се появява през 1950-те години на миналия век, когато Франк Розенблат написва изследователска статия за Perceptron през 1958 г. Perceptron е първата архитектура на невронна мрежа, която може да бъде обучена да изпълнява задачи за линейно контролирано обучение. С течение на времето изследванията в областта, наличието на огромно количество данни и обширните изчислителни ресурси издигнаха още повече в областта на дълбокото обучение.

Как работи дълбокото обучение?

Невронната мрежа е градивният елемент на дълбокото обучение. Човешкият мозък вдъхновява невронната мрежа; Той съдържа възли (неврони), които предават информация. Невронната мрежа има три слоя:

Входен слой
Скрит слой
Изходен слой.

Входният слой получава данни, дадени от потребителя, и ги предава на скрития слой. Скритият слой извършва нелинейна трансформация на данните, а изходният слой показва резултатите. Грешката между прогнозата в изходния слой и действителната стойност се изчислява с помощта на функция за загуба. Процесът продължава итеративно, докато загубата бъде сведена до минимум.

невронни мрежи

Видове архитектури за дълбоко обучение

Има различни видове архитектури на невронни мрежи, като например:

Изкуствени невронни мрежи (ANN)
Конволюционни невронни мрежи (CNN)
Повтарящи се невронни мрежи (RNN)
Generative Adversarial Networks (GAN) и др.

Използването на архитектура на невронна мрежа зависи от вида на разглеждания проблем.

Приложения на Deep Learning

Дълбокото обучение намира своите приложения в много индустрии.

В здравеопазването могат да се използват методи, базирани на компютърно зрение, използващи конволюционни невронни мрежи анализиране на медицински изображения, напр. CT и MRI сканиране.
Във финансовия сектор той може да прогнозира цените на акциите и да открие измамни дейности.
Методи за дълбоко обучение в Natural Language Processing се използват за машинен превод, анализ на настроението и др.

Ограничения на Deep Learning

Въпреки че дълбокото обучение е постигнало най-съвременните резултати в много индустрии, то има своите ограничения, които са както следва:

Огромни данни: Дълбокото обучение изисква огромно количество етикетирани данни за обучение. Липсата на маркирани данни ще даде резултати под пара.
Отнема много време: Обучението върху набора от данни може да отнеме часове, а понякога и дни. Дълбокото обучение включва много експерименти за достигане на необходимия показател или постигане на осезаеми резултати, а липсата на бърза итерация може да забави процеса.
Изчислителни ресурси: Дълбокото обучение изисква изчислителни ресурси като GPU и TPU за обучение. Моделите за дълбоко обучение заемат достатъчно място след обучение, което може да бъде проблем по време на внедряването.

Какво е обучение с подсилване (RL)?

Обучението с подсилване, от друга страна, е подгрупата на изкуствения интелект, в която агент извършва действие върху своята среда. „Ученето“ се случва чрез възнаграждаване на агента, когато претърпи желаното поведение и наказване в противен случай. С опит агентът научава оптималната политика за максимизиране на възнаграждението.

Исторически погледнато, обучението с подсилване получи светлината на прожекторите през 1950-те и 1960-те години на миналия век, защото бяха разработени алгоритми за вземане на решения за сложни системи. Следователно изследванията в тази област доведоха до нови алгоритми като Q-Learning, SARSA и actor-critic, което допринесе за практичността на областта.

Приложения на обучението с подсилване

Обучението с подсилване има забележителни приложения във всички основни индустрии.

Роботика е едно от най-известните приложения в обучението за засилване. Използвайки методи за обучение с подсилване, ние позволяваме на роботите да се учат от околната среда и да изпълняват изискваната задача.
Reinforcement Learning се използва за разработване на двигатели за игри като Chess and Go. AlphaGo (Go двигател) и AlphaZero (шахматен двигател) са разработени с помощта на обучение с подсилване.
Във финансите обучението за укрепване може да помогне за извършване на печеливша търговия.

Ограничения на обучението с подсилване

Огромни данни: Обучението с подсилване изисква голямо количество данни и опит, за да научите оптимална политика.
Експлоатация на възнаграждение: Важно е да се поддържа баланс между изследване на състоянието, формиране на оптимална политика и използване на полученото знание за увеличаване на възнаграждението. Агентът няма да постигне най-добрия резултат, ако проучването е под нивото.
Безопасност: Обучението с подсилване поражда опасения за безопасността, ако системата за възнаграждение не е проектирана и подходящо ограничена.

Забележими разлики

Накратко, основните разлики между Reinforcement Learning и Deep Learning са следните:

Дълбоко обучение	Укрепване на обучението
Той съдържа взаимосвързани възли и обучението се случва чрез минимизиране на загубата чрез коригиране на теглата и отклоненията на невроните.	Той съдържа агент, който се учи от околната среда, като взаимодейства с нея, за да постигне оптимална политика.
Дълбокото обучение се използва при проблеми с контролирано обучение, където данните са етикетирани. Въпреки това, той се използва в неконтролирано обучение за случаи на употреба като откриване на аномалии и др.	Обучението за подсилване включва агент, който се учи от своята среда, без да се нуждае от етикетирани данни.
Използва се при откриване и класифициране на обекти, машинен превод и анализ на настроението и др.	Използва се в роботиката, игрите и автономните превозни средства.

Обучение с дълбоко укрепване – Комбинацията

Deep Reinforcement Learning се появи като нова техника, която комбинира методи за укрепване и задълбочено обучение. Най-новият шах двигател, като напр алфазеро, е пример за Deep Reinforcement Learning. В AlphaZero, Deep Neural Networks използват математически функции, за да може агентът да се научи да играе шах срещу себе си.

Всяка година големи играчи на пазара разработват нови изследвания и продукти на пазара. Очаква се Deep Learning и Reinforcement Learning да ни удивят с авангардни методи и продукти.

Искате повече съдържание, свързано с AI? Посетете обединявам.ai.