Глубокое обучение vs обучение с подкреплением

Глубокое обучение и обучение с подкреплением – два из наиболее популярных подмножеств искусственного интеллекта. Рынок ИИ был около 120 миллиардов долларов в 2022 году и увеличивается с удивительной скоростью выше 38% в год. По мере эволюции искусственного интеллекта эти два подхода (RL и DL) были использованы для решения многих проблем, включая распознавание изображений, машинный перевод и принятие решений для сложных систем. Мы рассмотрим, как они работают, а также их применения, ограничения и различия в доступной форме.

Что такое глубокое обучение (DL)?

Глубокое обучение – это подмножество машинного обучения, в котором мы используем нейронные сети для распознавания закономерностей в заданных данных для прогностической моделирования на незнакомых данных. Данные могут быть табличными, текстовыми, изображениями или речью.

Глубокое обучение возникло в 1950-х годах, когда Фрэнк Розенблатт написал исследовательскую работу о Перцептроне в 1958 году. Перцептрон был первой архитектурой нейронной сети, которая могла быть обучена для выполнения линейных задач обучения с учителем. Со временем исследования в этой области, наличие огромного количества данных и обширные вычислительные ресурсы еще больше развили область глубокого обучения.

Как работает глубокое обучение?

Нейронная сеть – это основной строительный блок глубокого обучения. Нейронная сеть вдохновлена человеческим мозгом; она содержит узлы (нейроны), которые передают информацию. Нейронная сеть имеет три слоя:

• Слой ввода
• Скрытый слой
• Слой вывода.

Слой ввода получает данные, заданные пользователем, и передает их в скрытый слой. Скрытый слой выполняет нелинейное преобразование данных, а слой вывода отображает результаты. Ошибка между прогнозом на слое вывода и фактическим значением вычисляется с помощью функции потерь. Процесс продолжается итеративно до тех пор, пока ошибка не будет минимизирована.

Нейронная сеть

Типы архитектур глубокого обучения

Существует несколько типов архитектур нейронных сетей, таких как:

• Искусственные нейронные сети (ANN)
• Свёрточные нейронные сети (CNN)
• Рекуррентные нейронные сети (RNN)
• Генеративные состязательные сети (GAN) и т. д.

Использование архитектуры нейронной сети зависит от типа проблемы, рассматриваемой в данном контексте.

Применения глубокого обучения

Глубокое обучение находит свои применения во многих отраслях.

• В здравоохранении методы, основанные на компьютерном зрении, с использованием свёрточных нейронных сетей, могут быть использованы для анализа медицинских изображений, например, КТ и МРТ.
• В финансовом секторе оно может прогнозировать цены акций и обнаруживать мошенническую деятельность.
• Методы глубокого обучения в обработке естественного языка используются для машинного перевода, анализа настроений и т. д.

Ограничения глубокого обучения

Хотя глубокое обучение достигло уровня искусства в многих отраслях, оно имеет свои ограничения, которые следующие:

• Огромные данные: Глубокое обучение требует огромного количества размеченных данных для обучения. Недостаток размеченных данных приведет к посредственным результатам.
• Затратное по времени: Это может занять часы, а иногда и дни, чтобы обучиться на наборе данных. Глубокое обучение включает в себя много экспериментов, чтобы достичь необходимого уровня или получить осязаемые результаты, и отсутствие быстрой итерации может замедлить процесс.
• Вычислительные ресурсы: Глубокое обучение требует вычислительных ресурсов, таких как GPU и TPU, для обучения. Модели глубокого обучения занимают много места после обучения, что может быть проблемой при развертывании.

Что такое обучение с подкреплением (RL)?

Обучение с подкреплением, с другой стороны, – это подмножество искусственного интеллекта, в котором агент выполняет действие в своей среде. “Обучение” происходит путем награждения агента, когда он демонстрирует желаемое поведение, и наказания его в противном случае. С опытом агент учится оптимальной политике для максимизации награды.

Исторически обучение с подкреплением получило признание в 1950-х и 1960-х годах, поскольку были разработаны алгоритмы принятия решений для сложных систем. Поэтому исследования в этой области привели к новым алгоритмам, таким как Q-обучение, SARSA и актер-критик, которые еще больше развили практичность этой области.

Применения обучения с подкреплением

Обучение с подкреплением имеет заметные применения во всех основных отраслях.

• Робототехника – одно из наиболее известных применений обучения с подкреплением. С помощью методов обучения с подкреплением мы позволяем роботам учиться в среде и выполнять необходимые задачи.
• Обучение с подкреплением используется для разработки двигателей для игр, таких как шахматы и Го. AlphaGo (двигатель Го) и AlphaZero (шахматный двигатель) были разработаны с помощью обучения с подкреплением.
• В финансах обучение с подкреплением может помочь в принятии прибыльных торговых решений.

Ограничения обучения с подкреплением

• Огромные данные: Обучение с подкреплением требует большого количества данных и опыта, чтобы выучить оптимальную политику.
• Эксплуатация награды: Важно поддерживать баланс между исследованием состояния, формированием оптимальной политики и эксплуатацией знаний, полученных для увеличения награды. Агент не достигнет лучшего результата, если исследование будет недостаточным.
• Безопасность: Обучение с подкреплением вызывает опасения по поводу безопасности, если система наград не разработана и ограничена должным образом.

Яркие различия

В двух словах, яркие различия между обучением с подкреплением и глубоким обучением следующие:

Глубокое обучение с подкреплением – Комбинация

Глубокое обучение с подкреплением возникло как новый метод, который сочетает методы обучения с подкреплением и глубокого обучения. Последний шахматный двигатель, такой как AlphaZero, – это пример глубокого обучения с подкреплением. В AlphaZero глубокие нейронные сети используют математические функции для того, чтобы агент мог научиться играть в шахматы против себя.

Каждый год крупные игроки на рынке разрабатывают новые исследования и продукты на рынке. Глубокое обучение и обучение с подкреплением, вероятно, поразят нас инновационными методами и продуктами.

Хотите больше контента, связанного с ИИ? Посетите unite.ai.