Является ли традиционный машинный обучение еще актуальным?

В последние годы генеративный ИИ показал перспективные результаты в решении сложных задач ИИ. Современные модели ИИ, такие как ChatGPT, Bard, LLaMA, DALL-E.3 и SAM, продемонстрировали замечательные возможности в решении междисциплинарных задач, таких как визуальный вопрос-ответ, сегментация, рассуждение и генерация контента.

Более того, мультимодальные методы ИИ появились, способные обрабатывать несколько типов данных, такие как текст, изображения, аудио и видео одновременно. С учетом этих достижений, естественно задуматься: подходят ли мы к концу традиционного машинного обучения (ML)?

В этой статье мы рассмотрим состояние традиционного машинного обучения в контексте современных инноваций генеративного ИИ.

Что такое традиционное машинное обучение? – Каковы его ограничения?

Традиционное машинное обучение – это широкий термин, охватывающий множество алгоритмов, в основном основанных на статистике. Два основных типа традиционных алгоритмов ML – это наблюдаемое и ненаблюдаемое обучение. Эти алгоритмы предназначены для разработки моделей из структурированных наборов данных.

Стандартные традиционные алгоритмы машинного обучения включают:

• Алгоритмы регрессии, такие как линейная, лассо и ридж.
• Кластеризация методом к-средних.
• Принципиальный компонентный анализ (ПКА).
• Машины опорных векторов (МОВ).
• Деревья решений и случайные леса.
• Модели бустинга, такие как градиентный бустинг и XGBoost.

Ограничения традиционного машинного обучения

Традиционное ML имеет следующие ограничения:

1. Ограниченная масштабируемость: Эти модели часто испытывают трудности с масштабированием для больших и разнообразных наборов данных.
2. Предобработка данных и инженерия признаков: Традиционное ML требует обширной предобработки для преобразования наборов данных в соответствии с требованиями модели. Кроме того, инженерия признаков может быть трудоемкой и требует множества итераций для захвата сложных отношений между признаками данных.
3. Высокоразмерные и неструктурированные данные: Традиционное ML испытывает трудности с сложными типами данных, такими как изображения, аудио, видео и документы.
4. Адаптивность к не виденным данным: Эти модели могут не адаптироваться хорошо к реальным данным, которые не были частью их тренировочных данных.

Нейронная сеть: Переход от машинного обучения к глубокому обучению и далее

Модели нейронных сетей намного более сложны, чем традиционные модели машинного обучения. Самая простая нейронная сеть – мультислойный перцептрон (MLP) – состоит из нескольких нейронов, соединенных вместе для понимания информации и выполнения задач, подобно тому, как функционирует человеческий мозг.

Достижения в техниках нейронных сетей сформировали основу для перехода от машинного обучения к глубокому обучению. Например, нейронные сети, используемые для задач компьютерного зрения (обнаружение объектов и сегментация изображений), называются свёрточными нейронными сетями (CNN), такими как AlexNet, ResNet и YOLO.

Сегодня технология генеративного ИИ продвигает техники нейронных сетей на новый уровень, позволяя ей преуспевать в различных областях ИИ. Например, нейронные сети, используемые для задач обработки естественного языка (таких как суммаризация текста, ответы на вопросы и перевод), известны как трансформеры. Примечательные модели трансформеров включают BERT, GPT-4 и T5. Эти модели оказывают влияние на отрасли, начиная от здравоохранения, розничной торговли, маркетинга, финансов и т. д.

Еще ли нам нужны традиционные алгоритмы машинного обучения?

Хотя нейронные сети и их современные варианты, такие как трансформеры, получили много внимания, традиционные методы ML остаются важными. Давайте рассмотрим, почему они все еще актуальны.

1. Простые требования к данным

Нейронные сети требуют больших наборов данных для обучения, тогда как модели ML могут достигать значительных результатов с меньшими и более простыми наборами данных. Таким образом, ML предпочтительнее глубокому обучению для небольших структурированных наборов данных и наоборот.

2. Простота и интерпретируемость

Традиционные модели машинного обучения строятся на основе более простых статистических и вероятностных моделей. Например, линия наилучшего приближения в линейной регрессии устанавливает связь между входными и выходными данными с помощью метода наименьших квадратов, статистической операции.

Аналогично, деревья решений используют вероятностные принципы для классификации данных. Использование таких принципов обеспечивает интерпретируемость и делает его проще для практиков ИИ понять работу алгоритмов ML.

Современные архитектуры нейронных сетей, такие как трансформеры и модели диффузии (обычно используемые для генерации изображений, таких как Stable Diffusion или Midjourney), имеют сложную многослойную структуру. Понимание таких сетей требует понимания продвинутых математических концепций. Поэтому их также называют «черными ящиками».

3. Эффективность ресурсов

Современные нейронные сети, такие как большие языковые модели (LLM), обучаются на кластерах дорогих GPU в соответствии с их вычислительными требованиями. Например, GPT4, как сообщается, был обучен на 25000 Nvidia GPU (NVDA ) в течение 90-100 дней.

Однако дорогое оборудование и длительное время обучения не являются осуществимыми для каждого практика или команды ИИ. С другой стороны, вычислительная эффективность традиционных алгоритмов машинного обучения позволяет практикам достигать значимых результатов даже с ограниченными ресурсами.

4. Не все проблемы требуют глубокого обучения

Глубокое обучение не является абсолютным решением для всех проблем. Существуют определенные сценарии, в которых ML превосходит глубокое обучение.

Например, в медицинской диагностике и прогнозе с ограниченными данными, алгоритм ML для обнаружения аномалий типа REMED дает лучшие результаты, чем глубокое обучение. Аналогично, традиционное машинное обучение значимо в сценариях с низкой вычислительной мощностью как гибкое и эффективное решение.

Примarily, выбор лучшей модели для любой проблемы зависит от потребностей организации или практика и характера проблемы.

Машинное обучение в 2023 году

Изображение, сгенерированное с помощью Leonardo AI

В 2023 году традиционное машинное обучение продолжает развиваться и конкурировать с глубоким обучением и генеративным ИИ. Оно имеет несколько применений в отрасли, особенно при работе со структурированными наборами данных.

Например, многие компании быстрого потребления работают с большими объемами табличных данных, полагаясь на алгоритмы ML для критически важных задач, таких как персонализированные рекомендации продуктов, оптимизация цен, управление запасами и оптимизация цепочки поставок.

Кроме того, многие модели зрения и языка все еще основаны на традиционных методах, предлагая решения в гибридных подходах и новых применениях. Например, недавнее исследование под названием «Действительно ли нам нужны модели глубокого обучения для прогнозирования временных рядов?» обсуждает, как градиентно-усиливающиеся регрессионные деревья (GBRT) более эффективны для прогнозирования временных рядов, чем глубокие нейронные сети.

Интерпретируемость ML остается очень ценной с помощью методов, таких как SHAP (Shapley Additive Explanations) и LIME (Local Interpretable Model-agnostic Explanations). Эти методы объясняют сложные модели ML и предоставляют информацию о их прогнозах, помогая практикам ML лучше понять свои модели.

Наконец, традиционное машинное обучение остается прочным решением для различных отраслей, решая проблемы масштабируемости, сложности данных и ограничений ресурсов. Эти алгоритмы незаменимы для анализа данных и прогнозной моделирования и будут продолжать быть частью арсенала данных ученых.

Если темы, подобные этой, вас интересуют, изучите Unite AI для получения дополнительных сведений.