Что такое обучение с несколькими примерами?

Обучение с несколькими примерами относится к различным алгоритмам и методам, используемым для разработки модели ИИ с помощью очень небольшого количества обучающих данных. Обучение с несколькими примерами направлено на то, чтобы позволить модели ИИ распознавать и классифицировать новые данные после того, как она была обучена на сравнительно небольшом количестве примеров. Обучение с несколькими примерами отличается от традиционных методов обучения моделей машинного обучения, где обычно используется большое количество обучающих данных. Обучение с несколькими примерами в основном используется в компьютерном зрении.

Чтобы лучше понять обучение с несколькими примерами, давайте рассмотрим эту концепцию более подробно. Мы рассмотрим мотивы и концепции, лежащие в основе обучения с несколькими примерами, изучим некоторые виды обучения с несколькими примерами и рассмотрим некоторые модели, используемые в обучении с несколькими примерами на высоком уровне. Наконец, мы рассмотрим некоторые применения обучения с несколькими примерами.

Что такое обучение с несколькими примерами?

“Обучение с несколькими примерами” описывает практику обучения модели машинного обучения с минимальным количеством данных. Обычно модели машинного обучения обучаются на больших объемах данных, чем больше, тем лучше. Однако обучение с несколькими примерами является важной концепцией машинного обучения по нескольким причинам.

Одной из причин использования обучения с несколькими примерами является то, что оно может значительно сократить количество данных, необходимых для обучения модели машинного обучения, что сокращает время, необходимое для标ления больших наборов данных. Кроме того, обучение с несколькими примерами снижает необходимость добавления специальных функций для различных задач при использовании общего набора данных для создания разных образцов. Обучение с несколькими примерами может идеально сделать модели более устойчивыми и способными распознавать объекты на основе меньшего количества данных, создавая более общие модели, а не высокоспециализированные модели, которые являются нормой.

Обучение с несколькими примерами чаще всего используется в области компьютерного зрения, поскольку природа задач компьютерного зрения требует либо больших объемов данных, либо гибкой модели.

Подкатегории

Фраза “обучение с несколькими примерами” на самом деле является только одним из видов обучения, использующим очень мало обучающих примеров. Поскольку вы используете только “несколько” обучающих примеров, существуют подкатегории обучения с несколькими примерами, которые также включают обучение с минимальным количеством данных. “Однообразное обучение” – это другой тип обучения модели, который включает обучение модели распознавать объект после того, как она видела только один образец этого объекта. Общие тактики, используемые в однообразном обучении и обучении с несколькими примерами, одинаковы. Будьте осведомлены, что термин “обучение с несколькими примерами” может использоваться как общий термин для описания любой ситуации, когда модель обучается с очень небольшим количеством данных.

Подходы к обучению с несколькими примерами

Большинство подходов к обучению с несколькими примерами можно разделить на три категории: подходы на уровне данных, подходы на уровне параметров и метрические подходы.

Подходы на уровне данных

Подходы на уровне данных к обучению с несколькими примерами очень просты по концепции. Чтобы обучить модель, когда у вас не хватает обучающих данных, вы можете просто получить больше обучающих данных. Существуют различные методы, которые может использовать ученый-данные, чтобы увеличить количество обучающих данных, которые у него есть.

Похожие обучающие данные могут подтвердить точные целевые данные, на которые вы обучаете классификатор. Например, если вы обучаете классификатор распознавать определенные виды собак, но у вас нет многих изображений конкретного вида, который вы пытаетесь классифицировать, вы можете включить многие изображения собак, которые помогут классификатору определить общие признаки, которые составляют собаку.

Усиление данных может создать больше обучающих данных для классификатора. Это обычно включает применение преобразований к существующим обучающим данным, таким как вращение существующих изображений, чтобы классификатор рассматривал их с разных углов. Генеративные модели противостоящего обучения также могут быть использованы для генерации новых обучающих примеров на основе того, что они учатся из немногих аутентичных примеров обучающих данных, которые у вас есть.

Подходы на уровне параметров

Мета-обучение

Один из подходов на уровне параметров к обучению с несколькими примерами включает использование метода, называемого “мета-обучением“. Мета-обучение включает обучение модели тому, как учиться, какие признаки важны в задаче машинного обучения. Это можно сделать, создав метод для регулирования того, как пространство параметров модели исследуется.

Мета-обучение использует две разные модели: модель учителя и модель ученика. Модель “учителя” и модель “ученика”. Модель учителя учится, как инкапсулировать пространство параметров, а алгоритм ученика учится, как распознавать и классифицировать фактические элементы в наборе данных. Иными словами, модель учителя учится, как оптимизировать модель, а модель ученика учится, как классифицировать. Выходные данные модели учителя используются для обучения модели ученика, показывая модели ученика, как ориентироваться в большом пространстве параметров, которое возникает из-за слишком малого количества обучающих данных. Отсюда и “мета” в мета-обучении.

Одной из основных проблем с моделями обучения с несколькими примерами является то, что они могут легко переобучиться на обучающих данных, поскольку они часто имеют высокоразмерные пространства. Ограничение пространства параметров модели решает эту проблему, и хотя это можно сделать, применяя методы регуляризации и выбирая правильные функции потерь, использование модели учителя может значительно улучшить производительность модели обучения с несколькими примерами.

Модель классификатора обучения с несколькими примерами (модель ученика) попытается обобщить на основе небольшого количества обучающих данных, которые она получила, и ее точность может улучшиться с помощью модели учителя, которая направляет ее через высокоразмерное пространство параметров. Эта общая архитектура называется “градиентным” мета-обучением.

Полный процесс обучения градиентного мета-обучения следующий:

1. Создайте базовую модель (модель учителя)
2. Обучите базовую модель на поддерживающем наборе
3. Пусть базовая модель возвращает прогнозы для запросного набора
4. Обучите мета-обучение (модель ученика) на потере, полученной из ошибки классификации

Вариации мета-обучения

Мета-обучение, независимое от модели – это метод, используемый для дополнения базового градиентного мета-обучения, которое мы рассмотрели выше.

Как мы рассмотрели выше, градиентное мета-обучение использует предварительный опыт, полученный моделью учителя, чтобы уточнить себя и получить более точные прогнозы для небольшого количества обучающих данных. Однако начало с случайно инициализированных параметров означает, что модель может все еще потенциально переобучиться на данных. Чтобы избежать этого, “модель-агностный” мета-обучатель создается путем ограничения влияния модели учителя/базовой модели. Вместо того, чтобы обучать модель ученика напрямую на потере для прогнозов, сделанных моделью учителя, модель ученика обучается на потере для своих собственных прогнозов.

Для каждого эпизода обучения модели-агностного мета-обучения:

1. Создается копия текущей модели мета-обучения.
2. Копия обучается с помощью базовой модели/модели учителя.
3. Копия возвращает прогнозы для обучающих данных.
4. Рассчитанная ошибка используется для обновления мета-обучения.

Метрическое обучение

Метрические подходы к проектированию модели обучения с несколькими примерами обычно включают использование базовых метрик расстояния для сравнения образцов в наборе данных. Алгоритмы метрического обучения, такие как косинусное расстояние, используются для классификации запросных образцов на основе их сходства с поддерживающими образцами. Для классификатора изображений это означало бы просто классификацию изображений на основе сходства поверхностных характеристик. После того, как поддерживающий набор изображений был выбран и преобразован в векторное представление, то же самое делается с запросным набором, а затем значения для двух векторов сравниваются, и классификатор выбирает класс, который имеет ближайшие значения к векторизованному запросному набору.

Более продвинутым метрическим решением является “прототипная сеть“. Прототипные сети объединяют данные, объединяя кластеризацию с метрической классификацией, описанной выше. Как и в кластеризации K-средних, центроиды кластеров вычисляются для классов в поддерживающем и запросном наборах. Метрика евклидова расстояния затем применяется для определения разницы между запросным набором и центроидами поддерживающего набора, присваивая запросному набору класс, который ближе к поддерживающему набору.

Большинство других подходов к обучению с несколькими примерами являются просто вариациями базовых методов, описанных выше.

Применения обучения с несколькими примерами

Обучение с несколькими примерами имеет применения в различных подполях науки о данных, таких как компьютерное зрение, обработка естественного языка, робототехника, здравоохранение и обработка сигналов.

Применения обучения с несколькими примерами в области компьютерного зрения включают эффективное распознавание символов, классификацию изображений, распознавание объектов, отслеживание объектов, предсказание движения и локализацию действий. Применения обработки естественного языка для обучения с несколькими примерами включают перевод, завершение предложения, классификацию намерений пользователя, анализ настроений и много标очную классификацию текста. Обучение с несколькими примерами может быть использовано в области робототехники, чтобы помочь роботам учиться о задачах из нескольких демонстраций, позволяя роботам учиться, как выполнять действия, двигаться и ориентироваться в мире вокруг них. Открытие лекарств с несколькими примерами – это возникающая область ИИ в здравоохранении. Наконец, обучение с несколькими примерами имеет применения для обработки акустических сигналов, которая является процессом анализа звуковых данных, позволяя ИИ-системам клонировать голоса на основе нескольких образцов пользователя или преобразовывать голос из одного пользователя в другого.