Ущерб от донастройки модели ИИ легко можно восстановить, показало исследование

Новое исследование из США показывает, что донастройка модели ИИ на ваших собственных данных не требует снижения или ухудшения функциональности исходной модели – и что относительно простой исправление может не только восстановить возможности исходной модели, но и улучшить качество вывода, который вы пытаетесь получить из уже обученной модели.

Performance gains on diverse models with the authors’ new post-training calibration. Further details later in the article. Source: http://export.arxiv.org/pdf/2409.16223

Последствия этого значительны, не только для технологических гигантов, которые сосредотачивают свое внимание на финансовых выгодах от аренды генеративных систем “как услугу”, но и для растущего числа “cord-cutter” хоббиистов, которые скачивают и настраивают открытые модели, чтобы получить доступ к персонализированным системам генерации текста и изображений/видео более дешево – и с меньшим количеством ограничений.

Авторы статьи не боятся показать свое энтузиазм по поводу потенциала своего метода, который, по-видимому, делает значительные шаги вперед по сравнению с подачей 2023 года Холистический перенос: к ненарушающей донастройке с частичными целевыми данными (соавторами которой являются многие из участников новой статьи).

Они заявляют:

‘Результаты обнадеживают и имеют глубокие последствия! Они подразумевают, что простая пост-обработка может потенциально решить проблему снижения точности донастроенной модели на отсутствующих классах, восстановив способности предварительно обученной модели, а также улучшив качество функций по всем классам.’

Мы рассмотрим новую работу чуть позже. Сначала давайте посмотрим, какую проблему она пытается решить.

Почему это важно

Первая волна широкого внедрения донастройки произошла после выпуска модели Stable Diffusion текст-изображение в августе 2002 года. Ранние модели, обученные на подмножестве гипермасштабного LAION набора данных, были доступны для скачивания.

Однако пользователи, которые хотели вставить конкретный контент (такой как их собственная идентичность, стиль искусства или представление знаменитостей) в необыкновенные генеративные качества Stable Diffusion, были вынуждены использовать методы, такие как DreamBooth – экстраполяцию метода настройки Google Research, который позволял пользователю обучать новые данные в свободно доступной модели через донастройку.

Примеры процесса пользователя для официальной реализации DreamBooth от Google 2022 года. Пользователь курирует небольшой выбор изображений и выбирает уникальное имя (которое Stable Diffusion не имеет в своих тренировочных данных) в текст-пromptах из донастроенной модели. Source: https://dreambooth.github.io/

Таким образом, было возможно получить копию модели, которая была очень хороша в создании конкретного человека или пользовательского стиля искусства, но которая теперь была компрометирована для более общего использования.

Это означало, что если вы хотели донастроить Stable Diffusion, чтобы она могла точно изображать трех разных людей, вы были вынуждены создать три разных модели, каждая из которых составляла 2-4 ГБ или более.

Любая попытка донастроить эти модели второй раз не только ухудшала общую производительность модели, но и негативно влияла на вывод из предыдущей сессии донастройки.

В любом случае, модели DreamBooth знаменитостей вскоре распространились в интернете, собираясь в основном на домене civit.ai. Позже менее трудоемкие методы, такие как Низкоранговая адаптация (LoRA), обогнали донастройку по популярности (хотя вопрос о том, является ли вывод LoRA таким же эффективным, как полная донастройка, остается спорным, и NVIDIA с тех пор открыла исходный код якобы более эффективного подхода под названием DoRA).

LoRA относится к категории Параметрически-эффективной донастройки (PEFT), которая влияет только на подмножество параметров модели.

Некоторые пользователи хотели изменить фундаментальную природу открытых моделей Stable Diffusion checkpoint, донастроив их на тысячах изображений.

Это, по сути, производило альтернативную фундаментальную модель, посвященную тому домену, который пользователь пытался обучить (такому как определенный стиль искусства). Для этой цели “легкие” методы, такие как LoRA, были, вероятно, менее эффективными, поскольку веса модели нуждались в серьезном смещении в сторону новых тренировочных данных.

Местный чат

С недавним ростом интереса к Большим языковым моделям (LLM), пользователи, желающие избежать растущих затрат на API-управляемые сервисы, такие как ChatGPT, все чаще скачивают и донастроивают эффективные открытые модели как Llama 3, среди многих других.

Здесь также можно использовать LoRA вместо донастройки полной checkpoint. Мы утверждали ранее, что донастройка является лучшим методом для получения LLM, адаптированных к конкретным потребностям пользователя. Хотя донастройка может иметь более высокие требования к оборудованию и может занять больше времени, она предлагает более глубокую обобщаемость новых данных, которые пользователь хочет, чтобы модель усвоила.

Проблема с донастройкой заключается в том, что это разрушительный процесс, который не может быть инкрементально обучен на дополнительных данных позже, как мы отметили выше.

Функции и смещения, вводимые в модель, по-видимому, нарушают исходный баланс весов в наборе данных, что означает, что модель либо чрезмерно склонна отражать данные, внесенные пользователем, либо будет хуже работать в целом, чем исходная фундаментальная модель (на задачах, не связанных с новыми данными).

Это можно исправить до определенной степени, заморозив определенные части модели во время обучения; но это может привести к снижению общей функциональности, поскольку замороженная часть архитектуры может не обобщаться хорошо с новыми данными внутри латентного пространства модели.

Было бы хорошо, если бы существовал какой-то более простой способ сохранить исходные возможности донастроенной модели, сохраняя при этом способность модели производить вывод на основе данных донастройки.

Такое развитие было бы полезным во всем диапазоне потенциальных пользователей, от хоббиистов и ранних采用ющих, использующих локальные LLM и другие типы генеративных моделей, до уровня FAANG (где очень дорогую модель ИИ можно улучшить итеративно и не разрушительно, без многомиллионных затрат на повторное обучение с дополнительными данными).

Пост-обработочная калибровка

Это приводит нас обратно к новой статье, которая называется Донастройка нормальна, если откалибрована, и исходит от 11 исследователей из Университета штата Огайо, Университета Висконсин-Мэдисон и Ренсселерского политехнического института.

Исследователи пытались выяснить, что именно повреждается в фундаментальной модели, когда она донастроена. Они пришли к выводу, что единственная значительная разница между “до и после” модели заключается в том, что логит-шкалы по классам донастройки и исходным классам в модели демонстрируют значительную расхождение.

Логит-связи предсказывают вероятность успеха в логической регрессии, преобразуя оцененные значения (которые могут быть очень точными) в ноль или единицу.

Авторы не только обнаружили, что этот дефицит почти легко обратим с помощью метода калибровки, но и что этот пост-факто исправление фактически улучшает качество вывода для данных донастройки. Следовательно, с помощью этого метода вы получаете не только исходные возможности фундаментальной модели, но и лучшую интеграцию своих собственных данных донастройки.

(Хотя статья не исследует эту перспективу, этот метод подразумевает, что модель может быть донастроена несколько раз и остаться эффективной)

Обсуждая свои выводы об ущербе модели после донастройки, авторы заявляют:

‘К нашему удивлению, мы обнаружили, что донастроенная модель не забывает отношений между другими классами и не ухудшает функции для распознавания этих классов.

‘Вместо этого донастроенная модель часто производит более дискриминативные функции для этих других классов, даже если они отсутствовали во время донастройки!

‘[Что] действительно ухудшает точность, так это расхождение логит-шкал между классами донастройки и другими [классами], что подразумевает, что простая пост-обработка может восстановить способности предварительно обученной модели и одновременно улучшить качество функций по всем классам.’

Авторы сделали результаты своих тестов для этой теории воспроизводимыми в репозитории GitHub.

Они обнаружили, что при расследовании единственной частью архитектуры фундаментальной модели, которая повреждена при донастройке, является бинарный классификатор, который неправильно классифицирует классы, отсутствующие в исходной модели как классы донастройки.

Статья гласит*:

‘[Добавив] постоянный фактор к логитам всех отсутствующих классов [4, 40 ], донастроенная модель может успешно вернуть точность отсутствующих классов и получить приличное общее улучшение в нижестоящем [домене].

‘Результативная производительность даже превосходит сильную базовую линию [Холистический перенос – статью, на которой основана эта статья] во многих из тестов, включая ImageNet и его варианты [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home и VTAB, без сложной тренировки и настройки гиперпараметров.’

Результаты из статьи: донастроенная модель, на которой была выполнена пост-обработка, может, по заявлению авторов, превосходить лучший подход к проблеме.

Авторы классифицируют улучшенную производительность пост-калиброванной донастроенной модели как “неожиданное доброжелательное поведение” и отмечают, что когда используется базовый стохастический градиентный спуск (SGD) оптимизатор, получается лучший результат, чем с более популярными текущими оптимизаторами, такими как Adam.

‘Тем не менее,’ они отмечают ‘с достаточно малыми скоростями обучения и весовым затуханием, доброжелательное поведение появляется и сохраняется.’

Незначительные ремонты

Чтобы исправить логит-расхождения, возникающие в результате донастройки, авторы заимствовали метод технику из обучения с нулевым выстрелом, добавив постоянный фактор ко всем логитам отсутствующих классов. Это приводит к новому правилу классификации.

Авторы отмечают, что этот процесс “продвигает” пренебрегаемые отсутствующие классы до того же качества предсказания, что и классы донастройки, восстанавливая исходную производительность и улучшая производительность “добавленных” данных во время вывода.

В тестах техника пост-калибровки восстановила производительность донастроенных моделей. ‘Оракул’, указанный в таблице, относится к донастроенному классификатору, который также учитывает отсутствующие классы данных.

Они отмечают далее, что пост-обработка калибровки “потенциально применима к любой модели”, и что методы, которые стремятся сохранить целостность фундаментальной модели путем замораживания слоев (таких как классификатор и бэкбон), получают плохие результаты по сравнению со своим собственным предложенным подходом.

Заключение

Выводы из этого сотрудничества кажутся значительными. Обучение модели ИИ на гипермасштабном наборе данных является огромным обязательством, аналогичным взлету пассажирского самолета. Хотя обучение можно прервать, и любой ущерб можно смягчить, сохраняя текущие веса периодически (при значительной стоимости хранения), чтобы разрешить прерывания обучения, существует относительно мало того, что можно сделать, чтобы изменить результат после запуска.

Что впечатляет в этой работе, так это то, что исследователи, по-видимому, обнаружили фундаментальный принцип в общем обучении моделей ИИ, и что их решение удивительно элегантно.

Экономические последствия возможности сохранения точности фундаментальной модели после донастройки также значительны. На данный момент наиболее распространенный метод решения недостатков моделей стоимостью миллионы долларов заключался в фильтрации вывода во время вывода или в контроле вывода, чтобы избежать любой ахиллесовой пяты, очевидной в модели.

Кроме того, такой метод потенциально может принести значительные улучшения возможностей донастроенных генеративных моделей на потребительском уровне, с бонусом в виде улучшения качества вывода.

* Мое преобразование внутренних цитат авторов в гиперссылки.

Опубликовано впервые во вторник, 1 октября 2024 года