AI учится у AI: возникновение социального обучения среди крупных языковых моделей

С тех пор, как OpenAI представила ChatGPT 3.5 в конце 2022 года, роль базовых крупных языковых моделей (LLM) стала все более заметной в области искусственного интеллекта (AI), особенно в обработке естественного языка (NLP). Эти LLM, предназначенные для обработки и генерации текста, похожего на человеческий, учатся на обширном массиве текстов из интернета, от книг до веб-сайтов. Этот процесс обучения позволяет им уловить суть человеческого языка, делая LLM похожими на универсальные средства решения проблем.

Хотя разработка LLM открыла новые возможности, метод адаптации этих моделей для конкретных приложений, известный как fine-tuning, представляет свои собственные проблемы. Fine-tuning модели требует дополнительной тренировки на более сфокусированных наборах данных, что может привести к трудностям, таким как необходимость в помеченных данных, риску дрифта модели и переобучения, и необходимости в значительных ресурсах.

Для решения этих проблем исследователи из Google недавно приняли идею «социального обучения», чтобы помочь AI учиться у AI. Основная идея заключается в том, что, когда LLM преобразуются в чат-боты, они могут взаимодействовать и учиться друг у друга таким же образом, как и человеческое социальное обучение. Это взаимодействие позволяет им учиться друг у друга, тем самым улучшая свою эффективность.

Что такое социальное обучение?

Социальное обучение не является новой идеей. Оно основано на теории 1970-х годов Alberta Бандуры, которая предполагает, что люди учатся, наблюдая за другими. Этот концепт, примененный к AI, означает, что системы AI могут улучшаться, взаимодействуя друг с другом, учась не только из прямого опыта, но и из действий сверстников. Этот метод обещает более быстрое приобретение навыков и может даже позволить системам AI развивать свою собственную «культуру» путем обмена знаниями.

В отличие от других методов обучения AI, таких как пробное и ошибочное REENFORCEMENT-обучение или имитационное обучение из прямых примеров, социальное обучение подчеркивает обучение через взаимодействие. Оно предлагает более практичный и общинный способ для AI приобретения новых навыков.

Социальное обучение в LLM

Важным аспектом социального обучения является обмен знаниями без обмена исходной и конфиденциальной информацией. Таким образом, исследователи использовали динамику «учитель-ученик», где модели-учителя облегчают процесс обучения для моделей-учеников без раскрытия каких-либо конфиденциальных деталей. Для достижения этой цели модели-учителя генерируют синтетические примеры или направления, из которых модели-ученики могут учиться без обмена фактическими данными. Например, рассмотрим модель-учителя, обученную на различении между спамом и не-спамом текстовых сообщений с использованием данных, помеченных пользователями. Если мы хотим, чтобы другая модель освоила эту задачу без прямого доступа к конфиденциальным данным, социальное обучение вступает в действие. Модель-учитель будет создавать синтетические примеры или предоставлять информацию на основе своих знаний, позволяя модели-ученику точно определять спам-сообщения без прямого доступа к конфиденциальным данным. Этот подход не только повышает эффективность обучения, но и демонстрирует потенциал для LLM учиться в динамичных, адаптируемых способах, потенциально строя коллективную культуру знаний. Критически важной особенностью этого подхода является его зависимость от синтетических примеров и созданных инструкций. Генерируя новые, информативные примеры, отличные от исходного набора данных, модели-учителя могут сохранять конфиденциальность, продолжая направлять модели-ученики к эффективному обучению. Этот подход оказался эффективным, достигая результатов на уровне тех, которые были получены с использованием фактических данных.

Как социальное обучение решает проблемы fine-tuning?

Социальное обучение предлагает новый способ усовершенствовать LLM для конкретных задач. Оно помогает решать проблемы fine-tuning следующим образом:

1. Меньшая необходимость в помеченных данных: Обучаясь на синтетических примерах, обменяемых между моделями, социальное обучение снижает зависимость от трудно получаемых помеченных данных.
2. Избежание чрезмерной специализации: Оно сохраняет модели универсальными, подвергая их более широкому спектру примеров, чем те, что есть в небольших, конкретных наборах данных.
3. Снижение переобучения: Социальное обучение расширяет опыт обучения, помогая моделям лучше обобщать и избегать переобучения.
4. Экономия ресурсов: Этот подход позволяет более эффективно использовать ресурсы, поскольку модели учатся на опыте друг друга без необходимости прямого доступа к большим наборам данных.

Направления будущих исследований

Потенциал социального обучения в LLM предполагает различные интересные и осмысленные способы для будущих исследований в области AI:

1. Гибридные культуры AI: Когда LLM участвуют в социальном обучении, они могут начать формировать общие методологии. Исследования могут быть проведены для изучения влияния этих возникающих «культур» AI на взаимодействие человека и этические проблемы, связанные с этим.
2. Обучение на нескольких модальностях: Расширение социального обучения за пределы текста для включения изображений, звуков и других может привести к системам AI с более глубоким пониманием мира, подобно тому, как люди учатся через множество чувств.
3. Децентрализованное обучение: Идея о том, что модели AI учатся друг у друга через децентрализованную сеть, представляет собой новый способ масштабирования обмена знаниями. Это потребует решения значительных проблем в координации, конфиденциальности и безопасности.
4. Взаимодействие человека и AI: Есть потенциал в изучении того, как люди и AI могут взаимно выиграть от социального обучения, особенно в образовательных и сотруднических условиях. Это может переопределить, как происходит передача знаний и инновации.
5. Этичное развитие AI: Обучение AI решать этические дилеммы через социальное обучение может стать шагом к более ответственной AI. Сосредоточение будет на разработке систем AI, которые могут этически рассуждать и соответствовать ценностям общества.
6. Самоулучшающиеся системы: Экосистема, в которой модели AI непрерывно учатся и улучшаются из опыта друг друга, может ускорить инновации в области AI. Это предполагает будущее, в котором AI может адаптироваться к новым проблемам более автономно.
7. Конфиденциальность в обучении: С моделями AI, обменивающимися знаниями, обеспечение конфиденциальности основополагающих данных имеет решающее значение. Будущие усилия могут исследовать более сложные методы для обмена знаниями без компрометации безопасности данных.

Итог

Исследователи из Google открыли инновационный подход, называемый социальным обучением среди крупных языковых моделей (LLM), вдохновленный человеческой способностью учиться, наблюдая за другими. Этот каркас позволяет LLM обмениваться знаниями и улучшать возможности без доступа или раскрытия конфиденциальных данных. Генерируя синтетические примеры и инструкции, LLM могут эффективно учиться, решая ключевые проблемы в разработке AI, такие как необходимость в помеченных данных, чрезмерной специализации, переобучении и потреблении ресурсов. Социальное обучение не только повышает эффективность и адаптивность AI, но и открывает возможности для AI развивать общие «культуры», заниматься обучением на нескольких модальностях, участвовать в децентрализованных сетях, взаимодействовать с людьми новыми способами, решать этические дилеммы и обеспечивать конфиденциальность. Это знаменует собой значительный сдвиг в сторону более сотруднических, универсальных и этических систем AI, обещая переопределить ландшафт исследований и применения искусственного интеллекта.