AI вивчає від AI: поява соціального навчання серед великих мовних моделей

Від часу, коли OpenAI представила ChatGPT 3.5 у кінці 2022 року, роль фундаментальних великих мовних моделей (LLM) стала все більш видною в галузі штучного інтелекту (AI), особливо в галузі обробки природної мови (NLP). Ці LLM, призначені для обробки та генерації текстів, подібних до тих, які використовують люди, вивчають величезну кількість текстів з інтернету, починаючи від книг і закінчуючи веб-сайтами. Цей процес навчання дозволяє їм впитати суть людської мови, роблячи LLM схожими на універсальні розв’язувачі проблем.

Хоча розвиток LLM відкрив нові двері, метод адаптації цих моделей для конкретних застосунків – відомий як fine-tuning – приносить свої власні виклики. Fine-tuning моделі вимагає додаткового навчання на більш фокусованих наборах даних, що може привести до труднощів, таких як необхідність у маркованих даних, ризик дріфту моделі і переобучення, а також необхідність значних ресурсів.

Для вирішення цих проблем дослідники з Google (GOOGL ) недавно прийняли ідею «соціального навчання», щоб допомогти AI вивчити від AI. Основна ідея полягає в тому, що коли LLM перетворюються на чат-боти, вони можуть взаємодіяти та вивчити один в одного方式, подібній до людського соціального навчання. Ця взаємодія дозволяє їм вивчити один в одного, покращуючи свою ефективність.

Що таке соціальне навчання?

Соціальне навчання не є новою ідеєю. Воно засноване на теорії 1970-х років Альберта Бандури, яка припускає, що люди вивчають, спостерігаючи за іншими. Ця концепція, застосована до AI, означає, що системи AI можуть покращуватися, взаємодіючи одна з одною, вивчаючи не тільки з прямого досвіду, але й з дій однолітків. Цей метод обіцяє швидшу придбання навичок і навіть може дозволити системам AI розвивати свою власну «культуру» шляхом обміну знаннями.

На відміну від інших методів навчання AI, таких як навчання методом проб і помилок взалізнення навчання або імітаційне навчання з прямими прикладами, соціальне навчання підкреслює навчання через взаємодію. Воно пропонує більш практичний і спільний спосіб для AI вивчити нові навички.

Соціальне навчання в LLM

Важливим аспектом соціального навчання є обмін знаннями без обміну оригінальною та чутливою інформацією. Як такий, дослідники використовували динаміку вчителя-учня, де моделі-вчителі полегшують процес навчання для моделей-учнів без розголошення будь-яких конфіденційних деталей. Для досягнення цієї мети моделі-вчителі генерують синтетичні приклади або інструкції, з яких моделі-учні можуть вивчити без обміну фактичними даними. Наприклад, розгляньте модель-вчителя, навчену на розрізнення між спамом і не-спамом текстових повідомлень за допомогою даних, позначених користувачами. Якщо ми хочемо, щоб інша модель вивчила це завдання без доступу до оригінальних конфіденційних даних, соціальне навчання вступає в дію. Модель-вчителя буде створювати синтетичні приклади або надавати інструкції на основі своїх знань, дозволяючи моделі-учневі ідентифікувати спам-повідомлення точно без прямого доступу до чутливої інформації. Ця стратегія не тільки підвищує ефективність навчання, але й демонструє потенціал для LLM вивчити в динамічних, адаптивних способах, потенційно будуючи колективну культуру знань. Важливою особливістю цього підходу є його залежність від синтетичних прикладів і інструкцій. Генеруючи нові, інформативні приклади, відмінні від оригінального набору даних, моделі-вчителі можуть зберегти приватність, водночас направляючи моделі-учні до ефективного навчання. Цей підхід був ефективним, досягнувши результатів на рівні з тими, які були отримані за допомогою фактичних даних.

Як соціальне навчання вирішує виклики fine-tuning?

Соціальне навчання пропонує новий спосіб доопрацювання LLM для конкретних завдань. Воно допомагає вирішувати виклики fine-tuning наступними способами:

1. Менша потреба у маркованих даних: Вивчаючи з синтетичних прикладів, обмінених між моделями, соціальне навчання знижує залежність від важкодоступних маркованих даних.
2. Уникнення надспеціалізації: Воно зберігає універсальність моделей, піддавши їх дії широкому спектру прикладів, ніж ті, що містяться у малих, конкретних наборах даних.
3. Зниження переобучення: Соціальне навчання розширює досвід навчання, допомагаючи моделям узагальнювати краще та уникати переобучення.
4. Збереження ресурсів: Цей підхід дозволяє використовувати ресурси більш ефективно, оскільки моделі вивчають досвід один одного без прямого доступу до великих наборів даних.

Майбутні напрямки

Потенціал соціального навчання в LLM вказує на різні цікаві та значущі напрямки для майбутніх досліджень AI:

1. Гібридні культури AI: Коли LLM беруть участь у соціальному навчанні, вони можуть почати формувати спільні методи. Дослідження можуть бути проведені для вивчення впливу цих нових «культур» AI на взаємодію з людьми та пов’язані з цим етичні питання.
2. Навчання через різні модальності: Розширення соціального навчання за межі тексту для включення зображень, звуків та іншого може привести до систем AI з більш глибоким розумінням світу, подібно до того, як люди вивчають через кілька відчуттів.
3. Децентралізоване навчання: Ідея про те, що моделі AI вивчають одна в одну через децентралізовану мережу, пропонує новий спосіб масштабування обміну знаннями. Це буде вимагати вирішення суттєвих викликів у координації, приватності та безпеці.
4. Взаємодія людини та AI: Є потенціал у вивченні того, як люди та AI можуть взаємно вигравати від соціального навчання, особливо в освітніх та спільних умовах. Це може переозначити, як відбувається передача знань та інновацій.
5. Етичне розроблення AI: Навчання AI вирішувати етичні дилеми через соціальне навчання може бути кроком до більш відповідального AI. Фокус буде полягати у розробці систем AI, які можуть етично мислити та відповідати суспільним цінностям.
6. Самоусвідомлювані системи: Екосистема, в якій моделі AI безперервно вивчають та покращуються одна в одну, може прискорити інновації в галузі AI. Це припускає майбутнє, в якому AI може адаптуватися до нових викликів більш автономно.
7. Приватність у навчанні: З моделями AI, які обмінюються знаннями, забезпечення приватності основних даних є важливим. Майбутні зусилля можуть займатися більш складними методами для забезпечення передачі знань без компрометації безпеки даних.

Основне

Дослідники з Google започаткували інноваційний підхід під назвою соціальне навчання серед великих мовних моделей (LLM), натхненний людською здатністю вивчити, спостерігаючи за іншими. Цей каркас дозволяє LLM обмінюватися знаннями та покращувати свої можливості без доступу чи розголошення чутливої інформації. Генеруючи синтетичні приклади та інструкції, LLM можуть ефективно вивчити, вирішуючи ключові виклики в розвитку AI, такі як необхідність у маркованих даних, надспеціалізації, переобучення та споживання ресурсів. Соціальне навчання не тільки підвищує ефективність та адаптивність AI, але й відкриває можливості для AI розвивати спільні «культури», займатися навчанням через різні модальності, брати участь у децентралізованих мережах, взаємодіяти з людьми новими способами, вирішувати етичні дилеми та забезпечувати приватність. Це позначає суттєвий зсув у бік більш колаборативних, універсальних та етичних систем AI, обіцяючи переозначити ландшафт досліджень та застосування штучного інтелекту.