AI се учи от AI: Появата на социално обучение сред големите езикови модели

От разкриването на OpenAI ЧатGPT3.5 в края на 2022 г. ролята на основ големи езикови модели (LLMs) става все по-известен в областта на изкуствения интелект (AI), особено в обработка на естествен език (НЛП). Тези LLM, предназначени да обработват и генерират човешки текст, се учат от широк набор от текстове от интернет, вариращи от книги до уебсайтове. Този процес на обучение им позволява да уловят същността на човешкия език, правейки LLM да изглеждат като решаващи проблеми с общо предназначение.

Въпреки че развитието на LLM отвори нови врати, методът за адаптиране на тези модели за специфични приложения, известен като фина настройка— носи свой набор от предизвикателства. Фината настройка на модел изисква допълнително обучение за по-фокусирани набори от данни, което може да доведе до трудности като изискване за етикетирани данни, рискът от модел дрифт намлява свръхоборудванеи необходимостта от значителни ресурси.

Справяйки се с тези предизвикателства, изследователи от Google наскоро възприеха идеята за „sофициално обучение“, за да помогнете на AI да се учи от AI. Ключовата идея е, че когато LLMs се преобразуват в чатботове, те могат да си взаимодействат и да се учат един от друг по начин, подобен на човешкото социално обучение. Това взаимодействие им позволява да се учат един от друг, като по този начин подобряват своята ефективност.

Какво е социално обучение?

Социалното обучение не е нова идея. Тя се основава на теория от 1970-те години на миналия век от Алберт Бандура, което предполага, че хората се учат, като наблюдават другите. Тази концепция, приложена към AI, означава, че AI системите могат да се подобрят чрез взаимодействие помежду си, като се учат не само от прекия опит, но и от действията на партньорите. Този метод обещава по-бързо придобиване на умения и може дори да позволи на AI системите да развият своя собствена „култура“ чрез споделяне на знания.

За разлика от други методи за обучение с ИИ, като проба-грешка укрепване or имитационно обучение от директни примери, социалното обучение набляга на ученето чрез взаимодействие. Той предлага по-практичен и общ начин за AI да придобие нови умения.

Социално обучение в LLM

Важен аспект на социалното обучение е обменът на знания без споделяне на оригинална и чувствителна информация. Като такъв, изследователи са използвали динамика учител-ученик, при която моделите на учители улесняват учебния процес за модели на ученици, без да разкриват поверителни подробности. За да постигнат тази цел, моделите на учителите генерират синтетични примери или насоки, от които моделите на учениците могат да учат, без да споделят действителните данни. Например, помислете за модел на учител, обучен да прави разлика между спам и неспам текстови съобщения, използвайки данни, маркирани от потребителите. Ако желаем друг модел да овладее тази задача, без да докосваме оригиналните, частни данни, социалното обучение влиза в игра. Моделът на учителя ще създаде синтетични примери или ще предостави прозрения въз основа на знанията си, позволявайки на модела на ученика да идентифицира точно спам съобщенията без пряко излагане на чувствителни данни. Тази стратегия не само повишава ефективността на ученето, но също така демонстрира потенциала на LLM да учат по динамични, адаптивни начини, като потенциално изграждат култура на колективно знание. Жизненоважна характеристика на този подход е разчитането му на синтетични примери и изработени инструкции. Чрез генериране на нови, информативни примери, различни от оригиналния набор от данни, моделите на учителите могат да запазят поверителността, като същевременно насочват моделите на ученици към ефективно обучение. Този подход е ефективен, постигайки резултати, равни на тези, получени при използване на действителните данни.

Как социалното обучение се справя с предизвикателствата на фината настройка?

Социалното обучение предлага нов начин за усъвършенстване на LLM за конкретни задачи. Помага за справяне с предизвикателствата на фината настройка по следните начини:

1. По-малко нужда от етикетирани данни: Чрез учене от синтетични примери, споделени между моделите, социалното обучение намалява зависимостта от трудни за получаване етикетирани данни.
2. Избягване на свръхспециализацията: Той поддържа моделите гъвкави, като ги излага на по-широк набор от примери от тези в малки, специфични набори от данни.
3. Намаляване на прекомерното оборудване: Социалното обучение разширява учебния опит, като помага на моделите да обобщават по-добре и да избягват пренастройването.
4. Спестяване на ресурси: Този подход позволява по-ефективно използване на ресурсите, тъй като моделите се учат от опита на другия, без да се нуждаят от директен достъп до големи набори от данни.

бъдещи насоки

Потенциалът за социално обучение в LLM предлага различни интересни и смислени начини за бъдещи изследвания на ИИ:

1. Хибридни AI култури: Тъй като LLMs участват в социалното обучение, те могат да започнат да формират общи методологии. Могат да бъдат проведени проучвания за изследване на ефектите от тези нововъзникващи „култури“ на ИИ, като се изследва влиянието им върху човешките взаимодействия и свързаните с това етични проблеми.
2. Кръстосано модално обучение: Разширяването на социалното обучение отвъд текста, за да включва изображения, звуци и други, може да доведе до системи с изкуствен интелект с по-богато разбиране на света, подобно на това как хората учат чрез множество сетива.
3. Децентрализирано обучение: Идеята AI моделите да се учат един от друг в децентрализирана мрежа представлява нов начин за увеличаване на споделянето на знания. Това ще изисква справяне със значителни предизвикателства в координацията, поверителността и сигурността.
4. Взаимодействие човек-AI: Има потенциал в изследването как хората и ИИ могат взаимно да се възползват от социалното обучение, особено в образователни и съвместни среди. Това може да предефинира начина, по който се осъществява трансферът на знания и иновациите.
5. Етично развитие на ИИ: Обучението на AI да се справя с етични дилеми чрез социално обучение може да бъде стъпка към по-отговорен AI. Фокусът ще бъде върху разработването на системи за изкуствен интелект, които могат да разсъждават етично и да са в съответствие с обществените ценности.
6. Самоусъвършенстващи се системи: Екосистема, в която AI моделите непрекъснато се учат и подобряват взаимно от опита си, може да ускори иновациите в AI. Това предполага бъдеще, в което AI може да се адаптира към новите предизвикателства по-автономно.
7. Поверителност в обучението: С AI моделите, които споделят знания, гарантирането на поверителността на основните данни е от решаващо значение. Бъдещи усилия може да изследват по-сложни методи за позволяване на трансфер на знания, без да се компрометира сигурността на данните.

Долната линия

Изследователите на Google въведоха иновативен подход, наречен социално обучение сред големите езикови модели (LLM), вдъхновен от човешката способност да се учи чрез наблюдение на другите. Тази рамка позволява на LLM да споделят знания и да подобряват способностите си без достъп до или излагане на чувствителни данни. Чрез генериране на синтетични примери и инструкции LLM могат да учат ефективно, като се справят с ключови предизвикателства в развитието на AI, като необходимостта от етикетирани данни, свръхспециализация, прекомерно оборудване и потребление на ресурси. Социалното обучение не само подобрява ефективността и адаптивността на ИИ, но също така отваря възможности за ИИ да развива споделени „култури“, да се включва в междумодално обучение, да участва в децентрализирани мрежи, да взаимодейства с хората по нови начини, да се справя с етични дилеми и да гарантира поверителност. Това бележи значителна промяна към по-съвместни, гъвкави и етични AI системи, обещаващи да предефинират пейзажа на изследванията и приложението на изкуствения интелект.