Как большие языковые модели (LLM) будут использоваться в приложениях будущего

Генеративный ИИ и особенно его языковая составляющая — ChatGPT повсюду. Технология большой языковой модели (LLM) будет играть важную роль в разработке будущих приложений. LLM очень хорошо понимают язык из-за обширного предварительного обучения, которое было сделано для базовых моделей на триллионах строк общедоступного текста, включая код. Такие методы, как контролируемая точная настройка и усиленное обучение с обратной связью от человека (RLHF), делают эти LLM еще более эффективными при ответах на конкретные вопросы и общении с пользователями. По мере того, как мы переходим к следующему этапу приложений ИИ на базе LLM, следующие ключевые компоненты будут иметь решающее значение для этих приложений следующего поколения. На рисунке ниже показана эта прогрессия, и по мере продвижения вверх по цепочке вы повышаете интеллектуальность и автономию своих приложений. Давайте посмотрим на эти различные уровни.

LLM звонки:

Это прямые вызовы для завершения или модели чата от поставщика LLM, такого как Azure OpenAI, Google PaLM или Amazon Bedrock. Эти вызовы имеют очень простую подсказку и в основном используют внутреннюю память LLM для создания вывода.

Пример: Запрос базовой модели, такой как «text-davinci», «рассказать анекдот». Вы даете очень мало контекста, и модель полагается на свою внутреннюю предварительно обученную память, чтобы получить ответ (выделено зеленым на рисунке ниже — с использованием Azure OpenAI).

подсказки:

Следующий уровень интеллекта заключается в добавлении все большего и большего количества контекста в подсказки. Существуют методы оперативной разработки, которые можно применить к LLM и заставить их давать индивидуальные ответы. Например, при создании электронного письма пользователю некоторый контекст о пользователе, прошлых покупках и моделях поведения может служить подсказкой для лучшей настройки электронного письма. Пользователи, знакомые с ChatGPT, будут знать различные методы подсказок, такие как предоставление примеров, которые используются LLM для построения ответа. Подсказки дополняют внутреннюю память LLM дополнительным контекстом. Пример ниже.

Вложения:

Встраивания выводят подсказки на следующий уровень, выполняя поиск контекста в хранилище знаний, получая этот контекст и добавляя его к подсказке. Здесь первым шагом является создание большого хранилища документов с неструктурированным текстом с возможностью поиска путем индексации текста и заполнения векторной базы данных. Для этого используется модель встраивания, такая как «ada» от OpenAI, которая берет фрагмент текста и преобразует его в n-мерный вектор. Эти вложения фиксируют контекст текста, поэтому похожие предложения будут иметь вложения, близкие друг к другу в векторном пространстве. Когда пользователь вводит запрос, этот запрос также преобразуется во встраивание, и этот вектор сопоставляется с векторами в базе данных. Таким образом, мы получаем 5 или 10 лучших фрагментов текста, совпадающих с запросом, которые формируют контекст. Запрос и контекст передаются LLM, чтобы ответить на вопрос в человеческой манере.

Цепи:

Сегодня Chains — это самая передовая и зрелая технология, которая широко используется для создания приложений LLM. Цепочки являются детерминированными, когда последовательность вызовов LLM объединяется вместе с выводом одного, переходящего в один или несколько LLM. Например, у нас может быть запрос вызова LLM к базе данных SQL, получение списка электронных писем клиентов и отправка этого списка другому LLM, который будет генерировать персонализированные электронные письма для клиентов. Эти цепочки LLM можно интегрировать в существующие потоки приложений для получения более ценных результатов. Используя цепочки, мы могли бы дополнить вызовы LLM внешними входными данными, такими как вызовы API и интеграцию с графами знаний для предоставления контекста. Более того, сегодня, когда доступно несколько поставщиков LLM, таких как OpenAI, AWS Bedrock, Google PaLM, MosaicML и т. д., мы можем смешивать и объединять вызовы LLM в цепочки. Для элементов цепи с ограниченным интеллектом можно использовать более низкий LLM, такой как «gpt3.5-turbo», а для более сложных задач можно использовать «gpt4». Цепочки дают абстракцию для данных, приложений и вызовов LLM.

Агенты:

Агенты являются предметом многих онлайн-дебатов, особенно в отношении искусственного общего интеллекта (AGI). Агенты используют расширенный LLM, такой как «gpt4» или «PaLM2», для планирования задач, а не заранее определенные цепочки. Итак, теперь, когда есть пользовательские запросы, на основе запроса агент решает, какой набор задач вызывать, и динамически выстраивает цепочку. Например, когда мы настраиваем агент с такой командой, как «уведомлять клиентов, когда годовая процентная ставка по кредиту изменяется из-за обновления государственного постановления». Платформа агента делает вызов LLM, чтобы решить, какие шаги предпринять или какие цепочки построить. Здесь это будет включать в себя вызов приложения, которое очищает нормативные веб-сайты и извлекает последнюю ставку APR, затем вызов LLM выполняет поиск в базе данных и извлекает электронные письма клиентов, которые затронуты, и, наконец, генерируется электронное письмо, чтобы уведомить всех.

Заключение

LLM — это быстро развивающаяся технология, и каждую неделю выпускаются более совершенные модели и приложения. LLM to Agents — это интеллектуальная лестница, и по мере нашего продвижения мы создаем сложные автономные приложения. Лучшие модели будут означать более эффективных агентов, и на их основе будут работать приложения следующего поколения. Время покажет, насколько продвинутыми будут приложения следующего поколения и на каких шаблонах они будут основаны.