Как Большие Языковые Модели (LLM) Будут Запускать Приложения Будущего

Генеративный ИИ и, в частности, его языковая версия – ChatGPT повсюду. Технология Больших Языковых Моделей (LLM) будет играть значительную роль в разработке будущих приложений. LLM очень хорошо понимают язык благодаря обширной предварительной подготовке, проведенной для базовых моделей на триллионах строк публичного текста, включая код. Методы, такие как контролируемое тонкое настройка и обучение с подкреплением с обратной связью человека (RLHF), делают эти LLM еще более эффективными в ответах на конкретные вопросы и общении с пользователями. Когда мы переходим к следующей фазе приложений ИИ, работающих на LLM, следующие ключевые компоненты будут иметь решающее значение для этих приложений следующего поколения. Рисунок ниже показывает эту прогрессию, и когда вы перемещаетесь вверх по цепочке, вы строите больше интеллекта и автономии в ваших приложениях. Давайте рассмотрим эти различные уровни.

Вызовы LLM:

Это прямые вызовы моделей завершения или чата от поставщика LLM, такого как Azure OpenAI или Google PaLM или Amazon Bedrock. Эти вызовы имеют очень базовый запрос и в основном используют внутреннюю память LLM для производства вывода.

Пример: Запрос базовой модели, такой как «text-davinci», чтобы «рассказать шутку». Вы даете очень мало контекста, и модель полагается на свою внутреннюю предварительно обученную память, чтобы придумать ответ (выделено зеленым на рисунке ниже – используя Azure OpenAI).

Запросы:

Следующий уровень интеллекта заключается в добавлении все большего контекста в запросы. Существуют методы инженерии запросов, которые можно применить к LLM, чтобы сделать их давать настраиваемые ответы. Например, при генерации электронного письма пользователю некоторый контекст о пользователе, прошлых покупках и моделях поведения может служить запросом для лучшей настройки электронного письма. Пользователи, знакомые с ChatGPT, знают разные методы запросов, такие как предоставление примеров, которые используются LLM для построения ответа. Запросы дополняют внутреннюю память LLM дополнительным контекстом. Пример ниже.

Вложения:

Вложения выводят запросы на следующий уровень, выполняя поиск в хранилище знаний для контекста и получая этот контекст и добавляя его к запросу. Здесь первый шаг – создать большой документо-хранитель с неструктурированным текстом, который можно искать, индексируя текст и заполняя векторную базу данных. Для этого используется модель вложения, такая как «ada» от OpenAI, которая принимает фрагмент текста и преобразует его в n-мерный вектор. Эти вложения отражают контекст текста, поэтому подобные предложения будут иметь вложения, близкие друг к другу в векторном пространстве. Когда пользователь вводит запрос, этот запрос также преобразуется в вложение, и этот вектор сопоставляется с векторами в базе данных. Таким образом, мы получаем лучшие 5 или 10 совпадающих фрагментов текста для запроса, которые образуют контекст. Запрос и контекст передаются в LLM, чтобы ответить на вопрос в человеческом виде.

Цепочки:

Сегодня цепочки являются самой передовой и зрелой технологией, которая широко используется для построения приложений LLM. Цепочки являются детерминированными, где последовательность вызовов LLM объединяется с выводом из одного в один или несколько LLM. Например, мы могли бы иметь вызов LLM, который запрашивает базу данных SQL и получает список электронных адресов клиентов, а затем отправляет этот список в другой LLM, который будет генерировать персонализированные электронные письма клиентам. Эти цепочки LLM можно интегрировать в существующие потоки приложений, чтобы генерировать более ценные результаты. Используя цепочки, мы могли бы дополнить вызовы LLM внешними входными данными, такими как вызовы API и интеграция с графами знаний, чтобы обеспечить контекст. Кроме того, сегодня, когда доступно множество поставщиков LLM, таких как OpenAI, AWS Bedrock, Google PaLM, MosaicML и т. д., мы могли бы объединить вызовы LLM в цепочки. Для элементов цепи с ограниченным интеллектом можно использовать более низкий LLM, такой как «gpt3.5-turbo», а для более сложных задач можно использовать «gpt4». Цепочки обеспечивают абстракцию для данных, приложений и вызовов LLM.

Агенты:

Агенты – это тема многих онлайн-дебатов, особенно в отношении искусственного общего интеллекта (ИОИ). Агенты используют передовой LLM, такой как «gpt4» или «PaLM2», для планирования задач, а не для использования предопределенных цепочек. Итак, теперь, когда есть запросы пользователей, на основе запроса агент решает, какой набор задач вызвать и динамически строит цепочку. Например, когда мы настраиваем агента с командой, такой как «уведомить клиентов, когда процентная ставка кредита меняется из-за обновления государственного регулирования». Фреймворк агента делает вызов LLM, чтобы решить, какие шаги предпринять или какие цепочки построить. Здесь это будет включать вызов приложения, которое извлекает веб-сайты регулирования и извлекает последнюю процентную ставку, затем вызов LLM ищет базу данных и извлекает электронные адреса клиентов, которые затронуты, и, наконец, генерируется электронное письмо, чтобы уведомить всех.

Окончательные Мысли

LLM – это высокоэволюционирующая технология, и лучшие модели и приложения запускаются каждую неделю. LLM до агентов – это лестница интеллекта, и когда мы перемещаемся вверх, мы строим сложные автономные приложения. Лучшие модели будут означать более эффективных агентов, и приложения следующего поколения будут работать на этих. Время покажет, насколько продвинутыми будут следующие приложения и какие закономерности они будут использовать.