Как Большие Языковые Модели (LLM) Будут Запускать Приложения Будущего

Генеративный ИИ и, в частности, языковая версия – ChatGPT везде. Технология Больших Языковых Моделей (LLM) будет играть значительную роль в разработке будущих приложений. LLM очень хорошо понимают язык благодаря обширной предварительной подготовке, которая была проведена для базовых моделей на триллионах строк публичного текста, включая код. Методы, такие как контролируемое тонкое настрой и обучение с подкреплением с обратной связью человека (RLHF), делают эти LLM еще более эффективными в ответах на конкретные вопросы и разговоре с пользователями. Когда мы переходим к следующей фазе приложений ИИ, работающих на LLM, следующие ключевые компоненты будут иметь решающее значение для этих приложений следующего поколения. Рисунок ниже показывает эту прогрессию, и когда вы перемещаетесь вверх по цепочке, вы строите больше интеллекта и автономности в ваших приложениях. Давайте рассмотрим эти различные уровни.

Вызовы LLM:

Это прямые вызовы к завершению или чат-моделям от поставщика LLM, такого как Azure OpenAI или Google PaLM или Amazon Bedrock. Эти вызовы имеют очень базовый запрос и в основном используют внутреннюю память LLM для производства вывода.

Пример: Запрос базовой модели, такой как “text-davinci”, чтобы “рассказать шутку”. Вы даете очень мало контекста, и модель полагается на свою внутреннюю предварительно обученную память, чтобы придумать ответ (выделено зеленым на рисунке ниже – используя Azure OpenAI).

Запросы:

Следующий уровень интеллекта заключается в добавлении все больше и больше контекста в запросы. Существуют методы инженерии запросов, которые можно применить к LLM, что может сделать их давать настраиваемые ответы. Например, при генерации электронного письма пользователю некоторый контекст о пользователе, прошлых покупках и поведенческих моделях может служить запросом для лучшей настройки электронного письма. Пользователи, знакомые с ChatGPT, знают различные методы запросов, такие как предоставление примеров, которые используются LLM для построения ответа. Запросы дополняют внутреннюю память LLM дополнительным контекстом. Пример ниже.

Вложения:

Вложения берут запросы на следующий уровень, выполняя поиск в хранилище знаний для контекста и получая этот контекст и добавляя его к запросу. Здесь первый шаг – создать большой документо-хранитель с неструктурированным текстом, который можно искать, индексируя текст и пополняя векторную базу данных. Для этого используется модель вложения, такая как “ada” от OpenAI, которая принимает фрагмент текста и преобразует его в n-мерный вектор. Эти вложения захватывают контекст текста, поэтому подобные предложения будут иметь вложения, которые близки друг к другу в векторном пространстве. Когда пользователь вводит запрос, этот запрос также преобразуется в вложение, и этот вектор сопоставляется с векторами в базе данных. Таким образом, мы получаем лучшие 5 или 10 совпадающих фрагментов текста для запроса, которые образуют контекст. Запрос и контекст передаются в LLM, чтобы ответить на вопрос в человеческом виде.

Цепочки:

Сегодня цепочки являются наиболее продвинутой и зрелой технологией, которая широко используется для построения приложений LLM. Цепочки являются детерминированными, где последовательность вызовов LLM объединяется с выводом из одного, который течет в один или несколько LLM. Например, мы могли бы иметь вызов LLM, который запрашивает базу данных SQL и получает список электронных адресов клиентов и отправляет этот список в другой LLM, который будет генерировать персонализированные электронные письма клиентам. Эти цепочки LLM можно интегрировать в существующие потоки приложений, чтобы генерировать более ценные результаты. Используя цепочки, мы могли бы дополнить вызовы LLM внешними входами, такими как вызовы API и интеграция с графами знаний, чтобы обеспечить контекст. Кроме того, сегодня с несколькими поставщиками LLM, такими как OpenAI, AWS Bedrock, Google PaLM, MosaicML и т. д., мы могли бы смешивать и сочетать вызовы LLM в цепочки. Для элементов цепочки с ограниченным интеллектом можно использовать более низкий LLM, такой как “gpt3.5-turbo”, а для более сложных задач можно использовать “gpt4”. Цепочки дают абстракцию для данных, приложений и вызовов LLM.

Агенты:

Агенты – это тема многих онлайн-дебатов, в частности, в отношении искусственного общего интеллекта (AGI). Агенты используют продвинутый LLM, такой как “gpt4” или “PaLM2”, для планирования задач, а не имея предварительно определенные цепочки. Итак, теперь, когда есть запросы пользователей, на основе запроса агент решает, какой набор задач вызвать и динамически строит цепочку. Например, когда мы настраиваем агента с командой, такой как “уведомить клиентов, когда процентная ставка кредита меняется из-за обновления правительственного регулирования”. Фреймворк агента делает вызов LLM, чтобы решить, какие шаги предпринять или цепочки построить. Здесь это будет включать вызов приложения, которое извлекает веб-сайты регулирования и извлекает последнюю ставку APR, затем вызов LLM ищет базу данных и извлекает электронные адреса клиентов, которые затронуты, и, наконец, генерируется электронное письмо для уведомления всех.

Окончательные Мысли

LLM – это высокоэволюционирующая технология, и лучшие модели и приложения запускаются каждую неделю. LLM до агентов – это лестница интеллекта, и когда мы перемещаемся вверх, мы строим сложные автономные приложения. Лучшие модели будут означать более эффективных агентов, и приложения следующего поколения будут работать на этих. Время покажет, насколько продвинутыми будут следующие приложения и какие закономерности они будут запускать.