Необходимое руководство по инженерии запросов в ChatGPT

С момента запуска ChatGPT вызвал ажиотаж в сфере ИИ, привлекая более 100 миллионов пользователей за рекордно короткое время. Секрет успеха ChatGPT и его универсальности лежит в искусстве, тонко вложенном в его программирование – инженерии запросов.

Запущенные в 2022 году, DALL-E, MidJourney и StableDiffusion подчеркнули разрушительный потенциал генеративного ИИ. Но именно ChatGPT от Open AI真正 занял центральное место в конце 2022 года. И этот импульс не показывал признаков замедления.

Объявление Google о Bard и ответ Meta на ChatGPT от Open AI значительно усилили импульс гонки ИИ. Предоставляя этим моделям входные данные, мы направляем их поведение и ответы. Это делает нас всех инженерами запросов в определенной степени. Технологическая индустрия заметила это. Венчурные капиталисты вкладывают средства в стартапы, фокусирующиеся на инженерии запросов, такие как Vellum AI. Кроме того, Forbes сообщает, что инженеры запросов получают зарплаты свыше 300 000 долларов, что указывает на процветающий и ценный рынок труда.

В этой статье мы рассмотрим мир инженерии запросов в контексте ChatGPT. Мы исследуем основные принципы и техники и проанализируем их коммерческие применения.

Давайте сначала поймем, как работает ChatGPT и какую решающую роль играет инженерия запросов в этом процессе.

Механика инженерии запросов ChatGPT

Секрет успеха ChatGPT заключается в его способности понимать и имитировать нюансы человеческого разговора. Модель обучена на разнообразном наборе текстов из интернета, но она не знает конкретных документов или источников в своем наборе обучения, обеспечивая обобщение над спецификой. Этот подход к обучению позволяет ChatGPT генерировать творческие ответы, ориентироваться в сложных диалогах и даже проявлять чувство юмора. Однако важно помнить, что ChatGPT не真正 понимает или имеет убеждения; он генерирует ответы на основе закономерностей, которые он выучил во время обучения.

Способность ChatGPT понимать и отвечать на человеческий язык в тонком и контекстно-осведомленном виде делает его невероятно универсальным инструментом.

Механика этих моделей основана на концепции “токенов” – дискретных фрагментов языка, которые могут варьироваться от одного символа до целого слова. Эти модели работают с определенным количеством токенов одновременно (4096 для GPT-3.5-Turbo или 8192 или 32768 для GPT-4), предсказывая следующую последовательность вероятных токенов. Модели обрабатывают токены с помощью сложной линейной алгебры, предсказывая наиболее вероятный последующий токен.

Например, простое предложение из девяти слов может превратиться в десять токенов. Даже один сложный слово может превратиться в несколько токенов, что помогает модели лучше понять и сгенерировать язык. Даже языки с сложной структурой слов, такие как немецкий, управляются с помощью токенизации.

Модели GPT (генеративные предварительно обученные трансформеры) работают, генерируя один токен за раз, начиная с первого токена и продолжая до последнего. После генерации каждого токена модель повторно обрабатывает всю последовательность, чтобы сгенерировать следующий токен. Этот итеративный процесс продолжается до тех пор, пока не будет сгенерирован последний токен, что делает генерацию текста похожей на большую циклическую конструкцию.

Но вот загвоздка – качество этих ответов в значительной степени зависит от запросов, которые он получает. Как и навигация в разговоре с человеком, направление диалога с ChatGPT требует определенного уровня навыков и понимания. Вот где на сцену выходит инженерия запросов.

Что такое инженерия запросов?

Инженерия запросов – это искусство создания точных, эффективных запросов/входных данных для направления моделей ИИ (NLP/Видение) типа ChatGPT к генерации наиболее экономически эффективных, точных, полезных и безопасных выходных данных.

Инженерия запросов не ограничивается только генерацией текста, но имеет широкий спектр применения в области ИИ. Она все чаще используется в таких областях, как автоматизация роботизированных процессов, 3D-активы, сценарии, инструкции робота и другие типы контента и цифровых медиа. Она обеспечивает уникальную смесь логики, кодирования, искусства и в определенных случаях специальных модификаторов.

Хотя запрос может включать естественный язык, изображения или другие типы входных данных, выходные данные могут существенно различаться в зависимости от ИИ-сервисов и инструментов. Каждый инструмент имеет свои специальные модификаторы, которые описывают вес слов, стили, перспективы, макет или другие свойства желаемого ответа.

Эта область необходима для создания лучших ИИ-услуг и получения лучших результатов из существующих генеративных инструментов ИИ. Например, разработчики предприятий часто используют инженерию запросов, чтобы адаптировать большие языковые модели (LLM) типа GPT-3 для питания ориентированного на клиента чат-бота или выполнения задач, таких как создание отраслевых контрактов.

Этот итеративный процесс уточнения запросов и измерения производительности ИИ является ключевым элементом в обеспечении того, чтобы модели ИИ генерировали высокоцелевые, полезные ответы в различных контекстах.

Становление инженером запросов

Модель GPT-4 имеет способность понимать сложные инструкции и точно решать сложные проблемы, что делает ее бесценным ресурсом. Однако есть разные способы доступа к возможностям этой модели, и понимание этих способов может быть важным для роли инженера запросов в оптимизации как эффективности, так и экономической эффективности.

Существует два основных способа взаимодействия с моделями GPT, такими как GPT-4. Один из них – через API OpenAI, где затраты рассчитываются на входные и выходные токены. В этом сценарии затраты на 1 тысячу токенов могут колебаться в зависимости от размера контекста. Например, в более крупном контексте размером 32 Кб затраты могут возрасти до 0,06 доллара за входные токены и 0,12 доллара за выходные токены. Таким образом, при обработке большого объема запросов стоимость использования может быстро накапливаться.

Альтернативно, ChatGPT, который использует модель GPT-4, работает на основе подписки.

Другой ключевой задачей в инженерии запросов является настройка параметров модели. Этот процесс включает в себя регулировку переменных, которые модель использует для прогнозирования. Уточняя эти параметры, инженеры запросов могут улучшить качество и точность ответов модели, делая их более контекстно-релевантными и полезными.

Хотя многие инженеры запросов приходят из технического фона, междисциплинарный характер этой области делает ее доступной для людей из различных профессиональных фонов. Все чаще писатели, исследователи и даже художники используют свои уникальные навыки для улучшения эффективности моделей ИИ. Этот сдвиг отражается на рынке труда, где все больше компаний ищет инженеров запросов с разнообразным набором навыков и фонов.

Проектирование и инженерия запросов в ChatGPT

Проектирование и инженерия запросов играют решающую роль в оптимизации производительности языковых моделей и включают не только создание вопросов, но и требуют глубокого понимания ИИ-модели и высоко итеративного и уточненного подхода.

Проектирование запросов

Проектирование запросов, в своей основе, является искусством и наукой создания идеального запроса для большой языковой модели (LLM), такой как ChatGPT, для достижения четко сформулированной цели. Это сочетание:

• Понимание LLM: Разные языковые модели могут реагировать по-разному на один и тот же запрос. Кроме того, определенные языковые модели могут иметь уникальные ключевые слова или триггеры, которые они интерпретируют определенным образом.
• Знания предметной области: Экспертиза в соответствующей области необходима при проектировании запросов. Например, генерация запроса для вывода медицинского диагноза потребует медицинских знаний.
• Итеративный подход и измерение качества: Процесс создания идеального запроса часто включает проб и ошибок. Поэтому наличие способа оценить качество выходных данных за пределами просто субъективной оценки имеет решающее значение, особенно при использовании запроса в более крупном масштабе.

Инженерия запросов

Инженерия запросов – это расширенная область проектирования запросов, которая включает несколько критических процессов:

• Проектирование запросов в масштабе: Этот процесс включает в себя проектирование мета-запросов (запросов, которые генерируют другие запросы) и шаблонов запросов, которые являются параметризированными запросами, которые можно инстанцировать во время выполнения.
• Проектирование инструментов и интеграция: Запросы иногда могут включать результаты из внешних инструментов, и интеграция этих инструментов безупречно в систему имеет решающее значение.
• Управление рабочим процессом, планирование и управление запросами: Развертывание приложения LLM, такого как чат-бот, часто требует управления библиотеками запросов, планирования и выбора правильных запросов, а также эффективной интеграции различных инструментов.
• Оценка и обеспечение качества запросов: Этот аспект включает в себя определение метрик и процессов для оценки запросов как автоматически, так и с помощью человека.
• Оптимизация запросов: Стоимость и задержка ИИ-модели могут зависеть от выбора модели и длины запроса (количество токенов).

Многие автоматические подходы к проектированию запросов, инструменты и фреймворки были разработаны для управления запросами в масштабе. Однако важно понимать, что ни один из этих инструментов не может заменить нюансовое понимание, суждение и опыт опытного инженера запросов.

Инженерия запросов: Техники и лучшие практики

1) Размещение и описание запроса

Размещение инструкций в начале запроса может существенно повлиять на понимание и ответ ИИ. Рассмотрим задачу суммирования текста в формате списка с маркерами. Менее эффективный подход будет:

Пользователь: Суммируйте текст ниже в виде списка с маркерами наиболее важных пунктов.
{входной текст здесь}

С другой стороны, более эффективная техника может быть:

Пользователь: Суммируйте текст ниже в виде списка с маркерами наиболее важных пунктов.
Текст: “””
{входной текст здесь}
“””

Отделив инструкции и контекст символами, такими как ### или “”, ИИ-модель может лучше определить свою задачу и текст, который необходимо обработать, тем самым давая более точные и релевантные ответы.

Во-вторых, быть конкретным, описательным и подробным о контексте, ожидаемом результате, длине, формате, стиле и т. д. может существенно повысить точность ответов ИИ.

Предположим, вам нужно сгенерировать краткий обзор научной статьи в увлекательной и доступной для неспециалистов форме. Неясная инструкция, такая как “Суммируйте научную статью”, даст менее эффективные результаты по сравнению с конкретной, подробной инструкцией:

Пользователь: Сгенерируйте краткий (приблизительно 200 слов) обзор следующей научной статьи. Обзор должен быть понятным для человека без научной подготовки, а также точно отражать основные выводы статьи.
Статья: “””
{научный текст статьи здесь}
”

2) Шаблон персоны

Шаблон персоны – это стратегия, которая устанавливает ИИ для работы с определенной точки зрения, такой как профессиональная роль или вымышленный персонаж. Этот тактик позволяет модели предоставлять выходные данные, связанные с конкретными ролями, которые персона может выполнять. Например, можно инструктировать ИИ действовать как эксперт по кибербезопасности во время обзора кода.

Возьмем пример:

Пользователь: “Представьте себя старшим историком, специализирующимся на Французской революции. Учитывая эту персону, объясните ключевые события и причины, которые привели к падению Французской монархии.”

В этом сценарии ИИ ожидается ответить с глубоким анализом Французской революции, сосредоточившись на падении монархии, как это сделал бы историк.

Введение новой информации

ChatGPT не обладает знаниями за пределами своей обучающей выборки, поэтому он не может предоставить информацию о недавних событиях или обновлениях после ее обучения. Однако вы можете ввести новую информацию в модель через свои запросы.

Пользователь: “Что такое криптовалюта?”
ChatGPT: “Криптовалюта – это тип цифровой или виртуальной валюты, которая использует криптографию для обеспечения безопасности. Наиболее известной криптовалютой является Биткоин.”

Теперь, если мы добавим немного больше контекста к запросу, мы можем сделать объяснение еще более интуитивным:

Пользователь: “Объясните концепцию криптовалюты школьнику, изучающему цифровую финансовую грамотность”
“Представьте, что вы играете в онлайн-игру и есть игровые деньги, которые можно заработать, чтобы купить улучшения или новых персонажей. Криптовалюта похожа на это, но вместо того, чтобы быть ограниченной игрой, ее можно использовать для покупки реальных товаров и услуг. Это как цифровые деньги, которые не контролируются ни банками, ни правительствами.”

3) Ограничения размера запроса

Понимание ограничений размера ChatGPT имеет решающее значение, поскольку это напрямую влияет на объем и тип информации, которую мы можем вводить. Языковые модели не предназначены для обработки неограниченных данных одновременно. У них есть врожденное ограничение на размер запроса, который мы можем создать и ввести. Это ограничение имеет существенные последствия для проектирования и выполнения запросов.

ChatGPT имеет ограничение на токены (обычно 2048 токенов), которое включает в себя как запрос, так и сгенерированный ответ. Это означает, что длинные запросы могут ограничить длину ответа. Поэтому важно сохранять запросы краткими, но информативными.

На практике мы должны действовать как редакторы, выборочно выбирая наиболее релевантную информацию для задачи. Представьте, что вы пишете статью или статью с ограничением слов или страниц – вы не можете просто сбросить случайные факты, но тщательно выбираете и структурируете информацию, релевантную для темы.

Пользователь: “Учитывая ограничения на токены модели, суммируйте ключевые события Второй мировой войны в менее чем 1000 слов.”

Признавая ограничения на токены модели, этот запрос направляет ИИ на предоставление краткого, но всестороннего обзора Второй мировой войны.

Запросы для повторного использования: В разговорном сценарии вы можете повторно использовать запросы или уточнять их на основе предыдущих ответов. Это обеспечивает разговорный поток и сохраняет контекст взаимодействия.

4) Шаблон уточнения вопроса

ChatGPT также может помочь уточнить ваши вопросы. Например, если вы зададите вопрос, он может предложить более точно сформулированный вопрос для более точных результатов.

Шаблон уточнения вопроса включает в себя уточнение вопросов, задаваемых пользователем, ИИ. Это особенно полезно, когда пользователи не являются экспертами в области или не уверены, как сформулировать вопрос.

Пример запроса может выглядеть так:

Пользователь: “Когда я задаю вопрос о науке о данных, предложите более уточненный вопрос, учитывая специфику статистического анализа, и спросите, хочу ли я продолжить с уточненным вопросом.”

В этом сценарии ИИ ожидается уточнить общие вопросы пользователя о науке о данных, учитывая аспекты статистического анализа.

5) Когнитивный верификатор

Шаблон когнитивного верификатора разбивает сложные вопросы на более мелкие, управляемые под вопросы. Ответы на эти под вопросы затем объединяются для предоставления всестороннего ответа на основной вопрос. Этот подход полезен, когда первоначальные вопросы слишком высокоуровневые или когда требуется дополнительная ясность для предоставления полного ответа.

Например:

Пользователь: “Если я спрошу вопрос о изменении климата, разобьем его на три более мелких вопроса, которые помогут вам предоставить более точный ответ. Объедините ответы на эти под вопросы, чтобы дать окончательный ответ.”

В этом сценарии ИИ разобьет сложный вопрос об изменении климата на три управляемых под вопроса. После получения ответов на эти под вопросы ИИ затем объединит их, чтобы предоставить более всесторонний и точный ответ.

Этот шаблон включает в себя генерацию нескольких вопросов для получения более точного окончательного ответа. Это процесс верификации и консолидации информации для прочного окончательного выхода.

6) Подход к запросам с несколькими примерами

Запросы с несколькими примерами – это мощный подход для обучения ИИ-моделей следовать конкретным шаблонам или выполнять задачи. Идея заключается в том, чтобы предоставить модели несколько примеров перед заданием желаемого вопроса. Это помогает установить желаемое поведение и направляет ответы модели.

Рассмотрим сценарий, в котором пользователь пытается создать краткий и привлекательный маркетинговый текст для нового технологического гаджета:

Пользователь: “Вот примеры маркетинговых текстов для технологий: ‘Испытайте музыку как никогда раньше с нашими передовыми беспроводными наушниками.’ ‘Захватите свой мир в потрясающем 4K с нашей ультратонкой камерой для действий.’ Учитывая эти примеры, создайте маркетинговый текст для нашего нового ИИ-поддерживаемого смарт-часа.”

ChatGPT: “Эмансипируйте свой образ жизни с нашим ИИ-поддерживаемым смарт-часом, вашим компаньоном для здоровья, связи и продуктивности.” Особенность этого подхода заключается в том, что он не требует подробного описания того, как выполнить задачу. Вместо этого он требует демонстрации того, что делается, что может сделать его подходящим для многих приложений.

Кроме того, эта техника распространяется за пределы простой пары “вход-выход”. Модель также может быть обучена выполнять промежуточные шаги для достижения цели.

7) Цепочка мыслей

В своей недавней исследовательской статье “Цепочка мыслей” авторы Джейсон Вей и команда стремятся стимулировать рассуждение в больших языковых моделях. Вместо использования традиционных, прямых запросов, команда использует серию взаимосвязанных запросов, образующих “цепочку мыслей”.

Например, пользователь может быть заинтересован в потенциальном влиянии искусственного интеллекта на рынки труда:

Пользователь: “Можете ли вы кратко объяснить концепцию искусственного интеллекта?”

ChatGPT: “Искусственный интеллект, или ИИ, относится к способности машины имитировать интеллектуальное человеческое поведение. Это о том, чтобы проектировать машины, которые могут думать и учиться как люди, позволяя им выполнять задачи, такие как перевод языка, принятие решений и решение проблем, среди прочего.”

Пользователь: “Как ИИ влияет на текущий рынок труда?”

ChatGPT: “ИИ как создает новые рабочие места, так и меняет существующие. С одной стороны, он автоматизирует рутинные задачи, что приводит к потере рабочих мест в определенных секторах. С другой стороны, он создает спрос на роли, которые ранее не существовали, такие как офицеры по этике ИИ, аналитики данных и инженеры по машинному обучению. Кроме того, ИИ может дополнить человеческие роли, позволяя людям выполнять задачи более эффективно и точно.”

Цепочка мыслей следует прогрессии связанных запросов, сохраняя “разговор” с моделью, который направляет ее к более точным и контекстно-адаптированным ответам.

Понимание ChatGPT API и инженерии запросов с точки зрения разработчика

С точки зрения разработчика или исследователя инженерия запросов – это более сложный процесс. Он включает в себя проектирование алгоритмов и техник для помощи ИИ-модели понимать и реагировать на запросы более эффективно. Это может включать стратегии для обработки неоднозначных запросов, определения контекста запросов или объединения запросов для стимуляции более сложных мыслительных процессов в ИИ.

На приведенном выше рисунке пользователь взаимодействует с чат-интерфейсом, поддерживаемым GPT-4. Вход пользователя усиливается для ясности и контекстной последовательности специализированным модулем перед подачей его в ИИ-модель. Роль этого модуля заключается в уточнении и улучшении входных данных пользователя для лучшего понимания, сохраняя при этом контекст разговора. Ответ ИИ, созданный на основе уточненного запроса, возвращается пользователю через чат-интерфейс. История взаимодействия обновляется последовательно, сохраняя контекст разговора. В целом этот рисунок иллюстрирует динамический поток разговора между пользователем и ИИ, облегченный техниками инженерии запросов.

Интерфейс ChatGPT API разработан с различными гиперпараметрами, которые позволяют пользователям уточнять ответы ИИ на запросы, делая их более эффективными и универсальными. Это включает в себя параметры Температуры, Максимальной длины и Последовательностей остановки. Давайте исследуем, как они функционируют и могут быть использованы в различных контекстах.

1) Температура

Параметр температуры влияет на случайность ответов ИИ. Более высокая температура, такая как 1,0, поощряет более случайный выход, в результате чего получаются разнообразные, но потенциально неуместные ответы. Напротив, более низкая температура, такая как 0,2, побуждает ИИ выбирать более детерминированные ответы, которые могут быть полезны для сосредоточенных и конкретных выходных данных, но могут лишиться разнообразия.

Пример: Если вы пишете творческую историю и хотите непредсказуемые, воображаемые элементы, установите температуру на более высокое значение. Запрос может быть: “Напишите короткий рассказ о путешествующей во времени кошке.” С высокой температурой вы можете получить дикий, фантастический рассказ с непредсказуемыми поворотами и изгибами.

2) Максимальная длина

Этот параметр контролирует максимальную длину токена выходных данных модели, которая включает в себя как токены входного сообщения, так и токены выходного сообщения. Установка более высокого предела позволяет получать более длинные ответы, в то время как более низкий предел сохраняет выходные данные краткими.

Пример: Для кратких ответов на вопросы, такие как “Кто выиграл Нобелевскую премию по литературе в 2020 году?”, вы можете установить максимальную длину на низкое значение, гарантируя, что ответ будет кратким и прямым.

3) Последовательности остановки

Последовательности остановки – это конкретные строки текста, где, когда модель встречает их, она прекращает генерировать дальнейшие выходные данные. Эта функция может быть полезна для контроля длины выходных данных или инструктирования модели остановиться на логических конечных точках.

Пример: Для формального письма вы могли бы использовать “Искренне ваш” в качестве последовательности остановки, чтобы гарантировать, что ИИ не генерирует никакого дополнительного текста за пределами надлежащего окончания письма.

4) Top P

Параметр “Top P”, также известный как выборка ядра, – это метод, который обеспечивает динамический выбор количества слов, рассматриваемых на каждом шаге прогнозирования модели. Более низкое значение, такое как 0,5, приводит к более безопасным, сосредоточенным выходным данным. Более высокое значение, такое как 0,9, включает в себя более широкий выбор слов, что приводит к более разнообразным выходным данным.

Пример: Если вы создаете ИИ для написания стихов и хотите, чтобы он использовал широкий спектр словарного запаса и стилистических фраз, вы можете установить “Top P” на более высокое значение. Запрос может быть: “Создайте стихотворение об осенней красоте.”

5) Штраф за частоту

Штраф за частоту контролирует, насколько модель должна отдавать предпочтение менее частым словам. Более высокий штраф (до 1) побуждает модель использовать менее распространенные слова, в то время как более низкое значение (до -1) побуждает модель использовать более распространенные слова.

Пример: Если вы генерируете бизнес-предложение и хотите избежать жаргона, вы можете установить штраф за частоту на более низкое значение, чтобы сохранить язык ясным и доступным.

6) Наличие штрафа

Параметр наличия штрафа влияет на то, насколько модель наказывается за генерацию новых идей или тем, которые не присутствовали в истории разговора. Более высокие значения побуждают модель придерживаться тем, которые уже упоминались, в то время как более низкие значения позволяют модели вводить новые концепции более свободно.

Пример: Для сессий мозгового штурма вы можете установить штраф за наличие на более низкое значение, чтобы поощрить разнообразный массив идей. Вы можете использовать запрос, такой как “Сгенерируйте инновационные маркетинговые стратегии для онлайн-платформы образования.”

Промышленное применение инженерии запросов