Необходимое руководство по инженерии подсказок в ChatGPT

С момента запуска ChatGPT вызвал большую популярность в сфере ИИ, привлекая более 100 миллионов пользователей за рекордно короткое время. Основная причина впечатляющей производительности и универсальности ChatGPT заключается в искусстве, тонко встроенном в его программирование – инженерии подсказок.

Запущенные в 2022 году, DALL-E, MidJourney и StableDiffusion подчеркнули разрушительный потенциал генеративного ИИ. Но именно ChatGPT от Open AI действительно занял центральное место позже в 2022 году. И этот импульс не показывал признаков замедления.

Объявление Google (GOOGL ) о Bard и ответ Meta на ChatGPT с помощью Llama 2 существенно усилили импульс гонки ИИ. Предоставляя этим моделям входные данные, мы направляем их поведение и ответы. Это делает нас всех инженерами подсказок в определенной степени. Технологическая индустрия обратила на это внимание. Венчурные капиталисты вкладывают средства в стартапы, фокусирующиеся на инженерии подсказок, такие как Vellum AI. Кроме того, Forbes сообщает, что инженеры подсказок получают зарплаты, превышающие 300 000 долларов, что указывает на процветающий и ценный рынок труда.

В этой статье мы разберемся в мире инженерии подсказок в контексте ChatGPT. Мы исследуем основные принципы и техники и рассмотрим их коммерческие применения.

Давайте сначала поймем, как работает ChatGPT и какую ключевую роль играет инженерия подсказок в этом процессе.

Механизмы инженерии подсказок ChatGPT

Секретный ингредиент успеха ChatGPT заключается в его способности понимать и имитировать нюансы человеческого разговора. Модель обучена на разнообразном интернет-тексте, но важно помнить, что ChatGPT не знает конкретных документов или источников в своем обучающем наборе, обеспечивая обобщение над конкретностью. Этот подход к обучению позволяет ChatGPT генерировать творческие ответы, ориентироваться в сложных диалогах и даже демонстрировать чувство юмора. Однако важно помнить, что ChatGPT не真正 понимает или не имеет убеждений; он генерирует ответы на основе закономерностей, которые он выучил во время обучения.

Способность ChatGPT понимать и реагировать на человеческий язык в тонком и контекстно-зависимом виде делает его невероятно универсальным инструментом.

Механизмы этих моделей основаны на концепции “токенов” – дискретных фрагментов языка, которые могут варьироваться от одного символа до целого слова. Эти модели работают с определенным количеством токенов одновременно (4096 для GPT-3.5-Turbo или 8192 или 32768 для GPT-4), предсказывая следующую последовательность вероятных токенов. Модели обрабатывают токены с помощью сложной линейной алгебры, предсказывая наиболее вероятный последующий токен.

Например, простое предложение из девяти слов может превратиться в десять токенов. Даже один сложный слово может превратиться в несколько токенов, что помогает модели лучше понять и генерировать язык. Даже языки с сложной структурой слов, такие как немецкий, обрабатываются с помощью токенизации.

Модели GPT (Генеративный предварительно обученный трансформер) работают, генерируя один токен за раз, начиная с первого токена и продолжая до последнего. После генерации каждого токена модель повторно обрабатывает всю последовательность, чтобы сгенерировать следующий токен. Этот итеративный процесс продолжается до генерации последнего токена, делая генерацию текста похожей на большой цикл.

Но вот загвоздка – качество этих ответов в значительной степени зависит от получаемых подсказок. Как и при навигации в разговоре с человеком, руководство диалогом с ChatGPT требует определенного уровня навыков и понимания. Вот где появляется инженерия подсказок.

Что такое инженерия подсказок?

Инженерия подсказок – это искусство создания точных, эффективных подсказок/входных данных для направления моделей ИИ (NLP/Видение) типа ChatGPT к генерации наиболее экономически эффективных, точных, полезных и безопасных выходов.

Инженерия подсказок не ограничивается только генерацией текста, но имеет широкое применение во всей области ИИ. Она все чаще используется в таких областях, как автоматизация роботизированных процессов, 3D-активы, сценарии, инструкции роботов и другие типы контента и цифровых медиа. Она обеспечивает уникальную смесь логики, кодирования, искусства и, в определенных случаях, специальных модификаторов.

Хотя подсказка может включать текст на естественном языке, изображения или другие типы входных данных, выход может существенно различаться в разных сервисах и инструментах ИИ. Каждый инструмент имеет свои специальные модификаторы, которые описывают вес слов, стили, перспективы, макет или другие свойства желаемого ответа.

Эта область имеет решающее значение для создания лучших сервисов, основанных на ИИ, и получения лучших результатов из существующих генеративных инструментов ИИ. Например, разработчики корпоративного уровня часто используют инженерию подсказок, чтобы адаптировать большие языковые модели (LLM), такие как GPT-3, для питания клиентского чат-бота или выполнения задач, таких как создание отраслевых контрактов.

Этот итеративный процесс уточнения подсказок и измерения производительности ИИ является ключевым элементом в ermögлении ИИ-моделей генерировать высокоцелевые и полезные ответы в различных контекстах.

Становление инженером подсказок

Модель GPT-4 имеет способность понимать сложные инструкции и точно решать сложные проблемы, что делает ее бесценным ресурсом. Однако есть разные способы доступа к возможностям этой модели, и понимание этих способов имеет решающее значение для роли инженера подсказок в оптимизации как эффективности, так и экономической эффективности.

Существует два основных способа взаимодействия с моделями GPT, такими как GPT-4. Один из них – через API OpenAI, где затраты рассчитываются на основе входных и выходных токенов. В этом сценарии стоимость за 1К токенов может варьироваться в зависимости от размера контекста. Например, в более крупном контексте размером 32К стоимость может составлять до 0,06 доллара за входные токены и 0,12 доллара за выходные токены. Таким образом, при обработке большого объема запросов стоимость использования может быстро накапливаться.

Альтернативно, ChatGPT, который использует модель GPT-4, работает на основе подписной модели.

Другой ключевой задачей инженерии подсказок является настройка параметров модели. Этот процесс включает в себя корректировку переменных, которые модель использует для прогнозирования. Уточняя эти параметры, инженеры подсказок могут улучшить качество и точность ответов модели, делая их более контекстно-релевантными и полезными.

Хотя многие инженеры подсказок имеют технический фон, междисциплинарная природа этой области делает ее доступной для людей из различных профессиональных фонов. Все чаще писатели, исследователи и даже художники используют свои уникальные навыки для улучшения эффективности ИИ-моделей. Этот сдвиг отражается на рынке труда, где растет количество компаний, ищущих инженеров подсказок с разнообразными навыками и фоном.

Проектирование и инженерия подсказок в ChatGPT

Проектирование и инженерия подсказок играют решающую роль в оптимизации производительности языковых моделей и включают не только создание вопросов, но и глубокое понимание ИИ-модели и высокоитеративный и уточненный подход.

Проектирование подсказок

Проектирование подсказок в своей основе – это искусство и наука создания идеальной подсказки для большой языковой модели (LLM), такой как ChatGPT, для достижения четко сформулированной цели. Это сочетание:

• Понимание LLM: Разные языковые модели могут реагировать по-разному на одну и ту же подсказку. Кроме того, определенные языковые модели могут иметь уникальные ключевые слова или триггеры, которые они интерпретируют особым образом.
• Знания в области: Экспертиза в соответствующей области имеет решающее значение при проектировании подсказок. Например, генерация подсказки для вывода медицинского диагноза потребует медицинских знаний.
• Итеративный подход и измерение качества: Процесс создания идеальной подсказки часто включает в себя проб и ошибок. Следовательно, наличие способа оценить качество выходных данных за пределами субъективной оценки имеет решающее значение, особенно при использовании подсказки в более крупном масштабе.

Инженерия подсказок

Инженерия подсказок – это расширенная область проектирования подсказок, которая включает в себя несколько критических процессов:

• Проектирование подсказок в масштабе: Этот процесс включает в себя проектирование мета-подсказок (подсказок, которые генерируют другие подсказки) и шаблонов подсказок, которые являются параметризированными подсказками, которые можно инстанцировать во время выполнения.
• Проектирование инструментов и интеграция: Подсказки иногда могут включать результаты внешних инструментов, и бесшовная интеграция этих инструментов в систему имеет решающее значение.
• Планирование рабочего процесса, планирование и управление подсказками: Развертывание приложения LLM, такого как чат-бот, часто требует управления библиотеками подсказок, планирования и выбора правильных подсказок, а также эффективной интеграции различных инструментов.
• Оценка и обеспечение качества подсказок: Этот аспект включает в себя определение метрик и процессов для оценки подсказок как автоматически, так и с участием человека.
• Оптимизация подсказок: Стоимость и задержка ИИ-модели могут зависеть от выбора модели и длины подсказки (количество токенов).

Многие автоматизированные подходы к проектированию подсказок, инструменты и рамки были разработаны для управления подсказками в масштабе. Однако важно понимать, что ни один из этих инструментов не может заменить нюансированное понимание, суждение и опыт-seasoned инженера подсказок.

Инженерия подсказок: Техники и лучшие практики

1) Размещение и описание подсказок

Размещение инструкций в начале подсказки может существенно повлиять на понимание и ответ ИИ. Рассмотрим задачу суммирования текста в формате списка с маркерами. Менее эффективный подход будет:

Пользователь: Суммируйте текст ниже в виде списка с маркерами наиболее важных пунктов.
{входной текст здесь}

С другой стороны, более эффективная техника может быть:

Пользователь: Суммируйте текст ниже в виде списка с маркерами наиболее важных пунктов.
Текст: “””
{входной текст здесь}
“””

Ясно отделив инструкции и контекст символами, такими как ### или “”, ИИ-модель может лучше определить свою задачу и текст, который необходимо обработать, тем самым давая более точные и релевантные ответы.

Во-вторых, быть конкретным, описательным и подробным относительно контекста, ожидаемого результата, длины, формата, стиля и т. д. может существенно повысить точность ответов ИИ.

Предположим, вам нужно сгенерировать краткий обзор научной статьи в увлекательной и доступной форме для неспециалистов. Неясная инструкция, такая как “Суммируйте научную статью”, даст менее эффективные результаты по сравнению с конкретной, подробной подсказкой:

Пользователь: Сгенерируйте краткий (приблизительно 200 слов) обзор следующей научной статьи. Суммирование должно быть понятно человеку без научной подготовки, точно отражая основные выводы статьи.
Статья: “””
{научный текст статьи здесь}
“””

2) Шаблон персонажа

Шаблон персонажа – это стратегия, которая устанавливает ИИ для работы с определенной точки зрения, такой как профессиональная роль или вымышленный персонаж. Этот подход позволяет модели давать выходные данные, связанные с конкретными ролями, которые персонаж будет выполнять. Например, можно инструктировать ИИ действовать как эксперт по кибербезопасности во время обзора кода. Этот шаблон особенно полезен, когда пользователи нуждаются в помощи, но не уверены в деталях, необходимых в выходных данных.

Возьмем, к примеру:

Пользователь: “Представьте себя старшим историком, специализирующимся на Французской революции. В этом качестве объясните ключевые события и причины, приведшие к падению французской монархии.”

В этом сценарии ИИ ожидается дать глубокий анализ Французской революции, сосредоточившись на падении монархии, как историк.

Введение новой информации

ChatGPT не обладает знаниями за пределами своей обучающей базы, поэтому не может предоставить информацию о недавних событиях или обновлениях после ее обучения. Однако вы можете ввести новую информацию в модель через свои подсказки.

Пользователь: “Что такое криптовалюта?”
ChatGPT: “Криптовалюта – это тип цифровой или виртуальной валюты, которая использует криптографию для безопасности. Наиболее известной криптовалютой является Биткойн.”

Теперь, если мы добавим немного контекста к подсказке, мы можем сделать объяснение еще более интуитивным:

Пользователь: Объясните концепцию криптовалюты ученику средней школы, изучающему цифровую финансовую грамотность.
ChatGPT: Представьте, что вы играете в онлайн-видеоигру, и есть игровые деньги, которые можно заработать, чтобы купить улучшения или новых персонажей. Криптовалюта похожа на это, но вместо того, чтобы быть ограниченной игрой, ее можно использовать для покупки реальных товаров и услуг. Это как цифровые деньги, которые не контролируются ни банком, ни правительством.

3) Ограничения размера подсказок

Понимание ограничений размера ChatGPT имеет решающее значение, поскольку это напрямую влияет на объем и тип информации, которую мы можем ввести. Языковые модели не предназначены для обработки неограниченных данных одновременно. У них есть встроенное ограничение на размер подсказки, которую мы можем создать и ввести. Это ограничение имеет значительные последствия для проектирования и выполнения подсказок.

ChatGPT имеет ограничение токенов (обычно 2048 токенов), которое включает в себя как подсказку, так и сгенерированный ответ. Это означает, что длинные подсказки могут ограничить длину ответа. Следовательно, важно сохранять подсказки краткими, но информативными.

На практике мы должны действовать как редакторы, выбирая наиболее релевантную информацию для задачи. Представьте, что вы пишете статью с ограничением слов или страниц – вы не можете просто сбросить случайные факты, а должны тщательно выбрать и структурировать информацию, связанную с предметом.

Пользователь: “Учитывая ограничения токенов модели, суммируйте ключевые события Второй мировой войны в менее чем 1000 слов.”

Признавая ограничения токенов модели, эта подсказка направляет ИИ на предоставление краткого, но всестороннего обзора Второй мировой войны.

Подсказки для повторного использования: В разговорном сценарии вы можете повторно использовать подсказки или уточнить их на основе предыдущих ответов. Это обеспечивает разговорный поток и сохраняет контекст взаимодействия.

4) Уточнение вопросов

ChatGPT также может помочь уточнить ваши вопросы. Например, если вы зададите вопрос, он может предложить более точно сформулированный вопрос для более точных результатов.

Шаблон уточнения вопросов включает в себя уточнение вопросов, задаваемых пользователем, LLM. Это особенно полезно, когда пользователи не являются экспертами в области или не уверены, как сформулировать свой вопрос.

Пример подсказки может выглядеть следующим образом:

Пользователь: “Когда я спрашиваю вопрос о данных, предложите более уточненный вопрос, учитывая особенности статистического анализа, и спросите, хочу ли я продолжить с уточненным вопросом.”

В этом случае ИИ ожидается, что уточнит общие вопросы о данных до более подробных вопросов, учитывающих аспекты статистического анализа.

5) Когнитивный верификатор

Когнитивный верификатор разбивает сложные вопросы на более мелкие, управляемые подвопросы. Ответы на эти подвопросы затем объединяются, чтобы предоставить всесторонний ответ на основной вопрос. Этот подход полезен, когда первоначальные вопросы слишком высокоуровневые или когда требуется дополнительная ясность для предоставления полного ответа.

Например:

Пользователь: “Если я задам вопрос о изменении климата, разбейте его на три меньших вопроса, которые помогут вам предоставить более точный ответ. Объедините ответы на эти подвопросы, чтобы дать окончательный ответ.”

В этом сценарии ИИ разобьет сложный вопрос об изменении климата на три управляемых подвопроса. После получения ответов на эти подвопросы ИИ затем объединит их, чтобы предоставить более точный и всесторонний ответ.

Этот шаблон включает в себя генерацию нескольких вопросов для получения более точного окончательного ответа. Это процесс проверки и консолидации информации для прочного окончательного вывода.

6) Подход с несколькими примерами

Подход с несколькими примерами – это мощный метод обучения ИИ-моделям следовать конкретным шаблонам или выполнять задачи. Идея заключается в том, чтобы предоставить модели несколько примеров перед заданием желаемого вопроса. Это помогает установить желаемое поведение и направить ответы модели.

Рассмотрим сценарий, в котором пользователь пытается создать краткий и привлекательный маркетинговый текст для нового технологического гаджета:

Пользователь: “Вот несколько примеров маркетинговых текстов для технологий: ‘Опыт музыки как никогда раньше с нашими передовыми беспроводными наушниками.’ ‘Запишите свой мир в потрясающем 4K с нашей сверх-слойкой камерой для действий.’ Учитывая эти примеры, создайте маркетинговый текст для нашего нового ИИ-управляемого умного часового устройства.”

ChatGPT: “Эмпавер ваш образ жизни с нашим ИИ-управляемым умным часовым устройством, вашим компаньоном для здоровья, связи и производительности.” Отличительной особенностью метода с несколькими примерами является то, что он не требует подробного описания того, как выполнить задачу. Вместо этого он требует демонстраций того, что делается, что может сделать его хорошим вариантом для многих приложений.

Кроме того, эта техника распространяется за пределы простой пары вход-выход. Модель также может быть обучена выполнять промежуточные шаги для достижения цели.

7) Цепочка рассуждений

В недавней исследовательской работе “Цепочка рассуждений для вызова рассуждений в больших языковых моделях” авторы Джейсон Вей и команда стремятся стимулировать рассуждения в больших языковых моделях. Вместо использования традиционных, прямых подсказок команда использует серию взаимосвязанных подсказок, образующих “цепочку рассуждений”.

Например, пользователь может быть заинтересован в потенциальном влиянии искусственного интеллекта на рынки труда:

Пользователь: “Можете ли вы кратко объяснить концепцию искусственного интеллекта?”

ChatGPT: “Искусственный интеллект, или ИИ, относится к способности машины имитировать интеллектуальное поведение человека. Это о том, чтобы проектировать машины, которые могут думать и учиться как люди, позволяя им выполнять задачи, такие как перевод языка, принятие решений и решение проблем, среди прочего.”

Пользователь: “Как ИИ влияет на текущий рынок труда?”

ChatGPT: “ИИ создает новые рабочие места и меняет природу существующих. С одной стороны, он автоматизирует рутинные задачи, что приводит к потере рабочих мест в определенных секторах. С другой стороны, он создает спрос на роли, которые ранее не существовали, такие как офицеры по этике ИИ, аналитики данных и инженеры машинного обучения. Кроме того, ИИ может дополнить человеческие роли, позволяя людям выполнять задачи более эффективно и точно.”

Цепочка рассуждений включает в себя прогрессию связанных подсказок, поддерживая “разговор” с моделью, направляя ее к более точным и контекстно-адаптированным ответам.

Понимание API ChatGPT и инженерии подсказок с точки зрения разработчика

С точки зрения разработчика или исследователя инженерия подсказок – это более сложный процесс. Он включает в себя проектирование алгоритмов и техник, чтобы помочь ИИ-модели лучше понять и реагировать на подсказки. Это может включать в себя стратегии для обработки неоднозначных подсказок, определения контекста подсказок или объединения подсказок для стимуляции более сложных мыслительных процессов в ИИ.

На приведенной выше иллюстрации пользователь взаимодействует с чат-интерфейсом, управляемым GPT-4. Его входные данные уточняются для ясности и контекстной последовательности специализированным модулем перед тем, как быть поданным ИИ-модели. Роль этого модуля заключается в уточнении и улучшении входных данных пользователя для лучшего понимания, а также в поддержании контекста разговора. Ответ ИИ, созданный на основе уточненной подсказки, возвращается пользователю через чат-интерфейс. История взаимодействия обновляется последовательно, поддерживая контекст разговора. В целом эта диаграмма иллюстрирует динамический поток разговора между пользователем и ИИ, облегченный техниками инженерии подсказок.

Интерфейс API ChatGPT спроектирован с различными гиперпараметрами, которые позволяют пользователям уточнить ответы ИИ на подсказки, делая их более эффективными и универсальными. Эти включают параметры Температуры, Максимальной длины и Стоп-последовательностей. Давайте исследуем, как они функционируют и могут быть использованы в различных контекстах.

1) Температура

Параметр Температуры влияет на случайность ответов ИИ. Более высокая температура, такая как 1,0, поощряет более случайный выход, в результате чего получаются разнообразные, но потенциально неуместные ответы. Напротив, более низкая температура, такая как 0,2, побуждает ИИ выбирать более детерминированные ответы, которые могут быть полезны для сосредоточенных и конкретных выходных данных, но могут лишиться разнообразия.

Пример: Если вы пишете творческую историю и хотите непредсказуемые, воображаемые элементы, установите температуру на более высокое значение. Подсказка может быть: “Напишите короткий рассказ о путешествующей во времени кошке.” С высокой температурой вы можете получить дикий, фантастический рассказ с непредсказуемыми поворотами и изгибами.

2) Максимальная длина

Этот параметр контролирует максимальную длину токенов выходных данных модели, которая включает в себя токены как в входном сообщении, так и в выходном сообщении. Установка более высокого лимита позволяет получить более длинные ответы, в то время как более низкий лимит сохраняет выходные данные краткими и лаконичными.

Пример: Для кратких ответов на вопросы, такие как “Кто получил Нобелевскую премию по литературе в 2020 году?”, вы можете установить максимальную длину на низкое значение, гарантируя, что ответ будет кратким и прямым.

3) Стоп-последовательности

Стоп-последовательности – это конкретные строки текста, где, когда модель встречает их, она прекращает генерировать дальнейшие выходные данные. Эта функция может быть полезна для контроля длины выходных данных или инструктирования модели остановиться на логических конечных точках.

Пример: Для формального письма вы можете использовать “Искренне” в качестве стоп-последовательности, чтобы гарантировать, что ИИ не сгенерирует никакого дополнительного текста за пределами надлежащего окончания письма.

4) Верхний P

Параметр “Верхний P”, также известный как выбор ядра, – это метод, который обеспечивает динамический выбор количества слов, рассматриваемых на каждом шаге прогнозирования модели. Более низкое значение, такое как 0,5, приводит к более безопасным, сосредоточенным выходным данным. Более высокое значение, такое как 0,9, включает в себя более широкий выбор слов, что приводит к более разнообразным выходным данным.

Пример: Если вы создаете ИИ для написания стихов и хотите, чтобы он использовал широкий спектр словарного запаса и стилистических фраз, вы можете установить “Верхний P” на более высокое значение. Подсказка может быть: “Создайте стихотворение об осенней красоте.”

5) Штраф частоты

Штраф частоты контролирует, насколько модель должна отдавать предпочтение менее частым словам. Более высокий штраф (до 1) побуждает модель использовать менее распространенные слова, в то время как более низкое значение (до -1) побуждает модель использовать более распространенные слова.

Пример: Если вы генерируете бизнес-предложение и хотите избежать жаргона, вы можете установить штраф частоты на более низкое значение, чтобы сохранить язык ясным и доступным.

6) Штраф присутствия

Параметр Штрафа присутствия влияет на то, насколько модель должна быть наказана за генерацию новых идей или тем, которые не были упомянуты в истории разговора. Более высокие значения побуждают модель придерживаться тем, уже упомянутых, в то время как более низкие значения позволяют модели вводить новые концепции более свободно.

Пример: Для мозгового штурма вы можете установить штраф присутствия на более низкое значение, чтобы поощрить разнообразный спектр идей. Вы можете использовать подсказку, такую как: “Сгенерируйте инновационные маркетинговые стратегии для онлайн-платформы обучения.”

Промышленное применение инженерии подсказок