Основное руководство по оперативной разработке в ChatGPT

С момента своего запуска, ChatGPT произвел фурор в сфере искусственного интеллекта, привлекая более 100 миллионов пользователей в рекордные сроки. Секрет впечатляющей производительности и универсальности ChatGPT кроется в искусстве, тонко заложенном в его программировании, — быстрой разработке.

Запущенные в 2022 году DALL-E, MidJourney и StableDiffusion подчеркнули прорывной потенциал генеративного ИИ. Но это было Открытый ИИChatGPT, который действительно занял центральное место в конце 2022 года. И этот импульс не подавал признаков замедления.

Анонс Bard от Google и Ламма Меты 2  Реакция на ChatGPT от OpenAI значительно усилила импульс гонки за искусственным интеллектом. Предоставляя этим моделям входные данные, мы управляем их поведением и реакциями. Это делает нас всех в определённой степени инженерами-специалистами. Технологическая индустрия обратила на это внимание. Венчурные капиталисты вкладывают средства в стартапы, специализирующиеся на разработке приложений-специалистов, например, Веллум ИИ. Более того, Forbes сообщает, что команда инженеров-операторов заработная плата свыше 300,000 XNUMX долларов США, что свидетельствует о процветающем и ценном рынке труда.

В этой статье мы развенчаем мифы о разработке подсказок в контексте ChatGPT. Мы рассмотрим основные принципы и методы, а также рассмотрим их коммерческое применение.

Давайте сначала разберемся, как функционирует ChatGPT и какую ключевую роль в этом процессе играет разработка подсказок.

Механика разработки ChatGPT Prompt

Секрет успеха ChatGPT заключается в его способности понимать и имитировать нюансы человеческого общения. Модель обучается на разнообразном интернет-тексте, но, что особенно важно, она не знает конкретных документов или источников в обучающей выборке, что обеспечивает приоритет обобщения над конкретикой. Такой подход к обучению позволяет ChatGPT генерировать креативные ответы, вести сложные диалоги и даже проявлять чувство юмора. Однако важно помнить, что ChatGPT не обладает истинным пониманием и убеждениями; он генерирует ответы на основе шаблонов, усвоенных в процессе обучения.

Способность ChatGPT понимать человеческий язык и реагировать на него с учетом нюансов и контекста делает его невероятно универсальным инструментом.

Механика этих моделей основана на концепции «токенов» — дискретных фрагментов языка, которые могут включать от одного символа до целого слова. Эти модели работают с определённым количеством токенов одновременно (4096 для GPT-3.5-Turbo или 8192 или 32768 для GPT-4), предсказывая следующую последовательность вероятных токенов. Модели обрабатывают токены с помощью сложной линейной алгебры, предсказывая наиболее вероятный последующий токен.

Например, простое предложение из девяти слов может превратиться в десять токенов. Даже одно сложное слово может превратиться в несколько токенов, что помогает модели лучше понимать и генерировать язык. Даже языки со сложной структурой слов, такие как немецкий, управляются с помощью токенизации.

Модели GPT (Generative Pre-trained Transformer) работают, генерируя один токен за раз, начиная с первого токена и продолжая до последнего. После создания каждого токена модель пересматривает всю последовательность и снова обрабатывает ее, чтобы сгенерировать следующий токен. Этот итеративный процесс продолжается до тех пор, пока не будет сгенерирован окончательный токен, что делает генерацию текста похожей на большой цикл for.

Но вот в чём загвоздка: качество этих ответов во многом зависит от получаемых подсказок. Как и ведение разговора с человеком, ведение диалога с ChatGPT требует определённого уровня навыков и понимания. Вот тут-то и вступает в дело проектирование подсказок.

Что такое Промпт Инжиниринг?

Подсказка — это искусство создания точных и эффективных подсказок/вводных данных для управления ИИ (НЛП/Vision), таких как ChatGPT, для создания наиболее экономичных, точных, полезных и безопасных выходных данных.

Оперативное проектирование не ограничивается только генерацией текста, оно имеет широкое применение в области искусственного интеллекта. Он все чаще используется в таких областях, как роботизированные боты для автоматизации процессов, 3D-активы, сценарии, инструкции для роботов и другие типы контента и цифровых медиа. Он обеспечивает уникальное сочетание логики, кодирования, искусства и, в некоторых случаях, специальных модификаторов.

Хотя подсказка может включать текст на естественном языке, изображения или другие типы входных данных, выходные данные могут значительно различаться в зависимости от сервисов и инструментов ИИ. Каждый инструмент имеет свои специальные модификаторы, которые описывают вес слов, стилей, перспектив, макета или других свойств желаемого ответа.

Эта область необходима для создания лучших сервисов на основе ИИ и получения превосходных результатов от существующих инструментов генеративного ИИ. Разработчики предприятий, например, часто используют оперативное проектирование для адаптации больших языковых моделей (LLM), таких как GPT-3, для поддержки взаимодействия с клиентами. Chatbot или решать такие задачи, как создание отраслевых контрактов.

Этот итеративный процесс быстрой доработки и измерения производительности ИИ является ключевым элементом, позволяющим моделям ИИ генерировать целенаправленные и полезные ответы в различных контекстах.

Стать проворным инженером

Способность модели GPT-4 понимать сложные инструкции и точно решать запутанные задачи делает её бесценным ресурсом. Однако существуют различные способы доступа к возможностям этой модели, и понимание этих возможностей может иметь решающее значение для оперативного инженера в оптимизации как эффективности, так и экономической эффективности.

По сути, существует два способа взаимодействия с моделями GPT, такими как GPT-4. Один из них — через API OpenAI, где стоимость рассчитывается для каждого входящего и исходящего токена. В этом сценарии стоимость каждой тысячи токенов может варьироваться в зависимости от размера контекста. Например, в более крупном контексте (1 32 токенов) стоимость может достигать 0.06 доллара США для входящих токенов и 0.12 доллара США для исходящих. Таким образом, при обработке большого количества запросов стоимость использования может быстро накапливаться.

В качестве альтернативы ChatGPT, использующий модель GPT-4, работает по модели на основе подписки.

Другая ключевая задача в области проектирования подсказок — настройка параметров модели. Этот процесс включает корректировку переменных, используемых моделью для прогнозирования. Тонкая настройка этих параметров позволяет инженерам по разработке подсказок повысить качество и точность ответов модели, сделав их более релевантными контексту и полезными.

Хотя многие инженеры по оперативной памяти имеют техническое образование, междисциплинарный характер этой области делает её доступной для людей с самым разным профессиональным опытом. Писатели, исследователи и даже художники всё чаще используют свои уникальные навыки для повышения эффективности моделей искусственного интеллекта. Этот сдвиг отражается и на рынке труда: всё больше компаний ищут инженеров по оперативной памяти с разнообразными навыками и опытом.

Быстрое проектирование и проектирование в ChatGPT

Prompt Design and Engineering играют решающую роль в оптимизации производительности языковых моделей и включают в себя больше, чем просто создание вопросов; они требуют глубокого понимания модели ИИ, а также высокоитеративного и усовершенствованного подхода.

Быстрый дизайн

По сути, дизайн подсказок — это искусство и наука создания идеального подсказки для заданной большой языковой модели (LLM), такой как ChatGPT, для достижения чётко поставленной цели. Это сочетание:

• Понимание LLM: разные языковые модели могут по-разному реагировать на одно и то же приглашение. Более того, определенные языковые модели могут иметь уникальные ключевые слова или триггеры, которые они интерпретируют определенным образом.
• Знание предметной области: опыт в соответствующей области имеет решающее значение при разработке подсказок. Например, создание подсказки для вывода медицинского диагноза потребует медицинских знаний.
• Итеративный подход и измерение качества. Процесс создания идеальной подсказки часто включает в себя пробы и ошибки. Таким образом, жизненно важно иметь способ оценить качество вывода помимо субъективного суждения, особенно при использовании подсказки в большем масштабе.

Быстрый инжиниринг

Быстрое проектирование — это расширенная область быстрого проектирования, включающая несколько важных процессов:

• Разработка подсказок в масштабе: этот процесс включает разработку метаподсказок (подсказок, которые генерируют другие подсказки) и шаблонов подсказок, которые представляют собой параметризованные подсказки, экземпляры которых можно создавать во время выполнения.
• Проектирование и интеграция инструментов. Подсказки иногда могут включать результаты внешних инструментов, и беспроблемная интеграция этих инструментов в систему имеет решающее значение.
• Рабочий процесс, планирование и управление подсказками. Развертывание приложения LLM, такого как чат-бот, часто требует управления библиотеками подсказок, планирования и выбора правильных подсказок, а также эффективной интеграции различных инструментов.
• Оценка и обеспечение качества подсказок: этот аспект включает определение показателей и процессов для оценки подсказок как автоматически, так и с участием человека.
• Оптимизация подсказки: стоимость и задержка модели ИИ могут зависеть от выбора модели и длины подсказки (количества токенов).

Для масштабного управления подсказками разработано множество подходов, инструментов и фреймворков автоматизированного проектирования. Однако важно понимать, что ни один из этих инструментов не заменит тонкого понимания, суждений и опыта опытного инженера по подсказкам.

Быстрая разработка: методы и лучшие практики

1) Быстрое размещение и описание

Размещение инструкций в начале подсказки может существенно повлиять на понимание и реакцию ИИ. Рассмотрим задачу краткого изложения текста в формате маркированного списка. Менее эффективный подход:

Информация о пользователе: Обобщите приведенный ниже текст в виде маркированного списка наиболее важных моментов.
{введите текст здесь}

С другой стороны, более эффективным методом может быть:

Информация о пользователе: Обобщите приведенный ниже текст в виде маркированного списка наиболее важных моментов.
Текст: """
{введите текст здесь}
"" "

Четко разделяя инструкции и контекст с помощью таких символов, как ### или «»», модель ИИ может лучше очертить свою задачу и текст, который необходимо обработать, тем самым давая более точные и релевантные ответы.

Во-вторых, конкретное, описательное и подробное описание контекста, ожидаемого результата, длины, формата, стиля и т. д. может значительно повысить точность ответов ИИ. Предположим, вам нужно создать краткий обзор научной статьи в привлекательном, удобном для неспециалистов стиле. Расплывчатая инструкция вроде «Обобщить научную статью» даст менее эффективные результаты по сравнению с конкретной подробной подсказкой:

Информация о пользователе: Составьте краткое (примерно 200 слов) и увлекательное резюме следующей научной статьи. Резюме должно быть понятным даже человеку без научного образования, но при этом точно отражать основные выводы статьи.
Бумага: """
{текст научной статьи здесь}
"" "

2) Образец личности

Шаблон персоны — это стратегия, которая заставляет ИИ функционировать с определенной точки зрения, например, профессиональной роли или вымышленного персонажа. Эта тактика позволяет модели предоставлять результаты, связанные с конкретными ролями, которые будет выполнять персона. Например, можно поручить ИИ действовать в качестве эксперта по кибербезопасности во время проверки кода. Этот шаблон особенно удобен, когда пользователям нужна помощь, но они не уверены в том, какие точные данные нужны в выходных данных.

В качестве примера возьмем следующее:

Информация о пользователе: «Предположим, что вы являетесь старшим историком, специализирующимся на Французской революции. Учитывая эту личность, объясните ключевые события и причины, приведшие к падению французской монархии».

В этом сценарии ожидается, что ИИ ответит глубоким анализом Французской революции, сосредоточив внимание на падении монархии, как это сделал бы историк.

Представляем новую информацию

ChatGPT не обладает знаниями, выходящими за пределы порогового значения обучения, поэтому он не может предоставить информацию о недавних событиях или обновлениях после обучения. Однако вы можете добавлять новую информацию в модель с помощью подсказок.

Информация о пользователе: «Что такое криптовалюта?»
ChatGPT: «Криптовалюта — это тип цифровой или виртуальной валюты, которая использует криптографию для обеспечения безопасности. Самая известная криптовалюта — биткойн».

Теперь, если мы добавим немного больше контекста в подсказку, мы сможем сделать объяснение еще более интуитивным:

Информация о пользователе: «Объясните концепцию криптовалюты старшекласснику, изучающему цифровые финансы»
ChatGPT: «Представьте, что вы играете в онлайн-игру и зарабатываете игровые деньги, которые можно использовать для покупки улучшений или новых персонажей. Криптовалюта — это нечто похожее, но её применение не ограничивается игрой, а позволяет покупать реальные товары и услуги. Это как цифровые деньги, которые не контролируются ни банками, ни правительствами».

3) Ограничения размера подсказки

Понимание ограничения размера ChatGPT имеет важное значение, поскольку оно напрямую влияет на объем и тип информации, которую мы можем вводить. Языковые модели не созданы для одновременной обработки неограниченного количества данных. У них есть неотъемлемое ограничение на размер подсказки, которую мы можем создать и ввести. Это ограничение имеет серьезные последствия для дизайна и выполнения подсказок.

ChatGPT имеет ограничение на количество токенов (обычно 2048), которое включает в себя как запрос, так и сгенерированный ответ. Это означает, что длинные запросы могут ограничивать длину ответа. Поэтому важно, чтобы запросы были лаконичными, но информативными.

На практике мы должны действовать как редакторы, избирательно отбирая наиболее релевантную информацию для поставленной задачи. Представьте себе, что вы пишете статью или исследование с ограничением по количеству слов или страниц: нельзя просто вываливать случайные факты, а нужно тщательно отбирать и структурировать информацию, относящуюся к теме.

Информация о пользователе: «Учитывая токеновые ограничения модели, кратко изложите ключевые события Второй мировой войны менее чем в 1000 слов».

Признавая ограничения токенов модели, эта подсказка заставляет ИИ предоставить краткое, но всеобъемлющее резюме Второй мировой войны.

Подсказки для повторного использования: в разговорном сценарии вы можете повторно использовать подсказки или уточнять их на основе предыдущих ответов. Это дает диалоговый поток и поддерживает контекст во взаимодействии.

4) Шаблон уточнения вопроса

ChatGPT также может помочь уточнить ваши вопросы. Например, если вы задаете вопрос, он может предложить лучшую формулировку вопроса для получения более точных результатов.

Шаблон уточнения вопросов предполагает, что LLM уточняет вопросы, заданные пользователем. Это особенно полезно, когда пользователи не являются экспертами в данной области или не уверены, как сформулировать свой вопрос.

Пример подсказки может выглядеть так:

Информация о пользователе: «Всякий раз, когда я задаю вопрос о науке о данных, предлагайте более точный вопрос с учетом специфики статистического анализа и спрашивайте, хочу ли я перейти к уточненному вопросу».

Здесь ожидается, что ИИ уточнит общие вопросы пользователя по науке о данных, превратив их в более подробные вопросы, учитывающие аспекты статистического анализа.

5) Шаблон когнитивного верификатора

Шаблон Cognitive Verifier разбивает сложные вопросы на более мелкие, управляемые подвопросы. Затем ответы на эти подвопросы объединяются, чтобы дать исчерпывающий ответ на главный вопрос. Этот подход полезен, когда первоначальные вопросы слишком высокоуровневы или когда требуется дополнительная ясность, чтобы дать полный ответ.

Например:

Информация о пользователе: «Если я задам вопрос об изменении климата, разбейте его на три небольших вопроса, которые помогут вам дать более точный ответ. Объедините ответы на эти подвопросы, чтобы дать окончательный ответ».

В этом сценарии ИИ разобьёт сложный вопрос об изменении климата на три управляемых подвопроса. Получив ответы на эти подвопросы, ИИ объединит их, чтобы дать более полный и точный ответ.

Этот шаблон предполагает постановку нескольких вопросов для получения более точного окончательного ответа. Это процесс проверки и консолидации информации для получения достоверного окончательного результата.

6) Подсказка с несколькими выстрелами

Метод коротких подсказок — это эффективный подход к обучению моделей искусственного интеллекта следовать определённым шаблонам или выполнять задачи. Идея заключается в том, чтобы предоставить модели ряд примеров, прежде чем задать нужный вопрос. Это помогает задать желаемое поведение и направлять ответы модели.

Рассмотрим сценарий, в котором пользователь пытается составить краткий и убедительный маркетинговый текст для нового технического гаджета:

Информация о пользователе: «Вот несколько примеров рекламных текстов для технологической сферы: «Почувствуйте музыку, как никогда раньше, с нашими передовыми беспроводными наушниками». «Снимите свой мир в потрясающем 4K-качестве с нашей сверхтонкой экшн-камерой». Используя эти примеры, составьте маркетинговый текст для наших новых умных часов на базе искусственного интеллекта».

ChatGPT: «Расширьте свой образ жизни с помощью наших умных часов на базе искусственного интеллекта — вашего помощника в вопросах здоровья, связи и продуктивности». Замечательная особенность обучения по нескольким методикам заключается в том, что оно не требует подробного описания того, как выполнить задачу. Вместо этого требуется демонстрация выполняемых действий, что делает его подходящим для множества приложений.

Кроме того, этот метод выходит за рамки простого сопряжения ввода-вывода. Модель также можно научить обрабатывать промежуточные шаги для достижения цели.

7) Подсказка по цепочке мыслей

В своей недавней исследовательской работе «Подсказка по цепочке мыслей вызывает рассуждения в больших языковых моделяхАвторы Джейсон Вэй и его команда стремятся стимулировать рассуждения в рамках больших языковых моделей. Вместо традиционных прямых подсказок команда использует серию взаимосвязанных подсказок, формируя «цепочку мыслей».

Например, пользователя может заинтересовать потенциальное влияние искусственного интеллекта на рынки труда:

Информация о пользователе: «Не могли бы вы кратко объяснить концепцию искусственного интеллекта?»

ChatGPT: «Искусственный интеллект, или ИИ, — это способность машины имитировать разумное поведение человека. Речь идёт о разработке машин, способных мыслить и учиться подобно людям, что позволяет им выполнять такие задачи, как перевод с одного языка на другой, принятие решений и решение проблем, среди прочего».

Информация о пользователе: «Как ИИ влияет на текущий рынок труда?»

ChatGPT: «ИИ одновременно создаёт новые рабочие места и меняет характер существующих. С одной стороны, он автоматизирует рутинные задачи, что приводит к сокращению рабочих мест в некоторых секторах. С другой стороны, он создаёт спрос на ранее не существовавшие должности, такие как специалисты по этике в сфере ИИ, аналитики данных и инженеры машинного обучения. Кроме того, ИИ может дополнять человеческие роли, позволяя людям выполнять задачи эффективнее и точнее».

Подсказки по цепочке мыслей следуют за последовательностью связанных подсказок, поддерживая «диалог» с моделью, который направляет ее к более точным и контекстно соответствующим ответам.

Понимание API ChatGPT и Prompt Engineering с точки зрения разработчика

С точки зрения разработчика или исследователя, проектирование подсказок — более сложный процесс. Оно включает в себя разработку алгоритмов и методов, помогающих модели ИИ более эффективно понимать подсказки и реагировать на них. Это может включать в себя стратегии обработки неоднозначных подсказок, определения контекста подсказок или объединения подсказок в цепочки для стимулирования более сложных мыслительных процессов в ИИ.

На иллюстрации выше пользователь взаимодействует с интерфейсом чата, работающим на базе GPT-4. Вводимые пользователем данные доводятся до совершенства для большей ясности и контекстной согласованности с помощью специализированного модуля, прежде чем передаваться в модель ИИ. Задача этого модуля — уточнить и улучшить вводимые пользователем данные для лучшего понимания, сохраняя при этом контекст разговора. Ответ ИИ, сформированный на основе уточнённого запроса, возвращается пользователю через интерфейс чата. История взаимодействия постоянно обновляется, сохраняя контекст разговора. В целом, эта диаграмма иллюстрирует динамический поток диалога между пользователем и ИИ, реализуемый методами разработки запросов.

Радиус корня API ChatGPT Интерфейс разработан с использованием различных гиперпараметров, которые позволяют пользователям оптимизировать ответы ИИ на запросы, делая их более эффективными и универсальными. К ним относятся параметры «Температура», «Максимальная длина» и «Конечные последовательности». Давайте рассмотрим, как они работают и как их можно использовать в различных контекстах.

1) Температура

Параметр «температура» влияет на случайность ответов ИИ. Более высокая температура, например, 1.0, стимулирует более случайный ответ, что приводит к разнообразным, но потенциально не по теме ответам. Напротив, более низкая температура, например, 0.2, побуждает ИИ выбирать более детерминированные ответы, что может быть полезно для получения конкретных ответов, но может быть недостаточно разнообразным.

Пример: если вы пишете творческую историю и хотите добавить непредсказуемых, изобретательных элементов, установите более высокую температуру. Например, можно задать: «Напишите короткий рассказ о кошке, путешествующей во времени». С высокой температурой у вас может получиться дикая, фантастическая история с непредсказуемыми поворотами событий.

2) Максимальная длина

Этот параметр управляет максимальной длиной токена в выходных данных модели, которая включает токены как во входном, так и в выходном сообщении. Установка более высокого предела позволяет получать более развернутые ответы, тогда как более низкий предел сохраняет выходные данные краткими и лаконичными.

Пример: для кратких ответов на простые вопросы, такие как «Кто получил Нобелевскую премию по литературе в 2020 году?» вы можете установить максимальную длину на низкое значение, гарантируя, что ответ будет кратким и прямым.

3) Остановить последовательность

Остановочные последовательности — это определенные строки текста, когда модель встречает их, она прекращает генерировать дальнейшие выходные данные. Эта функция может быть полезна для управления длиной вывода или указания модели останавливаться в логических конечных точках.

Пример: для официального письма вы можете использовать «Искренне ваш» в качестве стоп-последовательности, чтобы гарантировать, что ИИ не сгенерирует никакого дополнительного текста, кроме надлежащего окончания письма.

4) Верх П

Параметр «Top P», также известный как выборка ядра, представляет собой метод, обеспечивающий динамический выбор количества слов, рассматриваемых на каждом этапе прогнозирования модели. Более низкое значение, например, 0.5, приводит к более надёжным и конкретным результатам. Более высокое значение, например, 0.9, включает более широкий выбор слов, что приводит к более разнообразным результатам.

Пример: если вы создаёте ИИ для написания стихов и хотите, чтобы он использовал широкий набор лексики и стилистических фраз, можно установить более высокое значение «Top P». Например, запрос может быть таким: «Сочини стихотворение о красоте осени».

5) Штраф за частоту

Частотный штраф определяет, насколько модель должна отдавать предпочтение менее частым словам. Более высокое значение штрафа (до 1) побуждает модель использовать менее распространенные слова, а более низкое значение (до -1) побуждает модель использовать более распространенные слова.

Пример: если вы пытаетесь составить деловое предложение и хотите избежать использования профессионального жаргона, вы можете установить более низкое значение штрафа за частоту, чтобы язык оставался понятным и доступным.

6) Штраф за присутствие

Параметр «Штраф за присутствие» влияет на то, насколько сильно модель наказывается за создание новых идей или тем, которых не было в истории разговоров. Более высокие значения побуждают модель придерживаться уже упомянутых тем, в то время как более низкие значения позволяют модели более свободно вводить новые концепции.

Пример. Для сеансов мозгового штурма вы можете установить более низкое значение штрафа за присутствие, чтобы поощрять разнообразные идеи. Вы можете использовать такую ​​подсказку, как «Создать инновационные маркетинговые стратегии для образовательной онлайн-платформы».

Промышленное применение Prompt Engineering