Основное руководство по оперативной разработке в ChatGPT

С момента своего запуска, ChatGPT произвел фурор в сфере искусственного интеллекта, привлекая более 100 миллионов пользователей в рекордно короткие сроки. Секрет впечатляющей производительности и универсальности ChatGPT заключается в искусстве, тонко скрытом в его программировании, — оперативном проектировании.

Запущенные в 2022 году DALL-E, MidJourney и StableDiffusion подчеркнули прорывной потенциал генеративного ИИ. Но это было Открытый ИИChatGPT, который действительно занял центральное место в конце 2022 года. И этот импульс не подавал признаков замедления.

Объявление Google о Барде и Ламма Меты 2  ответ на ChatGPT OpenAI значительно усилил импульс гонки ИИ. Предоставляя этим моделям входные данные, мы направляем их поведение и реакцию. Это заставляет нас всех подсказывать инженерам в определенной степени. Технологическая индустрия обратила на это внимание. Венчурные капиталисты вкладывают средства в стартапы, ориентированные на быстрое проектирование, например Веллум ИИ. Более того, Forbes сообщает, что команда инженеров-операторов заработная плата свыше 300,000 XNUMX долларов США, что свидетельствует о процветающем и ценном рынке труда.

В этой статье мы раскроем тайну мира быстрого проектирования в контексте ChatGPT. Мы изучим основные принципы и методы, а также рассмотрим их коммерческое применение.

Давайте сначала разберемся, как функционирует ChatGPT и какую ключевую роль играет в этом процессе разработка подсказок.

Механика разработки ChatGPT Prompt

Секрет успеха ChatGPT заключается в его способности понимать и имитировать нюансы человеческого разговора. Модель обучается на разнообразном интернет-тексте, но, что особенно важно, она не знает конкретных документов или источников в своем обучающем наборе, что обеспечивает обобщение, а не конкретику. Такой подход к обучению позволяет ChatGPT генерировать креативные ответы, ориентироваться в сложных диалогах и даже проявлять чувство юмора. Однако важно помнить, что ChatGPT на самом деле не понимает и не имеет убеждений; он генерирует ответы на основе шаблонов, которые он изучил во время обучения.

Способность ChatGPT понимать человеческий язык и реагировать на него нюансированным и контекстно-зависимым образом делает их невероятно универсальными инструментами.

Механика этих моделей основана на концепции «токенов» — дискретных фрагментов языка, которые могут варьироваться от одного символа до целого слова. Эти модели работают с определенным количеством токенов одновременно (4096 для GPT-3.5-Turbo или 8192 или 32768 для GPT-4), предсказывая следующую последовательность вероятных токенов. Модели обрабатывают токены, используя сложную линейную алгебру, предсказывая наиболее вероятный последующий токен.

Например, простое предложение из девяти слов может превратиться в десять токенов. Даже одно сложное слово может превратиться в несколько токенов, что помогает модели лучше понимать и генерировать язык. Даже языки со сложной структурой слов, такие как немецкий, управляются с помощью токенизации.

Модели GPT (Generative Pre-trained Transformer) работают, генерируя один токен за раз, начиная с первого токена и продолжая до последнего. После создания каждого токена модель пересматривает всю последовательность и снова обрабатывает ее, чтобы сгенерировать следующий токен. Этот итеративный процесс продолжается до тех пор, пока не будет сгенерирован окончательный токен, что делает генерацию текста похожей на большой цикл for.

Но вот в чем загвоздка — качество этих ответов во многом зависит от получаемых подсказок. Точно так же, как управление разговором с человеком, управление диалогом с ChatGPT требует определенного уровня навыков и понимания. Вот где быстрое проектирование вступает в игру.

Что такое Промпт Инжиниринг?

Подсказка — это искусство создания точных и эффективных подсказок/вводных данных для управления ИИ (НЛП/Vision), таких как ChatGPT, для создания наиболее экономичных, точных, полезных и безопасных выходных данных.

Оперативное проектирование не ограничивается только генерацией текста, оно имеет широкое применение в области искусственного интеллекта. Он все чаще используется в таких областях, как роботизированные боты для автоматизации процессов, 3D-активы, сценарии, инструкции для роботов и другие типы контента и цифровых медиа. Он обеспечивает уникальное сочетание логики, кодирования, искусства и, в некоторых случаях, специальных модификаторов.

Хотя подсказка может включать текст на естественном языке, изображения или другие типы входных данных, выходные данные могут значительно различаться в зависимости от сервисов и инструментов ИИ. Каждый инструмент имеет свои специальные модификаторы, которые описывают вес слов, стилей, перспектив, макета или других свойств желаемого ответа.

Эта область необходима для создания лучших сервисов на основе ИИ и получения превосходных результатов от существующих инструментов генеративного ИИ. Разработчики предприятий, например, часто используют оперативное проектирование для адаптации больших языковых моделей (LLM), таких как GPT-3, для поддержки взаимодействия с клиентами. Chatbot или решать такие задачи, как создание отраслевых контрактов.

Этот итеративный процесс быстрой доработки и измерения производительности ИИ является ключевым элементом, позволяющим моделям ИИ генерировать целенаправленные и полезные ответы в различных контекстах.

Стать проворным инженером

Мастерство модели GPT-4 в понимании сложных инструкций и точном решении сложных задач делает ее бесценным ресурсом. Однако существуют различные методы доступа к возможностям этой модели, и их понимание может иметь решающее значение для роли оперативного инженера в оптимизации как эффективности, так и рентабельности.

По сути, есть два способа взаимодействия с моделями GPT, такими как GPT-4. Один из способов — через API OpenAI, где затраты рассчитываются для входных и выходных токенов. В этом сценарии стоимость 1 тыс. токенов может колебаться в зависимости от размера контекста. Например, в более крупном контексте 32 КБ стоимость может возрасти до 0.06 доллара США за входные токены и 0.12 доллара США за выходные токены. Таким образом, при обработке большого объема запросов стоимость использования может быстро возрасти.

В качестве альтернативы ChatGPT, использующий модель GPT-4, работает по модели на основе подписки.

Другая ключевая задача оперативной разработки связана с настройкой параметров модели. Этот процесс включает настройку переменных, которые модель использует для прогнозирования. Путем точной настройки этих параметров инженеры подсказок могут улучшить качество и точность ответов модели, сделав их более релевантными и полезными в контексте.

Хотя многие быстрые инженеры имеют техническое образование, междисциплинарный характер этой области делает ее доступной для людей с разным профессиональным опытом. Писатели, исследователи и даже художники все чаще используют свои уникальные навыки для повышения эффективности моделей ИИ. Этот сдвиг отражается и на рынке труда: растет число компаний, которые ищут быстрых инженеров с разнообразными навыками и опытом.

Быстрое проектирование и проектирование в ChatGPT

Prompt Design and Engineering играют решающую роль в оптимизации производительности языковых моделей и включают в себя больше, чем просто создание вопросов; они требуют глубокого понимания модели ИИ, а также высокоитеративного и усовершенствованного подхода.

Быстрый дизайн

Дизайн подсказок, по своей сути, представляет собой искусство и науку создания идеальных подсказок для данной большой языковой модели (LLM), такой как ChatGPT, для достижения четко сформулированной цели. Это смесь:

• Понимание LLM: разные языковые модели могут по-разному реагировать на одно и то же приглашение. Более того, определенные языковые модели могут иметь уникальные ключевые слова или триггеры, которые они интерпретируют определенным образом.
• Знание предметной области: опыт в соответствующей области имеет решающее значение при разработке подсказок. Например, создание подсказки для вывода медицинского диагноза потребует медицинских знаний.
• Итеративный подход и измерение качества. Процесс создания идеальной подсказки часто включает в себя пробы и ошибки. Таким образом, жизненно важно иметь способ оценить качество вывода помимо субъективного суждения, особенно при использовании подсказки в большем масштабе.

Быстрый инжиниринг

Быстрое проектирование — это расширенная область быстрого проектирования, включающая несколько важных процессов:

• Разработка подсказок в масштабе: этот процесс включает разработку метаподсказок (подсказок, которые генерируют другие подсказки) и шаблонов подсказок, которые представляют собой параметризованные подсказки, экземпляры которых можно создавать во время выполнения.
• Проектирование и интеграция инструментов. Подсказки иногда могут включать результаты внешних инструментов, и беспроблемная интеграция этих инструментов в систему имеет решающее значение.
• Рабочий процесс, планирование и управление подсказками. Развертывание приложения LLM, такого как чат-бот, часто требует управления библиотеками подсказок, планирования и выбора правильных подсказок, а также эффективной интеграции различных инструментов.
• Оценка и обеспечение качества подсказок: этот аспект включает определение показателей и процессов для оценки подсказок как автоматически, так и с участием человека.
• Оптимизация подсказки: стоимость и задержка модели ИИ могут зависеть от выбора модели и длины подсказки (количества токенов).

Многие автоматизированные подходы к разработке подсказок, инструменты и платформы были разработаны для управления подсказками в масштабе. Однако важно понимать, что ни один из этих инструментов не может заменить тонкое понимание, суждение и опыт опытного оперативного инженера.

Быстрая разработка: методы и лучшие практики

1) Быстрое размещение и описание

Размещение инструкций в начале подсказки может значительно повлиять на понимание и реакцию ИИ. Рассмотрим задачу резюмирования текста в формате маркированного списка. Менее эффективным подходом будет:

Информация о пользователе: Обобщите приведенный ниже текст в виде маркированного списка наиболее важных моментов.
{введите текст здесь}

С другой стороны, более эффективным методом может быть:

Информация о пользователе: Обобщите приведенный ниже текст в виде маркированного списка наиболее важных моментов.
Текст: """
{введите текст здесь}
"" "

Четко разделяя инструкции и контекст с помощью таких символов, как ### или «»», модель ИИ может лучше очертить свою задачу и текст, который необходимо обработать, тем самым давая более точные и релевантные ответы.

Во-вторых, конкретное, описательное и подробное описание контекста, ожидаемого результата, длины, формата, стиля и т. д. может значительно повысить точность ответов ИИ. Предположим, вам нужно создать краткий обзор научной статьи в привлекательном, удобном для неспециалистов стиле. Расплывчатая инструкция вроде «Обобщить научную статью» даст менее эффективные результаты по сравнению с конкретной подробной подсказкой:

Информация о пользователе: Составьте краткое (около 200 слов) увлекательное изложение следующей научной статьи. Резюме должно быть понятно человеку, не имеющему научной подготовки, и в то же время точно отражать основные выводы статьи.
Бумага: """
{текст научной статьи здесь}
"" "

2) Образец личности

Шаблон персоны — это стратегия, которая заставляет ИИ функционировать с определенной точки зрения, например, профессиональной роли или вымышленного персонажа. Эта тактика позволяет модели предоставлять результаты, связанные с конкретными ролями, которые будет выполнять персона. Например, можно поручить ИИ действовать в качестве эксперта по кибербезопасности во время проверки кода. Этот шаблон особенно удобен, когда пользователям нужна помощь, но они не уверены в том, какие точные данные нужны в выходных данных.

В качестве примера возьмем следующее:

Информация о пользователе: «Предположим, что вы являетесь старшим историком, специализирующимся на Французской революции. Учитывая эту личность, объясните ключевые события и причины, приведшие к падению французской монархии».

В этом сценарии ожидается, что ИИ ответит глубоким анализом Французской революции, сосредоточив внимание на падении монархии, как это сделал бы историк.

Представляем новую информацию

ChatGPT не обладает знаниями за рамками своего обучения, поэтому он не может предоставлять информацию о последних событиях или обновлениях после обучения. Однако вы можете ввести новую информацию в модель с помощью подсказок.

Информация о пользователе: «Что такое криптовалюта?»
ChatGPT: «Криптовалюта — это тип цифровой или виртуальной валюты, которая использует криптографию для обеспечения безопасности. Самая известная криптовалюта — биткойн».

Теперь, если мы добавим немного больше контекста в подсказку, мы сможем сделать объяснение еще более интуитивным:

Информация о пользователе: «Объясните концепцию криптовалюты старшекласснику, изучающему цифровые финансы»
ChatGPT: «Представьте, что вы играете в онлайн-видеоигру, и есть игровые деньги, которые вы можете заработать, чтобы купить обновления или новых персонажей. Криптовалюта похожа на эту, но вместо того, чтобы ограничиваться игрой, вы можете использовать ее для покупки реальных товаров и услуг. Это как цифровые деньги, которые не контролирует ни банк, ни правительство».

3) Ограничения размера подсказки

Понимание ограничения размера ChatGPT имеет важное значение, поскольку оно напрямую влияет на объем и тип информации, которую мы можем вводить. Языковые модели не созданы для одновременной обработки неограниченного количества данных. У них есть неотъемлемое ограничение на размер подсказки, которую мы можем создать и ввести. Это ограничение имеет серьезные последствия для дизайна и выполнения подсказок.

ChatGPT имеет лимит токенов (обычно 2048 токенов), который включает как приглашение, так и сгенерированный ответ. Это означает, что длинные подсказки могут ограничивать длину ответа. Поэтому важно, чтобы подсказки были краткими, но информативными.

В практическом использовании мы должны действовать как редакторы, выборочно выбирая наиболее релевантную информацию для поставленной задачи. Представьте, что вы пишете статью или статью с ограничением по количеству слов или страниц — вы не можете просто вывалить случайные факты, а тщательно отберете и структурируете информацию, относящуюся к теме.

Информация о пользователе: «Учитывая токеновые ограничения модели, кратко изложите ключевые события Второй мировой войны менее чем в 1000 слов».

Признавая ограничения токена модели, эта подсказка направляет ИИ предоставить краткий, но исчерпывающий обзор Второй мировой войны.

Подсказки для повторного использования: в разговорном сценарии вы можете повторно использовать подсказки или уточнять их на основе предыдущих ответов. Это дает диалоговый поток и поддерживает контекст во взаимодействии.

4) Шаблон уточнения вопроса

ChatGPT также может помочь уточнить ваши вопросы. Например, если вы задаете вопрос, он может предложить лучшую формулировку вопроса для получения более точных результатов.

Шаблон уточнения вопросов включает в себя уточнение LLM вопросов, заданных пользователем. Это особенно полезно, когда пользователи не являются экспертами в предметной области или не знают, как сформулировать свой вопрос.

Пример подсказки может выглядеть так:

Информация о пользователе: «Всякий раз, когда я задаю вопрос о науке о данных, предлагайте более точный вопрос с учетом специфики статистического анализа и спрашивайте, хочу ли я перейти к уточненному вопросу».

Здесь ожидается, что ИИ уточнит общие вопросы пользователя по науке о данных до более подробных вопросов, учитывающих аспекты статистического анализа.

5) Шаблон когнитивного верификатора

Шаблон Cognitive Verifier разбивает сложные вопросы на более мелкие, управляемые подвопросы. Затем ответы на эти подвопросы объединяются, чтобы дать исчерпывающий ответ на главный вопрос. Этот подход полезен, когда первоначальные вопросы слишком высокоуровневы или когда требуется дополнительная ясность, чтобы дать полный ответ.

Например:

Информация о пользователе: «Если я задам вопрос об изменении климата, разбейте его на три небольших вопроса, которые помогут вам дать более точный ответ. Объедините ответы на эти подвопросы, чтобы дать окончательный ответ».

В этом сценарии ИИ разобьёт сложный вопрос об изменении климата на три управляемых подвопроса. Получив ответы на эти подвопросы, ИИ объединит их, чтобы дать более полный и точный ответ.

Этот шаблон включает в себя создание нескольких вопросов для получения более точного окончательного ответа. Это процесс проверки и консолидации информации для надежного конечного результата.

6) Подсказка с несколькими выстрелами

Подсказка несколькими выстрелами — это мощный подход к обучению моделей ИИ следовать определенным шаблонам или выполнять задачи. Идея состоит в том, чтобы накормить модель несколькими примерами, прежде чем задать желаемый вопрос. Это помогает установить желаемое поведение и направлять ответы модели.

Рассмотрим сценарий, в котором пользователь пытается составить краткий и убедительный маркетинговый текст для нового технического гаджета:

Информация о пользователе: «Вот несколько примеров копий технологического маркетинга: «Наслаждайтесь музыкой, как никогда раньше, с нашими ультрасовременными беспроводными наушниками». «Запечатлейте свой мир в потрясающем формате 4K с помощью нашей сверхтонкой экшн-камеры». Учитывая эти примеры, составьте маркетинговый текст для наших новых умных часов с искусственным интеллектом».

ChatGPT: «Расширьте возможности своего образа жизни с помощью наших умных часов на базе искусственного интеллекта, вашего компаньона для здоровья, подключения и продуктивности». Замечательная особенность обучения за несколько шагов заключается в том, что оно не требует подробного описания того, как выполнять задачу. Вместо этого требуется демонстрация того, что делается, что может сделать его подходящим для многих приложений.

Кроме того, этот метод выходит за рамки простого сопряжения ввода-вывода. Модель также можно научить обрабатывать промежуточные шаги для достижения цели.

7) Подсказка по цепочке мыслей

В своей недавней исследовательской работе «Подсказка по цепочке мыслей вызывает рассуждения в больших языковых моделяхАвторы Джейсон Вей и команда стремятся стимулировать рассуждения в рамках больших языковых моделей. Вместо традиционных прямых подсказок команда использует серию взаимосвязанных подсказок, образуя «цепочку размышлений».

Например, пользователя может заинтересовать потенциальное влияние искусственного интеллекта на рынки труда:

Информация о пользователе: «Не могли бы вы кратко объяснить концепцию искусственного интеллекта?»

ChatGPT: «Искусственный интеллект, или ИИ, относится к способности машины имитировать разумное поведение человека. Речь идет о разработке машин, которые могут думать и учиться, как люди, что позволяет им выполнять такие задачи, как языковой перевод, принятие решений и решение проблем, среди прочего».

Информация о пользователе: «Как ИИ влияет на текущий рынок труда?»

ChatGPT: «ИИ одновременно создает новые рабочие места и меняет характер существующих. С одной стороны, это автоматизирует рутинные задачи, что приводит к сокращению рабочих мест в определенных секторах. С другой стороны, это создает спрос на должности, которых раньше не существовало, например, специалисты по этике ИИ, аналитики данных и инженеры по машинному обучению. Кроме того, ИИ может дополнять человеческие роли, позволяя им выполнять задачи более эффективно и точно».

Подсказки по цепочке мыслей следуют за последовательностью связанных подсказок, поддерживая «разговор» с моделью, который направляет ее к более точным и контекстуально подходящим ответам.

Понимание API ChatGPT и разработки подсказок с точки зрения разработчика

С точки зрения разработчика или исследователя, оперативное проектирование — более сложный процесс. Он включает в себя разработку алгоритмов и методов, помогающих модели ИИ понимать подсказки и реагировать на них более эффективно. Это может включать стратегии обработки неоднозначных подсказок, определение контекста подсказок или объединение подсказок вместе для стимулирования более сложных мыслительных процессов в ИИ.

На приведенном выше рисунке пользователь взаимодействует с интерфейсом чата на базе GPT-4. Их ввод улучшается для ясности и контекстуальной согласованности с помощью специализированного модуля перед подачей в модель ИИ. Роль этого модуля заключается в уточнении и расширении пользовательского ввода для лучшего понимания, а также в поддержании контекста разговора. Ответ ИИ, созданный на основе уточненной подсказки, возвращается пользователю через интерфейс чата. История взаимодействия постоянно обновляется, сохраняя диалоговый контекст. В целом, эта диаграмма иллюстрирует динамический поток диалога между пользователем и ИИ, обеспечиваемый методами оперативной разработки.

Ассоциация ChatGPT API интерфейс разработан с различными гиперпараметрами, которые позволяют пользователям уточнять ответы ИИ на подсказки, делая их более эффективными и универсальными. К ним относятся параметры «Температура», «Максимальная длина» и «Последовательности останова». Давайте рассмотрим, как они функционируют и могут использоваться в различных контекстах.

1) Температура

Параметр температуры влияет на случайность ответов ИИ. Более высокая температура, например 1.0, способствует более случайному выводу, что приводит к разнообразным, но потенциально не относящимся к теме ответам. Напротив, более низкая температура, например 0.2, побуждает ИИ выбирать более детерминированные ответы, которые могут быть полезны для целенаправленных и конкретных результатов, но могут не иметь разнообразия.

Пример: если вы пишете творческую историю и хотите непредсказуемых, творческих элементов, установите более высокое значение температуры. Подсказка может быть такой: «Напишите небольшой рассказ о кошке, путешествующей во времени». При высокой температуре может получиться дикая, фантастическая сказка с непредсказуемыми поворотами.

2) Максимальная длина

Этот параметр управляет максимальной длиной токена выходных данных модели, которая включает в себя как токены входного, так и выходного сообщения. Установка более высокого предела позволяет получить более развернутые ответы, в то время как более низкий предел обеспечивает краткость и лаконичность вывода.

Пример: для кратких ответов на простые вопросы, такие как «Кто получил Нобелевскую премию по литературе в 2020 году?» вы можете установить максимальную длину на низкое значение, гарантируя, что ответ будет кратким и прямым.

3) Остановить последовательность

Остановочные последовательности — это определенные строки текста, когда модель встречает их, она прекращает генерировать дальнейшие выходные данные. Эта функция может быть полезна для управления длиной вывода или указания модели останавливаться в логических конечных точках.

Пример: для официального письма вы можете использовать «Искренне ваш» в качестве стоп-последовательности, чтобы гарантировать, что ИИ не сгенерирует никакого дополнительного текста, кроме надлежащего окончания письма.

4) Верх П

Параметр «Top P», также известный как выборка ядра, представляет собой метод, обеспечивающий динамический выбор количества слов, учитываемых на каждом этапе предсказаний модели. Более низкое значение, например 0.5, приводит к более безопасным и целенаправленным результатам. Более высокое значение, например 0.9, включает более широкий выбор слов, что приводит к более разнообразным результатам.

Пример: если вы создаете ИИ для написания стихов и хотите, чтобы он использовал широкий набор слов и стилистических фраз, вы можете установить для параметра «Top P» более высокое значение. Подсказка может быть такой: «Сочини стихотворение о красоте осени».

5) Штраф за частоту

Частотный штраф определяет, насколько модель должна отдавать предпочтение менее частым словам. Более высокое значение штрафа (до 1) побуждает модель использовать менее распространенные слова, а более низкое значение (до -1) побуждает модель использовать более распространенные слова.

Пример. Если вы пытаетесь создать коммерческое предложение и хотите избежать жаргона, вы можете установить более низкое значение штрафа за частоту, чтобы язык оставался ясным и доступным.

6) Штраф за присутствие

Параметр «Штраф за присутствие» влияет на то, насколько сильно модель наказывается за создание новых идей или тем, которых не было в истории разговоров. Более высокие значения побуждают модель придерживаться уже упомянутых тем, в то время как более низкие значения позволяют модели более свободно вводить новые концепции.

Пример. Для сеансов мозгового штурма вы можете установить более низкое значение штрафа за присутствие, чтобы поощрять разнообразные идеи. Вы можете использовать такую ​​подсказку, как «Создать инновационные маркетинговые стратегии для образовательной онлайн-платформы».

Промышленное применение Prompt Engineering