Есенціальний посібник до інженерії промпта в ChatGPT

Від моменту запуску, ChatGPT робить хвилю в сфері штучного інтелекту, привернувши понад 100 мільйонів користувачів за рекордний час. Секрет успіху ChatGPT і його впізнаваної універсальності лежить у мистецтві, яке тонко вкладене в його програмування – інженерія промпта.

Запущений у 2022 році, DALL-E, MidJourney і StableDiffusion підкреслили руйнівний потенціал генерації штучного інтелекту. Але саме Open AI ChatGPT справді зайняв центральну сцену пізніше у 2022 році. І цей імпульс не показував жодних ознак сповільнення.

Оголошення Google про Bard та відповідь Meta на Lamma 2 значно посилили імпульс штучного інтелекту. Надавши цим моделям вхідні дані, ми керуюємо їхнім поведінкою та відповідями. Це робить нас усіма інженерами промпта до певної міри. Технологічна індустрія звернула на це увагу. Венчурні капіталісти вкладають кошти в стартапи, які зосереджені на інженерії промпта, наприклад Vellum AI. Крім того, Forbes повідомляє, що інженери промпта отримують зарплати понад 300 000 доларів, що свідчить про процвітаючий і цінний ринок праці.

У цій статті ми роз’яснимо світ інженерії промпта в контексті ChatGPT. Ми дослідимо основні принципи та техніки, а також розглянемо їхні комерційні застосування.

Давайте спочатку зрозуміємо, як функціонує ChatGPT і яку ключову роль відіграє інженерія промпта в цьому процесі.

Механізми інженерії промпта в ChatGPT

Секретний інгредієнт успіху ChatGPT полягає в його здатності зрозуміти та імітувати нюанси людської розмови. Модель тренується на різноманітному інтернет-тексті, але важливо, що вона не знає конкретних документів або джерел у своєму тренувальному наборі, забезпечуючи узагальнення над специфікою. Цей підхід до тренування дозволяє ChatGPT генерувати творчі відповіді, орієнтуватися в складних діалогах і навіть демонструвати почуття гумору. Однак важливо пам’ятати, що ChatGPT не真正 розуміє чи не має переконань; він генерує відповіді на основі моделей, вивчених під час тренування.

Спроможність ChatGPT зрозуміти та відповісти на людську мову в тонкому та контекстно-обізнаному стилі робить його надзвичайно універсальним інструментом.

Механізми цих моделей ґрунтуються на концепції “токенів” – дискретних шматків мови, які можуть варіюватися від одного символу до всього слова. Ці моделі працюють з певною кількістю токенів одночасно (4096 для GPT-3.5-Turbo або 8192 чи 32768 для GPT-4), передбачаючи наступну послідовність найбільш імовірних токенів. Моделі обробляють токени за допомогою складової лінійної алгебри, передбачаючи найбільш імовірний наступний токен.

Наприклад, просте речення з дев’яти слів може перетворитися на десять токенів. Навіть один складний слово може перетворитися на кілька токенів, що допомагає моделі краще зрозуміти та генерувати мову. Навіть мови з складними структурами слів, як німецька, обробляються за допомогою токенізації.

Моделі GPT (Генеративний попередньо тренований трансформер) працюють шляхом генерації одного токена за раз, починаючи з першого токена і продовжуючи до останнього. Після генерації кожного токена модель переглядає всю послідовність і обробляє її знову, щоб згенерувати наступний токен. Цей ітеративний процес продовжується до тих пір, поки не буде згенерований останній токен, роблячи генерацію тексту схожою на великий цикл.

Але ось хитрість – якість цих відповідей у великій мірі залежить від промптів, які він отримує. Як і керування розмовою з людиною, керування діалогом з ChatGPT вимагає певного рівня навичок і розуміння. Саме тут вступає в дію інженерія промпта.

Що таке інженерія промпта?

Інженерія промпта – це мистецтво створення точних, ефективних промптів/вхідних даних для керування моделями штучного інтелекту (NLP/Візуальні) типу ChatGPT у напрямку генерації найбільш економічних, точних, корисних та безпечних виходів.

Інженерія промпта не обмежується лише генерацією тексту, а має широке застосування в галузі штучного інтелекту. Вона все частіше використовується в таких областях, як автоматизація роботизованих процесів, 3D-асети, скрипти, інструкції роботів та інші типи контенту та цифрових медіа. Вона забезпечує унікальну суміш логіки, кодування, мистецтва та в деяких випадках спеціальних модифікаторів.

Хоча промпт може включати природний текст, зображення чи інші типи вхідних даних, вихід може суттєво відрізнятися залежно від послуг штучного інтелекту та інструментів. Кожен інструмент має спеціальні модифікатори, які описують вагу слів, стилі, точки зору, макет чи інші властивості бажаної відповіді.

Ця галузь є важливою для створення кращих послуг, заснованих на штучному інтелекті, та отримання кращих результатів від існуючих інструментів генерації штучного інтелекту. Наприклад, корпоративні розробники часто використовують інженерію промпта, щоб налаштувати великі мови моделі (LLM), такі як GPT-3, для забезпечення клієнтського чат-бота або виконання завдань, таких як створення галузевих контрактів.

Цей ітеративний процес уточнення промпта та вимірювання продуктивності штучного інтелекту є ключовим елементом у можливості генерації моделей штучного інтелекту високоцільових та корисних відповідей у різних контекстах.

Становлення інженером промпта

Модель GPT-4 має здатність зрозуміти складні інструкції та точно розв’язувати складні проблеми, що робить її невід’ємним ресурсом. Однак існують різні методи доступу до цієї моделі, і розуміння цих методів може бути важливим для ролі інженера промпта в оптимізації як ефективності, так і вартості.

Існують два основних способи взаємодії з моделями GPT, такими як GPT-4. Один із них – через API OpenAI, де витрати розраховуються за вхідні та вихідні токени. У цьому сценарії витрати за 1 тис. токенів можуть коливатися залежно від розміру контексту. Наприклад, у великому контексті 32К витрати можуть зростати до 0,06 долара за вхідні токени та 0,12 долара за вихідні токени. Таким чином, при обробці великої кількості запитів вартість використання може швидко накопичуватися.

Альтернативно, ChatGPT, який використовує модель GPT-4, працює на основі підписки.

Іншим важливим завданням в інженерії промпта є налаштування параметрів моделі. Це процес включає в себе регулювання змінних, які модель використовує для прогнозування. Регулюючи ці параметри, інженери промпта можуть покращити якість та точність відповідей моделі, роблячи їх більш контекстно-релевантними та корисними.

Хоча багато інженерів промпта походять з технічного середовища, міжгалузевий характер галузі робить її доступною для осіб з різноманітних професійних середовищ. Все частіше письменники, дослідники та навіть художники використовують свої унікальні навички для покращення ефективності моделей штучного інтелекту. Ця зміна відображається на ринку праці, де все більше компаній шукають інженерів промпта з різноманітними навичками та фоном.

Інженерія промпта в ChatGPT

Інженерія промпта відіграє критичну роль у оптимізації продуктивності мовних моделей і включає не лише створення запитів; вона вимагає глибокого розуміння моделі штучного інтелекту та високоітеративного та розвиненого підходу.

Проектування промпта

Проектування промпта в своїй основі є мистецтвом та наукою створення ідеального промпта для великої мови моделі (LLM), наприклад ChatGPT, для досягнення чітко сформульованої мети. Це поєднання:

• Розуміння LLM: Різні мови моделей можуть реагувати по-різному на один і той же промпт. Крім того, деякі мови моделей можуть мати унікальні ключові слова або спускові механізми, які вони інтерпретують певним чином.
• Доменне знання: Експертиза в відповідній галузі є важливою при проектуванні промптів. Наприклад, генерація промпта для висновку медичної діагностики потребуватиме медичних знань.
• Ітеративний підхід та вимірювання якості: Процес створення ідеального промпта часто включає спроби та помилки. Тому наявність засобу для оцінки якості виходу за межами суб’єктивної оцінки є важливим, особливо при використанні промпта у великомасштабному контексті.

Інженерія промпта

Інженерія промпта – це розширена область проектування промпта, яка включає кілька критичних процесів:

• Проектування промптів у масштабі: Цей процес включає проектування мета-промптів (промптів, які генерують інші промпти) та шаблонів промптів, які є параметризованими промптами, які можна інстанціювати під час виконання.
• Проектування інструментів та інтеграція: Промпти іноді можуть включати результати зовнішніх інструментів, і безшовна інтеграція цих інструментів у систему є важливою.
• Потік роботи, планування та управління промптами: Розгортання програми LLM, наприклад чат-бота, часто вимагає управління бібліотеками промптів, планування та вибору правильних промптів, а також ефективної інтеграції різних інструментів.
• Оцінка та забезпечення якості промптів: Цей аспект включає визначення метрик та процесів для оцінки промптів як автоматично, так і з участю людини.
• Оптимізація промпта: Вартість та затримка моделі штучного інтелекту можуть залежати від вибору моделі та довжини промпта (кількості токенів).

Було розроблено багато автоматизованих підходів до проектування промпта, інструментів та фреймворків для управління промптами у масштабі. Однак важливо зрозуміти, що жоден з цих інструментів не може замінити нюансоване розуміння, судження та досвід кваліфікованого інженера промпта.

Інженерія промпта: Техніки та найкращі практики

1) Розміщення промпта та опис

Розміщення інструкцій на початку промпта може суттєво вплинути на розуміння штучного інтелекту та його відповідь. Розгляньте завдання підсумування тексту у форматі списку з виїмками. Менш ефективний підхід буде:

Користувач: Підсумуйте текст нижче як список виїмок найбільш важливих пунктів.
{вхідний текст тут}

З іншого боку, більш ефективна техніка могла б бути:

Користувач: Підсумуйте текст нижче як список виїмок найбільш важливих пунктів.
Текст: “””
{вхідний текст тут}
“””

Чітко відокремлюючи інструкції та контекст символами, такими як ### або “”, штучний інтелект може краще розрізнити свою задачу та текст, який потрібно обробити, тим самим надаючи більш точні та релевантні відповіді.

Друга річ – бути конкретним, описовим та детальним щодо контексту, очікуваного результату, довжини, формату, стилю тощо. Це може суттєво покращити точність відповідей штучного інтелекту. Наприклад, якщо вам потрібно створити короткий огляд наукової статті в привабливому, зрозумілому для неспеціалістів стилі. Неясна інструкція, така як “Підсумуйте наукову статтю”, призведе до менш ефективних результатів порівняно з конкретним, детальним промптом:

Користувач: Створіть короткий (приблизно 200 слів) привабливий підсумок наступної наукової статті. Підсумок повинен бути зрозумілим для людини без наукової освіти, одночасно точно відображаючи ключові висновки статті.
Стаття: “””
{науковий текст статті тут}
“””

2) Шаблон персони

Шаблон персони – це стратегія, яка встановлює штучний інтелект для роботи з певної точки зору, наприклад професійної ролі чи вигаданого персонажа. Ця тактика дозволяє моделі надавати виходи, пов’язані з конкретними ролями, які персона мала б обробляти. Наприклад, ви можете інструктувати штучний інтелект діяти як експерт із кібербезпеки під час огляду коду. Цей шаблон особливо корисний, коли користувачі потребують допомоги, але не впевнені у конкретних деталях, необхідних у виході.

Візьміть наступний приклад:

Користувач: “Прийміть персону старшого історика, який спеціалізується на Французькій революції. З цієї точки зору поясніть ключові події та причини, які призвели до падіння французької монархії.”

У цьому сценарії штучний інтелект очікується надати глибокий аналіз Французької революції, зосереджуючись на падінні монархії, як історик би зробив.

Введення нової інформації

ChatGPT не володіє знаннями за межами своєї тренувальної вибірки, тому не може надати інформацію про недавні події чи оновлення після закінчення тренування. Однак ви можете надати штучному інтелекту нову інформацію через промпти.

Користувач: “Що таке криптовалюта?”
ChatGPT: “Криптовалюта – це тип цифрової або віртуальної валюти, яка використовує криптографію для безпеки. Найбільш відомою криптовалютою є Біткоїн.”

Тепер, якщо ми додамо трохи контексту до промпта, ми можемо зробити пояснення ще більш інтуїтивним:

Користувач: “Поясніть концепцію криптовалюти старшокласнику, який вивчає цифрові фінанси”
ChatGPT: “Уявіть, що ви граєте в онлайн-відеогру та маєте гроші гри, які ви можете заробити, щоб купити оновлення чи нових персонажів. Криптовалюта схожа на це, але замість того, щоб бути обмеженою грою, ви можете насправді використовувати її для покупки реальних товарів та послуг. Це як цифрові гроші, які жоден банк чи уряд не контролює.”

3) Обмеження розміру промпта

Поняття про обмеження розміру ChatGPT є важливим, оскільки воно безпосередньо впливає на обсяг та тип інформації, яку ми можемо ввести. Моделі штучного інтелекту не створені для обробки необмежених даних одночасно. У них є вбудовані обмеження на розмір промпта, який ми можемо створити та ввести. Це обмеження має глибокі наслідки для проектування та виконання промптів.

ChatGPT має обмеження токенів (зазвичай 2048 токенів), яке включає як промпт, так і згенеровану відповідь. Це означає, що довгі промпти можуть обмежувати довжину відповіді. Тому важливо зберігати промпти лаконічними, але інформативними.

Користувач: “Враховуючи обмеження токенів моделі, підсумуйте ключові події Другої світової війни менш ніж у 1000 словах.”

Визнавши обмеження токенів моделі, цей промпт спрямовує штучний інтелект надати лаконічний, проте повний підсумок Другої світової війни.

Промпти для повторного використання: У розмовному сценарії ви можете повторно використовувати промпти або уточнювати їх на основі попередніх відповідей. Це забезпечує розмовний потік та зберігає контекст взаємодії.

4) Уточнення запитів

ChatGPT також може допомогти уточнити ваші запитання. Наприклад, якщо ви поставите запитання, він може запропонувати краще сформульоване запитання для більш точних результатів.

Шаблон уточнення запитань включає LLM, який уточнює запитання, поставлені користувачем. Це особливо корисно, коли користувачі не є експертами в галузі чи не впевнені, як сформулювати своє запитання.

Приклад промпта може виглядати так:

Користувач: “Коли я ставлю запитання про дані науки, пропонуйте уточнене запитання з урахуванням особливостей статистичного аналізу та запитайте, чи хочу я продовжити з уточненим запитанням.”

Тут штучний інтелект очікується уточнити загальні запитання щодо науки даних до більш детальних запитань, враховуючи аспекти статистичного аналізу.

5) Когнітивний верифікатор

Шаблон когнітивного верифікатора розбиває складні запитання на менші, керувані підзапитання. Відповіді на ці підзапитання потім об’єднуються, щоб надати повну відповідь на основне запитання. Цей підхід корисний, коли початкові запитання надто загальні або коли потрібна додаткова ясність для надання повної відповіді.

Наприклад:

Користувач: “Якщо я ставлю запитання про зміну клімату, розбийте його на три менших запитання, які допоможуть вам надати більш точну відповідь. Об’єднайте відповіді на ці підзапитання, щоб надати остаточну відповідь.”

У цьому сценарії штучний інтелект розбиває складне запитання про зміну клімату на три керувані підзапитання. Після отримання відповідей на ці підзапитання штучний інтелект потім об’єднує їх, щоб надати більш повну та точну відповідь.

Цей шаблон включає генерацію кількох запитань для отримання більш точної остаточної відповіді. Це процес верифікації та консолідації інформації для надійної остаточної відповіді

6) Підхід з кількома зразками

Підхід з кількома зразками – це потужний метод навчання моделей штучного інтелекту слідувати певним шаблонам або виконувати завдання. Ідея полягає в тому, щоб надати моделі кілька прикладів перед тим, як поставити бажане запитання. Це допомагає встановити бажану поведінку та спрямувати відповіді моделі.

Розгляньте сценарій, у якому користувач намагається створити лаконічний та привабливий маркетинговий текст для нового технологічного гаджета:

Користувач: “Ось приклади маркетингових текстів для технологій: ‘Відчуйте музику, як ніколи раніше, з нашими передовими бездротовими навушниками.’ ‘Захопіть свій світ у приголомшливому 4K з нашою ультрасучасною камерою дії.’ На основі цих прикладів створіть маркетинговий текст для нашого нового AI-пов’язаного смарт-годинника.”

ChatGPT: “Емпавер ваш стиль життя з нашим AI-пов’язаним смарт-годинником, вашим компаньйоном для здоров’я, зв’язку та продуктивності.” Надзвичайна особливість навчання з кількома зразками полягає в тому, що це не вимагає детального опису того, як виконувати завдання. Замість цього це вимагає демонстрації того, що робиться, що може зробити його хорошим вибором для багатьох застосунків.

Крім того, цей метод розширюється за межі простої пари вхідних/вихідних даних. Модель також може бути навчена виконувати проміжні кроки для досягнення мети.

7) Ланцюгова промптація

У своєму недавньому дослідженні “Ланцюгова промптація викликає розуміння у великих мовних моделях” Джейсон Вей та команда спрямовані на стимуляцію розуміння у великих мовних моделях. Замість використання традиційних прямих промптів команда використовує серію взаємопов’язаних промптів, утворюючи “ланцюг думок”.

Наприклад, користувач може бути зацікавлений у потенційному впливі штучного інтелекту на ринки праці:

Користувач: “Чи можете ви коротко пояснити концепцію штучного інтелекту?”

ChatGPT: “Штучний інтелект, або AI, відноситься до здатності машини імітувати розумну поведінку людини. Це про проектування машин, які можуть думати та вивчати, як люди, дозволяючи їм виконувати завдання, такі як переклад мови, прийняття рішень та розв’язування проблем, серед іншого.”

Користувач: “Як AI впливає на сучасний ринок праці?”

ChatGPT: “AI як створює нові робочі місця, так і змінює існуючі. З одного боку, це автоматизує повторювані завдання, що призводить до втрати робочих місць у певних секторах. З іншого боку, це створює попит на ролі, які раніше не існували, наприклад офіцери з питань штучного інтелекту, аналітики даних та інженери з навчання моделей. Крім того, AI може доповнювати людські ролі, дозволяючи людям виконувати завдання більш ефективно та точно.”

Ланцюгова промптація включає прогресію пов’язаних промптів, підтримуючи “розмову” з моделлю, яка спрямовує її до більш точних та контекстно-придатних відповідей.

Розуміння API ChatGPT та інженерії промпта з точки зору розробника

З точки зору розробника чи дослідника інженерія промпта – це більш складний процес. Він включає проектування алгоритмів та технік для допомоги моделі штучного інтелекту зрозуміти та відповісти на промпти більш ефективно. Це може включати стратегії для обробки неоднозначних промптів, визначення контексту промптів або ланцюжка промптів для стимуляції більш складних мислительних процесів у штучному інтелекті

У наведеному вище зображенні користувач взаємодіє з чат-інтерфейсом, який працює на основі GPT-4. Його вхідні дані покращуються для ясності та контекстної узгодженості спеціалізованим модулем перед тим, як бути поданими моделі штучного інтелекту. Роль цього модуля полягає в тому, щоб уточнити та покращити вхідні дані користувача для кращого розуміння, зберігаючи при цьому контекст розмови. Відповідь штучного інтелекту, створена на основі уточненого промпта, повертається користувачеві через чат-інтерфейс. Історія взаємодії оновлюється послідовно, зберігаючи контекст розмови. Загалом, це зображення ілюструє динамічний потік взаємодії між користувачем та штучним інтелектом, забезпечений інженерією промпта.

Інтерфейс API ChatGPT розроблений з різними гіперпараметрами, які дозволяють користувачам уточнювати відповіді штучного інтелекту на промпти, роблячи їх більш ефективними та універсальними. До них належать параметри температури, максимальної довжини та зупинних послідовностей. Давайте розглянемо, як вони функціонують та можуть бути використані в різних контекстах.

1) Температура

Параметр температури впливає на випадковість відповідей штучного інтелекту. Вища температура, наприклад 1,0, заохочує більш випадкові виходи, що призводить до різноманітних, але потенційно неоднозначних відповідей. З іншого боку, нижча температура, наприклад 0,2, спонукає штучний інтелект вибирати більш детерміновані відповіді, які можуть бути корисними для сфокусованих та конкретних виходів, але можуть не мати різноманітності.

Приклад: Якщо ви пишете творчу історію та хочете непередбачувані, фантастичні елементи, встановіть температуру на вищу значення. Промпт міг би бути: “Напишіть коротку історію про мандрівника у часі-кота.” З високою температурою ви можете отримати дику, фантастичну історію з непередбачуваними поворотами та змінами.

2) Максимальна довжина

Цей параметр контролює максимальну довжину токенів виходу моделі, яка включає як токени у вхідному повідомленні, так і токени у вихідному повідомленні. Встановлення вищого ліміту дозволяє отримувати більш розширені відповіді, тоді як нижчий ліміт тримає вихід коротким та лаконічним.

Приклад: Для коротких відповідей на питання типу “Хто виграв Нобелівську премію з літератури у 2020 році?” ви можете встановити максимальну довжину на низьке значення, забезпечуючи, щоб відповідь була лаконічною та прямою.

3) Зупинні послідовності

Зупинні послідовності – це конкретні рядки тексту, де, коли модель зустрічає їх, вона припиняє генерацію подальших виходів. Ця функція може бути корисною для контролю довжини виходу або інструктування моделі зупинитися на логічних кінцевих точках.

Приклад: Для формального листа ви можете використовувати “З повагою” як зупинну послідовність, щоб штучний інтелект не генерував жодного додаткового тексту після належного закінчення листа.

4) Верхнє P

Параметр “Верхнє P”, також відомий як ядерний зразок, є методом, який забезпечує динамічний вибір кількості слів, які розглядаються на кожному етапі прогнозування моделі. Нижче значення, наприклад 0,5, призводить до більш безпечних та сфокусованих виходів. Вище значення, наприклад 0,9, включає ширший вибір слів, що призводить до більш різноманітних виходів.

Приклад: Якщо ви створюєте штучний інтелект для написання віршів та хочете, щоб він використовував широкий спектр лексики та стилістичних фраз, ви можете встановити “Верхнє P” на вищу величину. Промпт міг би бути: “Складіть вірш про красу осені.”

5) Штраф за частоту

Штраф за частоту контролює, наскільки модель повинна надавати перевагу рідкісним словам. Вище штраф (до 1) заохочує модель використовувати рідкісніші слова, тоді як нижче значення (до -1) заохочує модель використовувати більш поширені слова.

Приклад: Якщо ви генеруєте бізнес-пропозицію та хочете уникнути жаргону, ви можете встановити штраф за частоту на нижче значення, щоб зберегти мову ясною та доступною.

6) Штраф за присутність

Параметр штрафу за присутність впливає на те, наскільки модель повинна бути штрафована за генерацію нових ідей чи тем, які не були присутні в історії взаємодії. Вищі значення заохочують модель дотримуватися тем, які вже були згадані, тоді як нижчі значення дозволяють моделі вводити нові концепції більш вільно.

Приклад: Для мозкових штурмів ви можете встановити штраф за присутність на нижче значення, щоб заохотити різноманітний спектр ідей. Ви можете використовувати промпт типу: “Генеруйте інноваційні маркетингові стратегії для онлайн-платформи освіти.”

Промислове застосування інженерії промпта