Основний посібник із швидкої розробки в ChatGPT

З моменту його запуску ChatGPT набула популярності у сфері штучного інтелекту, залучивши понад 100 мільйонів користувачів за рекордний час. Секрет вражаючої продуктивності та універсальності ChatGPT полягає в мистецтві, тонко вкладеному в його програмування – швидкому проектуванні.

DALL-E, MidJourney і StableDiffusion, запущені в 2022 році, підкреслили руйнівний потенціал Generative AI. Але це було Відкрити AIChatGPT, який справді зайняв центральне місце пізніше у 2022 році. І цей імпульс не мав жодних ознак сповільнення.

Анонс Google Bard та Ламма Мети 2  Відповідь на ChatGPT OpenAI значно посилила імпульс гонки ШІ. Надаючи цим моделям дані, ми керуємо їхньою поведінкою та відповідями. Це певною мірою робить усіх нас інженерами підказок. Технологічна індустрія звернула увагу на це. Венчурні капіталісти вливають кошти в стартапи, зосереджуючись на оперативному проектуванні, наприклад Велум А.І. Більш того, Forbes повідомляє, що підкажуть інженери команди зарплата перевищує 300,000 XNUMX доларів США, що свідчить про процвітаючий і цінний ринок праці.

У цій статті ми демістифікуємо світ оперативного проектування в контексті ChatGPT. Ми вивчимо основні принципи та методи, а також розглянемо їх комерційне застосування.

Давайте спочатку зрозуміємо, як функціонує ChatGPT і яку ключову роль у цьому процесі відіграє підказка.

Механіка оперативного проектування ChatGPT

Секрет успіху ChatGPT полягає в його здатності розуміти та імітувати нюанси людської розмови. Модель навчається на різноманітних Інтернет-текстах, але, що важливо, вона не знає конкретних документів або джерел у своєму навчальному наборі, забезпечуючи узагальнення замість конкретності. Такий підхід до навчання дозволяє ChatGPT генерувати творчі відповіді, орієнтуватися в складних діалогах і навіть проявляти почуття гумору. Однак важливо пам’ятати, що ChatGPT насправді не розуміє та не має переконань; він генерує відповіді на основі шаблонів, вивчених під час навчання.

Здатність ChatGPT розуміти людську мову та реагувати на неї деталізовано та з урахуванням контексту робить їх неймовірно універсальними інструментами.

Механіка цих моделей базується на концепції «токенів» — окремих фрагментів мови, які можуть варіюватися від одного символу до цілого слова. Ці моделі працюють із певною кількістю токенів одночасно (4096 для GPT-3.5-Turbo або 8192 або 32768 для GPT-4), передбачаючи наступну послідовність ймовірних токенів. Моделі обробляють токени за допомогою складної лінійної алгебри, передбачаючи найбільш ймовірний наступний токен.

Наприклад, просте речення з дев'яти слів може перетворитися на десять токенів. Навіть одне складне слово може перетворитися на кілька токенів, що допомагає моделі краще розуміти та генерувати мову. Навіть мовами зі складною структурою слів, як-от німецька, можна керувати за допомогою токенізації.

Моделі GPT (Generative Pre-trained Transformer) працюють, генеруючи один маркер за раз, починаючи з першого маркера й продовжуючи до останнього. Після генерації кожного маркера модель переглядає всю послідовність і обробляє її знову, щоб створити наступний маркер. Цей ітеративний процес триває, доки не буде згенеровано остаточний маркер, що робить генерацію тексту подібною до великого циклу for.

Але тут є заковика – якість цих відповідей значною мірою залежить від підказок, які він отримує. Так само, як керування розмовою з людиною, керування діалогом із ChatGPT вимагає певного рівня навичок і розуміння. Ось тут і вступає в дію оперативне проектування.

Що таке Prompt Engineering?

Prompt Engineering — це мистецтво створення точних, ефективних підказок/введення для керівництва ШІ (НЛП/Vision) моделі, такі як ChatGPT, спрямовані на створення найбільш економічно ефективних, точних, корисних і безпечних результатів.

Швидка інженерія не обмежується лише генеруванням тексту, але має широке застосування в області ШІ. Він все частіше використовується в таких сферах, як роботизовані роботи для автоматизації процесів, 3D-ресурси, сценарії, інструкції роботів та інші типи вмісту та цифрових медіа. Він забезпечує унікальне поєднання логіки, кодування, мистецтва та, у деяких випадках, спеціальних модифікаторів.

Хоча підказка може включати текст природною мовою, зображення або інші типи вхідних даних, результати можуть суттєво відрізнятися в різних службах і інструментах ШІ. Кожен інструмент має свої спеціальні модифікатори, які описують вагу слів, стилів, перспектив, компонування або інших властивостей бажаної відповіді.

Це поле має важливе значення для створення кращих сервісів на основі ШІ та отримання чудових результатів від існуючих генеративних інструментів ШІ. Наприклад, корпоративні розробники часто використовують оперативне проектування, щоб адаптувати великі мовні моделі (LLM), як-от GPT-3, для роботи з клієнтами. Chatbot або виконувати такі завдання, як створення галузевих контрактів.

Цей ітеративний процес швидкого вдосконалення та вимірювання продуктивності штучного інтелекту є ключовим елементом, який дозволяє моделям штучного інтелекту генерувати чітко цілеспрямовані корисні відповіді в різних контекстах.

Стати швидким інженером

Спроможність моделі GPT-4 у розумінні складних інструкцій і точному вирішенні складних задач робить її безцінним ресурсом. Однак існують різні методи доступу до можливостей цієї моделі, і розуміння їх може мати вирішальне значення для швидкої ролі інженера в оптимізації як ефективності, так і економічної ефективності.

По суті, існує два способи взаємодії з такими моделями GPT, як GPT-4. Одним із способів є API OpenAI, де витрати розраховуються за токени введення та виведення. У цьому сценарії витрати на 1K токенів можуть коливатися залежно від розміру контексту. Наприклад, у великому контексті 32K вартість може зрости до 0.06 доларів США за вхідні токени та 0.12 доларів США за вихідні токени. Таким чином, при обробці великого обсягу запитів витрати на використання можуть швидко накопичуватися.

Крім того, ChatGPT, який використовує модель GPT-4, працює на основі моделі підписки.

Ще одним ключовим завданням оперативного проектування є налаштування параметрів моделі. Цей процес передбачає коригування змінних, які модель використовує для прогнозування. Тонко налаштовуючи ці параметри, розробники підказок можуть покращити якість і точність відповідей моделі, зробивши їх більш релевантними та корисними для контексту.

Хоча багато оперативних інженерів мають технічний досвід, міждисциплінарний характер цієї галузі робить її доступною для людей із різним професійним рівнем. Письменники, дослідники та навіть художники все частіше використовують свої унікальні навички для підвищення ефективності моделей ШІ. Ця зміна також відображена на ринку праці, де зростає кількість компаній, які шукають оперативних інженерів із різноманітними навичками та досвідом.

Оперативний дизайн і розробка в ChatGPT

Швидке проектування та розробка відіграють вирішальну роль в оптимізації продуктивності мовних моделей і передбачають більше, ніж просто створення питань; вони вимагають глибокого розуміння моделі штучного інтелекту та високоітераційного та вдосконаленого підходу.

Оперативний дизайн

Розробка підказок, по суті, є мистецтвом і наукою створення ідеальної підказки для даної великої мовної моделі (LLM), як-от ChatGPT, для досягнення чітко сформульованої мети. Це суміш:

• Розуміння LLM: різні мовні моделі можуть по-різному реагувати на одну і ту саму підказку. Крім того, певні мовні моделі можуть мати унікальні ключові слова або тригери, які вони інтерпретують певним чином.
• Знання домену: досвід у відповідній галузі є вирішальним при розробці підказок. Наприклад, для створення підказки для встановлення медичного діагнозу потрібні медичні знання.
• Ітеративний підхід і вимірювання якості: процес створення ідеального підказки часто включає проб і помилок. Таким чином, наявність способу оцінки якості виходу за межі суб’єктивного судження є життєво важливою, особливо при використанні підказки у більшому масштабі.

Оперативна інженерія

Швидке проектування – це розширена сфера оперативного проектування, яка включає кілька критичних процесів:

• Розробка підказок у масштабі: цей процес включає розробку мета-підказок (підказок, які генерують інші підказки) і шаблонів підказок, які є параметризованими підказками, екземпляри яких можна створити під час виконання.
• Розробка та інтеграція інструментів: підказки іноді можуть включати результати зовнішніх інструментів, і бездоганна інтеграція цих інструментів у систему є надзвичайно важливою.
• Робочий процес, планування та керування підказками: розгортання програми LLM, як-от чат-бота, часто вимагає керування бібліотеками підказок, планування та вибору правильних підказок, а також ефективної інтеграції різних інструментів.
• Оцінка та забезпечення якості підказок: цей аспект включає визначення показників і процесів для оцінки підказок як автоматично, так і за участю людини.
• Оптимізація підказки: вартість і затримка моделі AI можуть залежати від вибору моделі та довжини підказки (кількості маркерів).

Було розроблено багато автоматизованих підходів до розробки підказок, інструментів і інфраструктур для керування підказками в масштабі. Однак важливо розуміти, що жоден із цих інструментів не може замінити детальне розуміння, судження та досвід досвідченого інженера швидкої обробки.

Швидке проектування: методи та найкращі практики

1) Швидке розміщення та опис

Розміщення інструкцій на початку підказки може значно вплинути на розуміння та реакцію штучного інтелекту. Розглянемо завдання конспектувати текст у форматі маркерів. Менш ефективним підходом буде:

користувач: Узагальніть наведений нижче список найважливіших пунктів.
{введення тексту тут}

З іншого боку, більш ефективним прийомом може бути:

користувач: Узагальніть наведений нижче список найважливіших пунктів.
Текст: “””
{введення тексту тут}
"" "

Завдяки чіткому розділенню інструкцій і контексту за допомогою таких символів, як ### або «»», модель штучного інтелекту може краще окреслити своє завдання та текст, який їй потрібно обробити, таким чином надаючи більш точні та відповідні відповіді.

По-друге, конкретність, опис і деталізація контексту, очікуваного результату, тривалості, формату, стилю тощо можуть значно підвищити точність відповідей ШІ. Припустімо, вам потрібно створити короткий огляд наукової статті в привабливому стилі, зручному для неспеціаліста. Розпливчаста інструкція на зразок «Підведіть підсумок наукової статті» дасть менш ефективні результати порівняно з конкретною детальною підказкою:

користувач: Створіть коротке резюме (приблизно 200 слів), захоплююче резюме наступної наукової статті. Резюме повинно бути зрозумілим для тих, хто не має наукового досвіду, але водночас точно відображати ключові висновки статті.
Папір: “””
{тут текст наукової роботи}
"" "

2) Шаблон персони

Шаблон «Персона» — це стратегія, яка налаштовує ШІ на роботу з певної точки зору, наприклад професійної ролі чи вигаданого персонажа. Ця тактика дозволяє моделі надавати результати, пов’язані з конкретними ролями, які виконує персона. Наприклад, можна доручити штучному інтелекту виконувати роль експерта з кібербезпеки під час перевірки коду. Цей шаблон особливо корисний, коли користувачам потрібна допомога, але вони не впевнені щодо точних деталей, необхідних для виведення.

Візьміть наступне як приклад:

користувач: «Прийміть образ старшого історика, який спеціалізується на Французькій революції. Враховуючи цю особу, поясніть ключові події та причини, що призвели до падіння французької монархії».

У цьому сценарії очікується, що штучний інтелект відповість глибоким аналізом Французької революції, зосередившись на падінні монархії, як це зробив би історик.

Введення нової інформації

ChatGPT не володіє знаннями за межами свого навчання, тому він не може надати інформацію про останні події чи оновлення після навчання. Однак ви можете ввести нову інформацію в модель за допомогою підказок.

користувач: «Що таке криптовалюта?»
ChatGPT: «Криптовалюта — це тип цифрової або віртуальної валюти, яка використовує криптографію для безпеки. Найвідомішою криптовалютою є біткоін».

Тепер, якщо ми додамо трохи більше контексту до підказки, ми зможемо зробити пояснення ще більш інтуїтивно зрозумілим:

користувач: «Поясніть концепцію криптовалюти старшокласнику, який вивчає цифрові фінанси»
ChatGPT: «Уявіть, що ви граєте в онлайн-відеогру, і є ігрові гроші, які ви можете заробити, щоб купити оновлення або нових персонажів. Криптовалюта схожа на те, але замість того, щоб обмежуватися грою, ви можете використовувати її для покупки реальних товарів і послуг. Це як цифрові гроші, які не контролює жоден банк чи уряд».

3) Швидке обмеження розміру

Важливо розуміти обмеження розміру ChatGPT, оскільки воно безпосередньо впливає на обсяг і тип інформації, яку ми можемо ввести. Мовні моделі не створені для обробки необмеженої кількості даних одночасно. Вони мають невід'ємне обмеження щодо розміру підказки, яку ми можемо створити та ввести. Це обмеження має серйозні наслідки для розробки та виконання підказок.

ChatGPT має ліміт токенів (зазвичай 2048 токенів), який включає як підказку, так і згенеровану відповідь. Це означає, що довгі підказки можуть обмежити довжину відповіді. Тому важливо, щоб підказки були лаконічними, але інформативними.

У практичному використанні ми повинні діяти як редактори, вибірково вибираючи найбільш релевантну інформацію для поставленого завдання. Уявіть собі, що ви пишете статтю чи статтю з обмеженням на кількість слів чи сторінок – ви не можете просто викидати випадкові факти, але ретельно відбираєте та структуруєте інформацію, що стосується теми.

користувач: «Враховуючи обмеження моделі, узагальніть ключові події Другої світової війни менш ніж у 1000 слів».

Визнаючи обмеження маркерів моделі, ця підказка спрямовує ШІ надати стислий, але вичерпний підсумок Другої світової війни.

Підказки для повторного використання: у сценарії розмови ви можете повторно використовувати підказки або вдосконалювати їх на основі попередніх відповідей. Це забезпечує потік розмови та підтримує контекст у взаємодії.

4) Шаблон уточнення запитання

ChatGPT також може допомогти уточнити ваші запитання. Наприклад, якщо ви ставите запитання, воно може запропонувати краще сформульоване питання для точніших результатів.

Шаблон уточнення запитань передбачає уточнення LLM запитань, поставлених користувачем. Це особливо корисно, коли користувачі не є експертами в певній галузі або не знають, як сформулювати своє запитання.

Приклад підказки може виглядати так:

користувач: «Щоразу, коли я ставлю запитання про науку про дані, запропонуйте більш уточнене запитання з урахуванням особливостей статистичного аналізу та запитайте, чи хочу я продовжити уточнене запитання».

Очікується, що тут штучний інтелект уточнить загальні запитання користувача щодо науки про дані до більш детальних питань, що враховують аспекти статистичного аналізу.

5) Патерн когнітивного верифікатора

Шаблон когнітивного верифікатора розбиває складні запитання на менші підзапитання, які можна керувати. Потім відповіді на ці підзапитання об’єднуються, щоб отримати вичерпну відповідь на основне запитання. Цей підхід корисний, коли початкові запитання надто високого рівня або коли для надання повної відповіді потрібна додаткова ясність.

Наприклад:

користувач: «Якщо я ставлю запитання про зміну клімату, розбийте його на три менших питання, які допоможуть вам дати точнішу відповідь. Об’єднайте відповіді на ці підзапитання, щоб отримати остаточну відповідь».

У цьому сценарії штучний інтелект розіб’є складне питання про зміну клімату на три керованих підпитання. Отримавши відповіді на ці підзапитання, ШІ об’єднає їх, щоб надати більш вичерпну та точну відповідь.

Цей шаблон передбачає створення кількох запитань для отримання більш точної остаточної відповіді. Це процес перевірки та консолідації інформації для надійного кінцевого результату

6) Кілька пострілів

Кілька підказок — це потужний підхід для навчання моделей ШІ слідувати певним шаблонам або виконувати завдання. Ідея полягає в тому, щоб нагодувати модель кількома прикладами, перш ніж поставити бажане запитання. Це допомагає встановити бажану поведінку та керувати відповідями моделі.

Розглянемо сценарій, коли користувач намагається написати стислий, переконливий маркетинговий текст для нового технічного гаджета:

користувач: «Ось кілька прикладів технічних маркетингових копій: «Відчуйте музику, як ніколи раніше, з нашими передовими бездротовими навушниками». «Зніміть свій світ у приголомшливому 4K за допомогою нашої надзвичайно витонченої екшн-камери». Враховуючи ці приклади, створіть маркетингову копію для нашого нового розумного годинника на основі штучного інтелекту».

ChatGPT: «Розширення можливостей вашого способу життя за допомогою нашого розумного годинника з технологією штучного інтелекту, вашого супутника для здоров’я, зв’язку та продуктивності». Чудова особливість поодинокого навчання полягає в тому, що воно не потребує детального опису того, як виконувати завдання. Замість цього він потребує демонстрації того, що робиться, що може зробити його придатним для багатьох програм.

Крім того, ця техніка виходить за межі простого сполучення введення-виведення. Модель також можна навчити виконувати проміжні кроки для досягнення мети.

7) Підказка за ланцюжком думок

У своїй недавній дослідницькій статті «Підказка за ланцюгом думок викликає міркування у великих мовних моделях», автори Джейсон Вей і команда прагнуть стимулювати міркування в рамках великих мовних моделей. Замість використання традиційних прямих підказок команда використовує серію взаємопов’язаних підказок, утворюючи «ланцюг думок».

Наприклад, користувача може зацікавити потенційний вплив штучного інтелекту на ринок праці:

користувач: «Не могли б ви коротко пояснити концепцію штучного інтелекту?»

ChatGPT: «Штучний інтелект, або ШІ, означає здатність машини імітувати поведінку розумної людини. Йдеться про розробку машин, які можуть мислити та навчатися як люди, дозволяючи їм виконувати такі завдання, як переклад мови, прийняття рішень і розв’язання проблем тощо».

користувач: «Як ШІ впливає на поточний ринок праці?»

ChatGPT: «ШІ одночасно створює нові робочі місця та змінює природу існуючих. З одного боку, це автоматизує рутинні завдання, що призводить до переміщення робочих місць у певних секторах. З іншого боку, це створює попит на посади, яких раніше не існувало, наприклад, спеціалістів з питань етики ШІ, аналітиків даних та інженерів машинного навчання. Крім того, штучний інтелект може розширювати людські ролі, дозволяючи людям виконувати завдання ефективніше й точніше».

Підказки за ланцюгом думок слідують за послідовністю пов’язаних підказок, підтримуючи «розмову» з моделлю, яка спрямовує її до більш точних і відповідних контексту відповідей.

Розуміння ChatGPT API та Prompt Engineering з точки зору розробника

З точки зору розробника чи дослідника, оперативне проектування є більш складним процесом. Він передбачає розробку алгоритмів і методів, які допомагають моделі штучного інтелекту ефективніше розуміти підказки та реагувати на них. Це може включати стратегії обробки неоднозначних підказок, визначення контексту підказок або об’єднання підказок разом для стимулювання більш складних процесів мислення в ШІ.

На наведеній вище ілюстрації користувач взаємодіє з інтерфейсом чату на базі GPT-4. Їх вхідні дані покращуються для чіткості та контекстуальної узгодженості спеціалізованим модулем перед подачею в модель ШІ. Роль цього модуля полягає в уточненні та покращенні введення користувача для кращого розуміння, а також збереження контексту розмови. Відповідь штучного інтелекту, створена на основі вдосконаленої підказки, повертається користувачеві через інтерфейс чату. Історія взаємодії постійно оновлюється, зберігаючи контекст розмови. Загалом, ця діаграма ілюструє динамічний потік розмов між користувачем і штучним інтелектом, що забезпечується швидкими інженерними методами.

Команда API ChatGPT інтерфейс розроблено з різними гіперпараметрами, які дозволяють користувачам уточнювати відповіді штучного інтелекту на підказки, роблячи їх більш ефективними та універсальними. До них належать параметри «Температура», «Максимальна довжина» та «Послідовність зупинок». Давайте дослідимо, як вони функціонують і як їх можна використовувати в різних контекстах.

1) Температура

Температурний параметр впливає на випадковість відповідей ШІ. Вища температура, наприклад 1.0, заохочує довільніший вихід, що призводить до різноманітних, але потенційно не по темі відповідей. На відміну від цього, нижча температура, наприклад 0.2, спонукає штучний інтелект вибирати більш детерміновані відповіді, що може бути корисним для цілеспрямованих і конкретних результатів, але може бракувати різноманітності.

Приклад: якщо ви пишете творчу історію і хочете непередбачуваних, творчих елементів, встановіть вищу температуру. Підказкою може бути: «Напишіть коротку історію про кота-мандрівника в часі». При високій температурі ви можете отримати дику, фантастичну історію з непередбачуваними поворотами.

2) Максимальна довжина

Цей параметр керує максимальною довжиною маркера виводу моделі, яка включає як маркери у вхідному, так і у вихідному повідомленні. Встановлення вищого ліміту дозволяє отримати більш розширені відповіді, тоді як нижче ліміт забезпечує короткий і лаконічний результат.

Приклад: для коротких відповідей на дрібниці, як-от «Хто отримав Нобелівську премію з літератури у 2020 році?» ви можете встановити низьке значення максимальної довжини, щоб гарантувати, що відповідь буде короткою та прямою.

3) Зупинити послідовності

Послідовності зупинки — це певні рядки тексту, де, коли модель зустрічає їх, вона припиняє генерувати подальший вихід. Ця функція може бути корисною для керування довжиною виведення або для вказівки моделі зупинятися на логічних кінцевих точках.

Приклад: для офіційного листа ви можете використовувати «З повагою» як послідовність зупинки, щоб переконатися, що штучний інтелект не створить жодного додаткового тексту, окрім правильного закінчення листа.

4) Верхній П

Параметр «Top P», також відомий як базова вибірка, — це метод, який забезпечує динамічний вибір кількості слів, які розглядаються на кожному кроці прогнозів моделі. Менше значення, як-от 0.5, призводить до безпечніших і цілеспрямованіших результатів. Більше значення, наприклад 0.9, включає ширший вибір слів, що призводить до більш різноманітних результатів.

Приклад: якщо ви створюєте штучний інтелект для написання віршів і хочете, щоб він використовував широкий набір лексики та стилістичних фраз, ви можете встановити для «Верхнього П» більше значення. Підказкою може бути: «Склади вірш про осінню красу».

5) Штраф за частоту

Frequency Penalty контролює, наскільки модель має надавати перевагу менш частим словам. Вищий штраф (до 1) заохочує модель використовувати менш поширені слова, тоді як нижче значення (до -1) спонукає модель використовувати більше поширених слів.

Приклад: якщо ви намагаєтеся створити ділову пропозицію та хочете уникнути жаргону, ви можете встановити нижче значення покарання за частотою, щоб зберегти мову зрозумілою та доступною.

6) Штраф за присутність

Параметр Presence Penalty впливає на те, наскільки модель буде покарана за створення нових ідей або тем, яких не було в історії розмов. Вищі значення заохочують модель дотримуватися вже згаданих тем, тоді як нижчі значення дозволяють моделі більш вільно вводити нові концепції.

Приклад: для сеансів мозкового штурму ви можете встановити нижче значення штрафу за присутність, щоб заохотити різноманітні ідеї. Ви можете використати підказку на зразок «Створіть інноваційні маркетингові стратегії для онлайн-освітньої платформи».

Галузеве застосування оперативного проектування