Основното ръководство за бързо инженерство в ChatGPT

От стартирането му ChatGPT прави вълни в сферата на ИИ, привличайки над 100 милиона потребители за рекордно време. Тайната на впечатляващата производителност и гъвкавост на ChatGPT се крие в изкуството, фино сгушено в неговото програмиране – бързо инженерство.

Стартирали през 2022 г., DALL-E, MidJourney и StableDiffusion подчертаха разрушителния потенциал на Generative AI. Но то беше Отворете AIChatGPT на 's, който наистина зае централно място по-късно през 2022 г. И тази инерция не показа признаци на забавяне.

Съобщението на Google за Bard намлява Лама на Мета 2  отговорът на OpenAI's ChatGPT значително усили инерцията на надпреварата в AI. Като предоставяме на тези модели информация, ние насочваме тяхното поведение и реакции. Това ни кара всички да сме инженери в определена степен. Технологичната индустрия забеляза. Рисковите капиталисти наливат средства в стартиращи фирми, като се фокусират върху бързо инженерство, като например Vellum AI. Нещо повече, Forbes съобщава, че бързите инженери командват заплати над 300,000 XNUMX долара, което е показател за процъфтяващ и ценен пазар на труда.

В тази статия ще демистифицираме света на бързото инженерство в контекста на ChatGPT. Ще проучим основните принципи и техники и ще разгледаме търговските им приложения.

Нека първо разберем как функционира ChatGPT и основната роля, която бързото инженерство играе в този процес.

Механиката зад бързото инженерство на ChatGPT

Тайният сос зад успеха на ChatGPT е способността му да разбира и имитира нюансите на човешкия разговор. Моделът се обучава върху разнообразен набор от интернет текстове, но най-важното е, че той не познава конкретни документи или източници в набора си за обучение, което гарантира обобщаване вместо специфичност. Този подход на обучение позволява на ChatGPT да генерира креативни отговори, да навигира в сложни диалози и дори да проявява чувство за хумор. Въпреки това е важно да запомните, че ChatGPT не разбира истински или има вярвания; той генерира отговори въз основа на модели, които е научил по време на обучението.

Способността на ChatGPT да разбира и отговаря на човешкия език по нюансиран и съобразен с контекста начин ги прави невероятно гъвкави инструменти.

Механиката на тези модели се основава на концепцията за „токени“ – отделни части от език, които могат да варират от един знак до цяла дума. Тези модели работят с определен брой токени наведнъж (4096 за GPT-3.5-Turbo или 8192 или 32768 за GPT-4), предвиждайки следващата последователност от вероятни токени. Моделите обработват токените с помощта на сложна линейна алгебра, като прогнозират най-вероятния следващ токен.

Например едно просто изречение от девет думи може да се превърне в десет токена. Дори една сложна дума може да се превърне в множество токени, което помага на модела да разбере по-добре и генерира език. Дори езици със сложни структури на думите, като немски, се управляват чрез токенизация.

GPT (Generative Pre-trained Transformer) модели работят, като генерират един токен наведнъж, започвайки от първия токен и продължавайки до последния. След генериране на всеки токен, моделът преглежда цялата последователност и я обработва отново, за да генерира следващия токен. Този итеративен процес продължава, докато се генерира крайният токен, което прави генерирането на текст подобно на голям for-цикъл.

Но тук е уловката – качеството на тези отговори до голяма степен зависи от подканите, които получава. Точно като управлението на разговор с човек, воденето на диалог с ChatGPT изисква определено ниво на умения и разбиране. Това е мястото, където бързото инженерство влиза в игра.

Какво е бързо инженерство?

Бързото инженерство е изкуството да се създават точни, ефективни подкани/входни данни за насочване на AI (НЛП/Vision) модели като ChatGPT към генериране на най-рентабилните, точни, полезни и безопасни резултати.

Бързото инженерство не се ограничава само до генериране на текст, но има широкообхватни приложения в областта на AI. Все повече се използва в области като роботизирани ботове за автоматизация на процеси, 3D активи, скриптове, инструкции за роботи и други видове съдържание и цифрови медии. Той осигурява уникална комбинация от логика, кодиране, изкуство и в определени случаи специални модификатори.

Въпреки че подканата може да включва текст на естествен език, изображения или други типове входни данни, изходът може да варира значително в различните услуги и инструменти на AI. Всеки инструмент има свои специални модификатори, които описват тежестта на думите, стиловете, перспективите, оформлението или други свойства на желания отговор.

Това поле е от съществено значение за създаването на по-добри услуги, задвижвани от AI, и получаването на превъзходни резултати от съществуващите генериращи AI инструменти. Корпоративните разработчици, например, често използват бързо инженерство, за да приспособят големи езикови модели (LLM) като GPT-3, за да захранват лице, обърнато към клиента чатбота или да се справят със задачи като създаване на специфични за индустрията договори.

Този итеративен процес на бързо усъвършенстване и измерване на производителността на ИИ е ключов елемент в позволяването на моделите на ИИ да генерират силно насочени, полезни отговори в различни контексти.

Да станете бърз инженер

Мощността на модела GPT-4 в разбирането на сложни инструкции и прецизното решаване на сложни проблеми го прави безценен ресурс. Съществуват обаче различни методи за достъп до възможностите на този модел и разбирането им може да бъде от решаващо значение за ролята на бързия инженер при оптимизиране както на ефективността, така и на рентабилността.

По същество има два начина за ангажиране с GPT модели като GPT-4. Един от начините е чрез API на OpenAI, където разходите се изчисляват на входни и изходни токени. При този сценарий разходите за 1K токени могат да варират в зависимост от размера на контекста. Например, в по-голям контекст от 32K, цената може да достигне до $0.06 за входни токени и $0.12 за изходни токени. По този начин, когато обработвате голям обем от заявки, разходите за използване могат бързо да се натрупат.

Като алтернатива, ChatGPT, който използва модела GPT-4, работи на модел, базиран на абонамент.

Друга ключова задача при бързото инженерство включва настройка на параметрите на модела. Този процес включва коригиране на променливите, които моделът използва, за да прави прогнози. Чрез фина настройка на тези параметри, бързите инженери могат да подобрят качеството и точността на отговорите на модела, правейки ги по-подходящи за контекста и полезни.

Въпреки че много бързи инженери идват от технологична среда, мултидисциплинарният характер на областта я прави достъпна за хора от различни професионални среди. Все по-често писатели, изследователи и дори художници използват уникалните си умения, за да подобрят ефикасността на AI моделите. Тази промяна се отразява и на пазара на труда, като все по-голям брой компании търсят бързи инженери с разнообразни умения и опит.

Бърз дизайн и инженеринг в ChatGPT

Бързото проектиране и инженерство играят критична роля за оптимизиране на работата на езиковите модели и включват повече от просто създаване на въпроси; те изискват задълбочено разбиране на AI модела и силно итеративен и прецизиран подход.

Бърз дизайн

Бързото проектиране в основата си е изкуството и науката за създаване на перфектната подкана за даден голям езиков модел (LLM), като ChatGPT, за постигане на ясно заявена цел. Това е смес от:

• Разбиране на LLM: Различните езикови модели могат да реагират различно на една и съща подкана. Освен това определени езикови модели могат да имат уникални ключови думи или тригери, които интерпретират по специфичен начин.
• Познаване на домейна: Експертният опит в съответната област е от решаващо значение при проектирането на подкани. Например, генерирането на подкана за извеждане на медицинска диагноза би изисквало медицински познания.
• Итеративен подход и измерване на качеството: Процесът на създаване на идеалната подкана често включва проба и грешка. Следователно наличието на начин за оценка на качеството на изхода отвъд субективната преценка е жизненоважно, особено когато използвате подканата в по-голям мащаб.

Бърз инженеринг

Бързото инженерство е разширено царство на бързото проектиране, което включва няколко критични процеса:

• Проектиране на подкани в мащаб: Този процес включва проектиране на мета подкани (подкани, които генерират други подкани) и шаблони за подкани, които са параметризирани подкани, които могат да бъдат инстанцирани по време на изпълнение.
• Дизайн и интеграция на инструменти: Подканите понякога могат да включват резултати от външни инструменти и безпроблемното интегриране на тези инструменти в системата е от решаващо значение.
• Работен процес, планиране и управление на подкани: Внедряването на LLM приложение, подобно на чатбот, често изисква управление на библиотеки от подкани, планиране и избор на правилните подкани и ефективно интегриране на различни инструменти.
• Оценка и осигуряване на качеството на подканите: Този аспект включва дефиниране на показатели и процеси за оценка на подканите както автоматично, така и с човешко участие.
• Оптимизация на подканата: Цената и латентността на AI модела могат да зависят от избора на модела и дължината на подканата (брой токени).

Разработени са много автоматизирани подходи, инструменти и рамки за проектиране на подкани за управление на подкани в мащаб. Важно е обаче да разберете, че нито един от тези инструменти не може да замени нюансираното разбиране, преценка и опит на опитен бърз инженер.

Бърз инженеринг: техники и най-добри практики

1) Бързо разположение и описание

Поставянето на инструкции в началото на подканата може значително да повлияе на разбирането и реакцията на AI. Помислете за задачата за обобщаване на текст във формат с водещи точки. По-малко ефективен подход би бил:

Потребител: Обобщете текста по-долу като списък с водещи точки с най-важните точки.
{въведен текст тук}

От друга страна, по-ефективна техника може да бъде:

Потребител: Обобщете текста по-долу като списък с водещи точки с най-важните точки.
Текст: """
{въведен текст тук}
„“

Чрез ясно разделяне на инструкциите и контекста със символи като ### или „””, AI моделът може по-добре да очертае своята задача и текста, който трябва да обработи, като по този начин дава по-точни и подходящи отговори.

Второ, да бъдеш специфичен, описателен и подробен за контекста, очаквания резултат, дължината, формата, стила и т.н., може значително да подобри прецизността на отговорите на AI. Да предположим, че трябва да генерирате кратък преглед на научна статия в увлекателен, лесен за неспециалисти стил. Една неясна инструкция като „Резюмирайте научната статия“ би довела до по-малко ефективни резултати в сравнение с конкретна, подробна подкана:

Потребител: Генерирайте кратко (приблизително 200 думи), ангажиращо резюме на следната научна статия. Резюмето трябва да е разбираемо за някой без научна подготовка, като същевременно отразява точно основните констатации на документа.
Хартия: “””
{текст на научна статия тук}
„“

2) Модел на личността

Моделът на личността е стратегия, която настройва AI да функционира от определена гледна точка, като например професионална роля или измислен герой. Тази тактика позволява на модела да предоставя резултати, свързани със специфичните роли, които личността би изпълнявала. Например, човек може да инструктира AI да действа като експерт по киберсигурност по време на преглед на кода. Този модел е особено полезен, когато потребителите се нуждаят от помощ, но не са сигурни за точните подробности, изисквани в изхода.

Вземете следното като пример:

Потребител: „Приемете личността на старши историк, специализиран във Френската революция. Имайки предвид тази личност, обяснете ключовите събития и причините, довели до падането на френската монархия.

При този сценарий се очаква AI да отговори със задълбочен анализ на Френската революция, като се фокусира върху падането на монархията, както би направил един историк.

Представяне на нова информация

ChatGPT не притежава знания отвъд границата на обучението си, следователно не може да предостави информация за скорошни събития или актуализации след обучението си. Можете обаче да въведете нова информация в модела чрез вашите подкани.

Потребител: „Какво е криптовалута?“
ChatGPT: „Криптовалутата е вид цифрова или виртуална валута, която използва криптография за сигурност. Най-известната криптовалута е биткойн.

Сега, ако добавим малко повече контекст към подканата, можем да направим обяснението още по-интуитивно:

Потребител: „Обяснете концепцията за криптовалута на гимназист, изучаващ цифрови финанси“
ChatGPT: „Представете си, че играете онлайн видео игра и има пари от играта, които можете да спечелите, за да купите надстройки или нови герои. Криптовалутата е нещо подобно, но вместо да бъде ограничена до играта, можете всъщност да я използвате, за да купувате стоки и услуги от реалния свят. Това е като цифрови пари, които никоя банка или правителство не контролира.

3) Бързи ограничения на размера

Разбирането на ограничението на размера на ChatGPT е от съществено значение, тъй като пряко влияе върху обема и типа информация, която можем да въведем. Езиковите модели не са създадени да обработват неограничени данни наведнъж. Те имат присъщо ограничение върху размера на подканата, която можем да създадем и въведем. Това ограничение има дълбоки последици за дизайна и изпълнението на подканите.

ChatGPT има ограничение за токени (обикновено 2048 токена), което включва както подканата, така и генерирания отговор. Това означава, че дългите подкани могат да ограничат дължината на отговора. Ето защо е важно подканите да са кратки, но информативни.

При практическа употреба трябва да действаме като редактори, избирайки селективно най-подходящата информация за поставената задача. Представете си, че пишете документ или статия с ограничение на дума или страница – не можете просто да изхвърляте произволни факти, но внимателно да подбирате и структурирате информация, подходяща за темата.

Потребител: „Предвид ограниченията на модела, обобщете ключовите събития от Втората световна война с по-малко от 1000 думи.“

Като признава ограниченията на символите на модела, тази подкана насочва AI да предостави кратко, но изчерпателно резюме на Втората световна война.

Подкани за многократна употреба: В разговорен сценарий можете да използвате повторно подканите или да ги прецизирате въз основа на предишни отговори. Това дава разговорен поток и поддържа контекста във взаимодействието.

4) Модел за прецизиране на въпроса

ChatGPT също може да помогне за прецизиране на вашите въпроси. Например, ако зададете въпрос, той може да предложи по-добре формулиран въпрос за по-точни резултати.

Моделът за уточняване на въпроси включва LLM прецизиране на въпросите, зададени от потребителя. Това е особено полезно, когато потребителите не са експерти в дадена област или не са сигурни как да формулират въпроса си.

Примерна подкана може да изглежда така:

Потребител: „Винаги, когато задам въпрос относно науката за данните, предложете по-прецизен въпрос, като вземете предвид спецификата на статистическия анализ и ме попитайте дали искам да продължа с прецизния въпрос.“

Тук се очаква изкуственият интелект да прецизира общите въпроси за науката на данните на потребителя до по-подробни въпроси, като се вземат предвид аспектите на статистическия анализ.

5) Модел на когнитивен верификатор

Моделът на когнитивния верификатор разбива сложните въпроси на по-малки, управляеми подвъпроси. След това отговорите на тези подвъпроси се комбинират, за да осигурят изчерпателен отговор на основния въпрос. Този подход е полезен, когато първоначалните въпроси са на твърде високо ниво или когато е необходима допълнителна яснота, за да се даде пълен отговор.

Например:

Потребител: „Ако задам въпрос относно изменението на климата, разбийте го на три по-малки въпроса, които ще ви помогнат да дадете по-точен отговор. Комбинирайте отговорите на тези подвъпроси, за да дадете окончателния отговор.“

В този сценарий AI ще разбие сложния въпрос за изменението на климата на три управляеми подвъпроса. След като получи отговори на тези подвъпроси, AI ще ги комбинира, за да предостави по-изчерпателен и точен отговор.

Този модел включва генериране на множество въпроси за получаване на по-точен краен отговор. Това е процес на проверка и консолидиране на информация за стабилен краен резултат

6) Подсказващ подход с няколко удара

Подсказването с няколко изстрела е мощен подход за обучение на AI модели да следват конкретни модели или да изпълняват задачи. Идеята е да захраните модела с няколко примера, преди да зададете желания въпрос. Това помага да се зададе желаното поведение и да се насочат реакциите на модела.

Помислете за сценарий, при който потребител се опитва да начертае сбито, завладяващо маркетингово копие за нова технологична джаджа:

Потребител: „Ето няколко примера за технологични маркетингови копия: „Изживейте музиката както никога досега с нашите авангардни безжични слушалки.“ „Уловете своя свят в зашеметяващо 4K с нашата ултра-елегантна екшън камера.“ Имайки предвид тези примери, изгответе маркетингово копие за нашия нов смарт часовник, захранван с AI.“

ChatGPT: „Подсилете силата на начина си на живот с нашия захранван с AI смарт часовник, вашият спътник за здраве, свързаност и продуктивност.“ Забележителната характеристика на обучението с няколко изстрела е, че то не изисква подробно описание на това как да се изпълни задачата. Вместо това, той изисква демонстрации на това, което се прави, което може да го направи подходящ за много приложения.

Освен това тази техника се простира отвъд обикновеното сдвояване на входно-изходни данни. Моделът може също да бъде научен да се справя с междинни стъпки за постигане на цел.

7) Подсказване по веригата на мислите

В скорошната си изследователска статия, „Подсказването на веригата от мисли предизвиква разсъждение в големи езикови модели” авторите Джейсън Уей и екипът имат за цел да стимулират разсъжденията в рамките на големи езикови модели. Вместо да използва традиционни, директни подкани, екипът използва серия от взаимосвързани подкани, образувайки „верига от мисли“.

Например, потребител може да се интересува от потенциалното въздействие на изкуствения интелект върху пазарите на труда:

Потребител: „Бихте ли обяснили накратко концепцията за изкуствен интелект?“

ChatGPT: „Изкуственият интелект или AI се отнася до способността на машината да имитира интелигентно човешко поведение. Става въпрос за проектиране на машини, които могат да мислят и учат като хората, като им позволяват да изпълняват задачи като езиков превод, вземане на решения и решаване на проблеми, наред с други.“

Потребител: „Как AI влияе на текущия пазар на труда?“

ChatGPT: „ИИ едновременно създава нови работни места и променя характера на съществуващите. От една страна, той автоматизира рутинни задачи, което води до изместване на работа в определени сектори. От друга страна, това създава търсене на роли, които не са съществували преди, като служители по етиката на AI, анализатори на данни и инженери по машинно обучение. Освен това AI може да разшири човешките роли, позволявайки на хората да изпълняват задачи по-ефективно и точно.“

Подканянето по веригата на мисли следва прогресия от свързани подкани, поддържайки „разговор“ с модела, който го насочва към по-точни и контекстуално подходящи отговори.

Разбиране на ChatGPT API и бързото инженерство от гледна точка на програмиста

От гледна точка на разработчика или изследователя бързото инженерство е по-сложен процес. Това включва проектиране на алгоритми и техники, които да помогнат на AI модела да разбере и да отговори на подканите по-ефективно. Това може да включва стратегии за обработка на нееднозначни подкани, идентифициране на контекста на подканите или свързване на подкани заедно, за да стимулира по-сложни мисловни процеси в AI

В горната илюстрация потребител взаимодейства с интерфейс за чат, захранван от GPT-4. Техният вход се подобрява за яснота и контекстуална последователност от специализиран модул, преди да бъде подаден към AI модела. Ролята на този модул е ​​да прецизира и подобри въведеното от потребителя за по-добро разбиране, като същевременно поддържа контекста на разговора. Отговорът на AI, създаден въз основа на усъвършенстваната подкана, се връща на потребителя чрез интерфейса за чат. Историята на взаимодействието се актуализира последователно, поддържайки контекста на разговора. Като цяло тази диаграма илюстрира динамичен поток на разговори между потребител и AI, активиран от бързи инженерни техники.

- API на ChatGPT интерфейсът е проектиран с различни хиперпараметри, които позволяват на потребителите да прецизират отговорите на AI на подканите, което ги прави по-ефективни и гъвкави. Те включват параметрите за температура, максимална дължина и последователности на спиране. Нека проучим как те функционират и могат да бъдат използвани в различни контексти.

1) Температура

Температурният параметър влияе върху случайността на отговорите на AI. По-висока температура, като 1.0, насърчава повече случаен изход, което води до разнообразни, но потенциално извън темата отговори. Обратно, по-ниска температура, като 0.2, подтиква AI да избира по-детерминистични отговори, което може да бъде от полза за фокусирани и специфични резултати, но може да липсва разнообразие.

Пример: Ако пишете творческа история и искате непредвидими, въображаеми елементи, задайте температурата на по-висока стойност. Подканата може да бъде: „Напишете кратка история за котка, пътуваща във времето.“ При висока температура може да получите дива, фантастична история с непредсказуеми обрати.

2) Максимална дължина

Този параметър контролира максималната дължина на токена на изхода на модела, който включва както токените във входа на съобщението, така и в изхода на съобщението. Задаването на по-висока граница позволява по-разширени отговори, докато по-ниската граница поддържа резултата кратък и сбит.

Пример: За кратки отговори на любопитни въпроси като „Кой спечели Нобеловата награда за литература през 2020 г.?“ може да искате да зададете максималната дължина на ниска стойност, като гарантирате, че отговорът е кратък и директен.

3) Стоп последователности

Стоп последователностите са специфични низове от текст, където, когато моделът ги срещне, той престава да генерира по-нататъшен изход. Тази функция може да бъде полезна за контролиране на дължината на изхода или за инструктиране на модела да спре в логически крайни точки.

Пример: За официално писмо можете да използвате „С уважение“ като спираща последователност, за да сте сигурни, че AI не генерира допълнителен текст извън правилния край на писмото.

4) Горна P

Параметърът „Top P“, известен също като вземане на проби от ядро, е метод, който осигурява динамичен избор на броя думи, разглеждани на всяка стъпка от прогнозите на модела. По-ниска стойност, като 0.5, води до по-безопасни, по-фокусирани резултати. По-висока стойност, като 0.9, включва по-широк избор от думи, което води до по-разнообразни резултати.

Пример: Ако създавате AI за писане на стихотворения и искате той да използва широк набор от лексика и стилистични фрази, можете да зададете „Top P“ на по-висока стойност. Подканата може да бъде: „Съставете стихотворение за красотата на есента.“

5) Наказание за честота

Frequency Penalty контролира колко моделът трябва да предпочита по-рядко срещаните думи. По-високо наказание (до 1) насърчава модела да използва по-рядко срещани думи, докато по-ниска стойност (до -1) насърчава модела да използва по-често срещани думи.

Пример: Ако се опитвате да генерирате бизнес предложение и искате да избегнете жаргона, може да зададете по-ниска стойност на наказанието за честота, за да поддържате езика ясен и достъпен.

6) Наказание за присъствие

Параметърът „Наказание за присъствие“ влияе върху това колко ще бъде наказан моделът за генериране на нови идеи или теми, които не присъстват в хронологията на разговорите. По-високите стойности насърчават модела да се придържа към вече споменатите теми, докато по-ниските стойности позволяват на модела да въвежда нови концепции по-свободно.

Пример: За сесии за мозъчна атака можете да зададете наказанието за присъствие на по-ниска стойност, за да насърчите разнообразен набор от идеи. Можете да използвате подкана като „Генерирайте иновативни маркетингови стратегии за онлайн образователна платформа“.

Индустриално приложение на бързото инженерство