Суштински водич за брзо инженерство во ChatGPT

Од нејзиното лансирање, Разговор GPT направи бранови во сферата на вештачката интелигенција, привлекувајќи над 100 милиони корисници во рекордно време. Тајната сос за импресивните перформанси и разновидноста на ChatGPT лежи во уметноста суптилно вгнездена во неговото програмирање - брзото инженерство.

Лансирани во 2022 година, DALL-E, MidJourney и StableDiffusion го истакнаа нарушувачкиот потенцијал на Generative AI. Но, тоа беше Отворете вештачка интелигенцијаChatGPT што навистина го зазеде централното место подоцна во 2022 година. И овој моментум не покажа знаци на забавување.

Објавата на Google за Бард  Лама 2 на Мета  одговорот на ChatGPT на OpenAI значително го засили моментумот на трката со вештачка интелигенција. Со обезбедување на влезови на овие модели, ние го водиме нивното однесување и одговори. Ова нè тера сите нас да ги поттикнеме инженерите до одреден степен. Технолошката индустрија забележа. Капиталистите вложуваат средства во стартапи кои се фокусираат на брзо инженерство, како Велум АИ. Згора на тоа, Форбс известува дека брзата инженерска команда плати над 300,000 долари, што укажува на просперитетен и вреден пазар на труд.

Во оваа статија, ќе го демистифицираме светот на брзото инженерство во контекст на ChatGPT. Ќе ги истражиме основните принципи и техники и ќе ги испитаме нивните комерцијални апликации.

Ајде прво да разбереме како функционира ChatGPT и клучната улога што ја игра брзата инженерство во овој процес.

Механиката зад брзото инженерство на ChatGPT

Тајната сос зад успехот на ChatGPT е неговата способност да ги разбере и имитира нијансите на човечкиот разговор. Моделот е обучен за разновиден опсег на текстови на Интернет, но најважно е што не познава конкретни документи или извори во неговиот сет за обука, што обезбедува генерализација над специфичноста. Овој пристап за обука му овозможува на ChatGPT да генерира креативни одговори, да се движи во сложени дијалози, па дури и да покаже смисла за хумор. Сепак, важно е да се запамети дека ChatGPT навистина не разбира или има верувања; генерира одговори врз основа на обрасците што ги научил за време на обуката.

Способноста на ChatGPT да разбере и да одговори на човечкиот јазик на нијансиран и свесен за контекстот начин ги прави неверојатно разновидни алатки.

Механиката на овие модели се потпира на концептот на „токени“ - дискретни парчиња јазик што може да се движат од еден знак до цел збор. Овие модели работат со одреден број токени во исто време (4096 за GPT-3.5-Turbo или 8192 или 32768 за GPT-4), предвидувајќи ја следната низа на веројатни токени. Моделите ги обработуваат токените користејќи сложена линеарна алгебра, предвидувајќи го најверојатниот последователен токен.

На пример, едноставна реченица од девет зборови може да се претвори во десет токени. Дури и еден сложен збор може да се претвори во повеќе токени, што му помага на моделот подобро да разбере и да генерира јазик. Дури и јазиците со сложена структура на зборови, како германскиот, се управуваат преку токенизација.

Моделите GPT (Generative Pre-trained Transformer) работат со генерирање на еден токен во исто време, почнувајќи од првиот токен и продолжувајќи до последниот. По генерирањето на секој токен, моделот повторно ја посетува целата низа и повторно ја обработува за да го генерира следниот токен. Овој итеративен процес продолжува сè додека не се генерира конечниот токен, со што генерирањето на текст е слично на голема за-јамка.

Но, тука е финтата - квалитетот на овие одговори во голема мера зависи од инструкциите што ги добива. Исто како и водење разговор со човек, водењето на дијалог со ChatGPT бара одредено ниво на вештина и разбирање. Тоа е местото каде што брзото инженерство влегува во игра.

Што е брзо инженерство?

Промпт инженерството е уметност на изработка на прецизни, ефективни потсетници/влезни за водење на вештачката интелигенција (НЛП/Vision) модели како ChatGPT кон генерирање на најисплатливи, прецизни, корисни и најбезбедни резултати.

Брзото инженерство не е ограничено само на генерирање текст, туку има широк опсег на апликации во доменот на вештачката интелигенција. Сè повеќе се користи во области како што се ботови за автоматизација на роботски процеси, 3D средства, скрипти, упатства за роботи и други видови содржина и дигитални медиуми. Обезбедува уникатен спој на логика, кодирање, уметност, а во одредени случаи и специјални модификатори.

Додека известувањето може да вклучува текст на природен јазик, слики или други типови на влезни податоци, излезот може значително да се разликува помеѓу услугите и алатките за вештачка интелигенција. Секоја алатка има свои специјални модификатори кои ја опишуваат тежината на зборовите, стиловите, перспективите, распоредот или другите својства на саканиот одговор.

Ова поле е од суштинско значење за создавање подобри услуги напојувани со вештачка интелигенција и добивање супериорни резултати од постоечките генеративни алатки за вештачка интелигенција. Програмерите на претпријатијата, на пример, често користат брз инженеринг за да ги приспособат моделите на големи јазици (LLM) како GPT-3 за да напојуваат клиенти со кои се соочува chatbot или да се справи со задачи како што се создавање договори специфични за индустријата.

Овој итеративен процес на брзо усовршување и мерење на перформансите на вештачката интелигенција е клучен елемент за да им се овозможи на моделите со вештачка интелигенција да генерираат високо насочени, корисни одговори во различни контексти.

Да се ​​стане брз инженер

Умешноста на моделот GPT-4 во разбирањето сложени инструкции и прецизното решавање на сложени проблеми го прави непроценлив ресурс. Сепак, постојат различни методи за пристап до можностите на овој модел и нивното разбирање може да биде клучно за улогата на брзиот инженер во оптимизирањето на ефикасноста и економичноста.

Во суштина, постојат два начини да се вклучите со GPT модели како GPT-4. Еден начин е преку API на OpenAI, каде што трошоците се пресметуваат по влезни и излезни токени. Во ова сценарио, трошоците за 1K токени може да варираат врз основа на големината на контекстот. На пример, во поголем контекст од 32K, цената може да достигне до 0.06 долари за влезни токени и 0.12 долари за излезни токени. Така, кога се справувате со голем обем на барања, трошоците за користење може брзо да се акумулираат.

Алтернативно, ChatGPT, кој го користи моделот GPT-4, работи на модел базиран на претплата.

Друга клучна задача во брзото инженерство вклучува подесување на параметрите на моделот. Овој процес вклучува прилагодување на променливите кои моделот ги користи за да прави предвидувања. Со дотерување на овие параметри, брзите инженери можат да го подобрат квалитетот и точноста на одговорите на моделот, правејќи ги контекстуално порелевантни и покорисни.

Иако многу брзи инженери доаѓаат од технолошка позадина, мултидисциплинарната природа на полето го прави пристапно за поединци од различни професионални средини. Сè повеќе, писателите, истражувачите, па дури и уметниците ги користат своите уникатни вештини за да ја подобрат ефикасноста на моделите со вештачка интелигенција. Оваа промена се рефлектира и на пазарот на труд, со се поголем број компании кои бараат брзи инженери со различен опсег на вештини и средини.

Брзо дизајн и инженерство во ChatGPT

Брзиот дизајн и инженерството играат клучна улога во оптимизирањето на перформансите на јазичните модели и вклучуваат повеќе од само изработка на прашања; тие бараат длабоко разбирање на моделот на вештачка интелигенција и високо итеративен и рафиниран пристап.

Промпт дизајн

Промпт дизајнот, во неговото јадро, се уметноста и науката за создавање на совршено барање за даден голем јазичен модел (LLM), како ChatGPT, за да се постигне јасно наведена цел. Тоа е спој од:

• Разбирање на LLM: Различни јазични модели може променливо да реагираат на истото барање. Покрај тоа, одредени јазични модели може да имаат уникатни клучни зборови или предизвикувачи, кои тие ги толкуваат на специфичен начин.
• Познавање на доменот: Експертизата во соодветната област е од клучно значење при дизајнирање на потсетници. На пример, генерирањето на барање за заклучување медицинска дијагноза ќе бара медицинско знаење.
• Итеративен пристап и мерење на квалитет: Процесот на создавање на идеален промпт често вклучува обиди и грешки. Затоа, од витално значење е да се има начин да се оцени квалитетот на излезот надвор од само субјективно расудување, особено кога се користи барањето во поголем обем.

Брзо инженерство

Брзото инженерство е проширена област на брз дизајн што вклучува неколку критични процеси:

• Дизајн на промпти на скала: Овој процес вклучува дизајн на мета-промпт (промпт кои генерираат други промпти) и шаблони за промпт, кои се параметриизирани промпти кои може да се инстанцираат при извршување.
• Дизајн и интеграција на алатките: Потсетниците понекогаш може да вклучат резултати од надворешни алатки, а од клучно значење е беспрекорното интегрирање на овие алатки во системот.
• Работен тек, планирање и брзо управување: Употребата на LLM апликација, како чет-бот, често бара управување со библиотеки со инструкции, планирање и избирање на вистинските инструкции и ефикасно интегрирање на различни алатки.
• Евалуација и обезбедување квалитет на барањата: Овој аспект вклучува дефинирање на метрика и процеси за оценување на барањата и автоматски и со човечко учество.
• Промптна оптимизација: Цената и латентноста на моделот со вештачка интелигенција може да зависат од изборот на моделот и должината на промптот (број на токени).

Развиени се многу автоматизирани пристапи, алатки и рамки за брзо дизајнирање за да управуваат со инструкциите во обем. Сепак, важно е да се разбере дека ниту една од овие алатки не може да го замени нијансираното разбирање, расудување и искуство на искусен брз инженер.

Брзо инженерство: Техники и најдобри практики

1) Брзо поставување и опис

Поставувањето инструкции на почетокот на известувањето може значително да влијае на разбирањето и одговорот на вештачката интелигенција. Размислете за задачата да резимирате текст во формат на точка. Помалку ефективен пристап би бил:

Корисникот: Резимирајте го текстот подолу како листа со точки од најважните точки.
{Внесување текст овде}

Од друга страна, поефикасна техника може да биде:

Корисникот: Резимирајте го текстот подолу како листа со точки од најважните точки.
Текст: „““
{Внесување текст овде}
"" "

Со јасно раздвојување на инструкциите и контекстот со симболи како ### или „““, моделот на вештачка интелигенција може подобро да ја разграничи својата задача и текстот што треба да го обработи, а со тоа да даде попрецизни и релевантни одговори.

Второ, да се биде специфичен, описен и детален за контекстот, очекуваниот исход, должината, форматот, стилот и така натаму, може значително да ја подобри прецизноста на одговорите на вештачката интелигенција. Да претпоставиме дека треба да генерирате краток преглед на научен труд во привлечен, лаик-пријателски стил. Нејасна инструкција како „Сумирај го научниот труд“ би дала помалку ефективни резултати во споредба со специфично, детално барање:

Корисникот: Создадете кратко (приближно 200 зборови), ангажирано резиме на следниот научен труд. Резимето треба да биде разбирливо за некој без научна основа, додека точно ги одразува клучните наоди на трудот.
Хартија: """
{текст за научен труд овде}
"" "

2) Лична шема

Моделот на личноста е стратегија што поставува ВИ да функционира од одредена перспектива, како што е професионална улога или измислен лик. Оваа тактика му овозможува на моделот да обезбеди резултати поврзани со специфичните улоги со кои личноста би се справила. На пример, може да се наложи на вештачката интелигенција да дејствува како експерт за сајбер-безбедност за време на прегледот на кодот. Оваа шема е особено корисна кога на корисниците им е потребна помош, но не се сигурни за точните детали што се бараат во излезот.

Земете го следново како пример:

Корисникот: „Претпоставете ја личноста на висок историчар специјализиран за Француската револуција. Со оглед на таа личност, објаснете ги клучните настани и причини кои доведоа до пад на француската монархија“.

Во ова сценарио, вештачката интелигенција се очекува да одговори со длабинска анализа на Француската револуција, фокусирајќи се на падот на монархијата, како што би направил еден историчар.

Воведување нови информации

ChatGPT не поседува знаење надвор од неговото завршување за обука, затоа не може да обезбеди информации за неодамнешните настани или ажурирања по обуката. Сепак, можете да воведете нови информации за моделот преку вашите инструкции.

Корисникот: „Што е криптовалута?“
Разговор GPT: „Криптовалутата е вид на дигитална или виртуелна валута која користи криптографија за безбедност. Најпознатата криптовалута е Биткоин“.

Сега, ако додадеме малку повеќе контекст на промптот, можеме да го направиме објаснувањето уште поинтуитивно:

Корисникот: „Објаснете го концептот на криптовалута на средношколец кој студира дигитални финансии“
ChatGPT: „Замислете дека играте онлајн видео игра и има пари од играта што можете да ги заработите за да купите надградби или нови ликови. Криптовалутата е некако таква, но наместо да бидете ограничени на играта, всушност можете да ја користите за да купите стоки и услуги од реалниот свет. Тоа е како дигитални пари кои ниту една банка или влада не ги контролира“.

3) Промптни ограничувања на големината

Разбирањето на ограничувањето на големината на ChatGPT е од суштинско значење бидејќи директно влијае на обемот и видот на информациите што можеме да ги внесеме. Јазичните модели не се изградени да обработуваат неограничени податоци одеднаш. Тие имаат инхерентно ограничување за големината на промптот што можеме да го креираме и внесуваме. Ова ограничување има длабоки импликации за дизајнот и извршувањето на инструкциите.

ChatGPT има ограничување на токени (обично 2048 токени), што ги вклучува и промптот и генерираниот одговор. Ова значи дека долгите потсетници можат да ја ограничат должината на одговорот. Затоа, важно е да ги одржувате упатствата концизни, но сепак информативни.

Во практичната употреба, ние мора да дејствуваме како уредници, селективно да ги избираме најрелевантните информации за задачата што е на располагање. Замислете како пишувате труд или статија со ограничување на зборови или страници - не можете само да исфрлате случајни факти, туку внимателно да изберете и структурирате информации релевантни за темата.

Корисникот: „Со оглед на симболичните ограничувања на моделот, сумирајте ги клучните настани од Втората светска војна во помалку од 1000 зборови“.

Со признавањето на токенските ограничувања на моделот, ова барање ја насочува вештачката интелигенција да обезбеди концизно, но сеопфатно резиме на Втората светска војна.

Потсетници за повеќекратна употреба: во разговорно сценарио, можете повторно да ги користите потсетниците или да ги рафинирате врз основа на претходните одговори. Ова дава разговорен тек и го одржува контекстот во интеракцијата.

4) Шема за префинетост на прашањето

ChatGPT исто така може да ви помогне да ги усовршите вашите прашања. На пример, ако поставите прашање, тоа може да предложи подобро формулирано прашање за попрецизни резултати.

Моделот за усовршување на прашања вклучува LLM да ги рафинира прашањата поставени од корисникот. Тоа е особено корисно кога корисниците не се експерти во домен или не се сигурни како да го изразат своето прашање.

Примерен промотор може да изгледа вака:

Корисникот: „Секогаш кога ќе поставам прашање за науката за податоци, предложете попрефинето прашање со оглед на спецификите на статистичката анализа и прашајте дали сакам да продолжам со рафинираното прашање“.

Овде, вештачката интелигенција се очекува да ги усоврши општите прашања за науката за податоци на корисникот до подетални прашања со оглед на аспектите на статистичка анализа.

5) Модел на когнитивен проверувач

Моделот за когнитивен проверувач ги разложува сложените прашања на помали, подпрашања што може да се управуваат. Одговорите на овие потпрашања потоа се комбинираат за да се обезбеди сеопфатен одговор на главното прашање. Овој пристап е корисен кога првичните прашања се премногу на високо ниво или кога е потребна дополнителна јасност за да се даде целосен одговор.

На пример:

Корисникот: „Ако поставам прашање за климатските промени, разделете го на три помали прашања кои ќе ви помогнат да дадете попрецизен одговор. Комбинирајте ги одговорите на овие подпрашања за да го дадете конечниот одговор“.

Во ова сценарио, вештачката интелигенција ќе го разложи сложеното прашање за климатските промени на три подпрашања кои може да се управуваат. Откако ќе ги добие одговорите на овие потпрашања, вештачката интелигенција потоа ќе ги комбинира за да обезбеди посеопфатен и попрецизен одговор.

Овој модел вклучува генерирање на повеќе прашања за да се добие попрецизен конечен одговор. Тоа е процес на верификација и консолидација на информации за робустен финален резултат

6) Пристап за поттикнување на неколку снимки

Поттикнувањето за неколку снимки е моќен пристап за учење на моделите со вештачка интелигенција да следат одредени обрасци или да извршуваат задачи. Идејата е да се нахрани моделот со голем број примери пред да се постави посакуваното прашање. Ова помага да се постави саканото однесување и да се насочат одговорите на моделот.

Размислете за сценарио кога корисникот се обидува да подготви концизна, привлечна маркетиншка копија за нов технолошки гаџет:

Корисникот: „Еве неколку примери на копии за технолошки маркетинг: „Искуствувајте музика како никогаш досега со нашите врвни безжични слушалки“. „Снимете го вашиот свет во зачудувачки 4K со нашата ултра елегантна акциона камера“. Имајќи ги предвид овие примери, нацртајте маркетиншка копија за нашиот нов паметен часовник напојуван со вештачка интелигенција“.

Разговор GPT: „Зајакнете го вашиот животен стил со нашиот паметен часовник со вештачка интелигенција, ваш придружник за здравје, поврзување и продуктивност“. Извонредната карактеристика на учењето со неколку снимки е тоа што не бара детален опис за тоа како да се изврши задачата. Наместо тоа, бара демонстрации на она што се прави, што може да го направи добро погодно за многу апликации.

Понатаму, оваа техника се протега надвор од едноставното спарување влезно-излез. Моделот исто така може да се научи да се справува со средни чекори за да се постигне целта.

7) Поттикнување на синџир на мисли

Во нивниот неодамнешен истражувачки труд, „Поттикнувањето на синџирот на мисли предизвикува расудување во големи јазични моделиАвторите Џејсон Веи и тимот имаат за цел да стимулираат расудување во големи јазични модели. Наместо да користи традиционални, директни предупредувања, тимот користи серија меѓусебно поврзани инструкции, формирајќи „синџир на мисли“.

На пример, корисникот може да биде заинтересиран за потенцијалното влијание на вештачката интелигенција на пазарите на труд:

Корисникот: „Можете ли накратко да го објасните концептот на вештачка интелигенција?

Разговор GPT: „Вештачката интелигенција, или ВИ, се однесува на способноста на машината да имитира интелигентно човечко однесување. Станува збор за дизајнирање машини кои можат да размислуваат и учат како луѓе, овозможувајќи им да извршуваат задачи како што се превод на јазик, одлучување и решавање проблеми, меѓу другото“.

Корисникот: „Како вештачката интелигенција влијае на тековниот пазар на труд?

Разговор GPT: „Ви создава нови работни места и ја менува природата на постојните. Од една страна, ги автоматизира рутинските задачи, што доведува до преместување на работните места во одредени сектори. Од друга страна, тоа создава побарувачка за улоги кои претходно не постоеле, како што се етички службеници за вештачка интелигенција, аналитичари на податоци и инженери за машинско учење. Дополнително, вештачката интелигенција може да ги зголеми човечките улоги, дозволувајќи им на луѓето да ги извршуваат задачите поефикасно и попрецизно.

Поттикнувањето на синџирот на мисли следи прогресија на поврзани инструкции, одржувајќи „разговор“ со моделот што го води кон попрецизни и контекстуално соодветни одговори.

Разбирање на ChatGPT API и брзо инженерство од перспектива на програмери

Од перспектива на развивач или истражувач, брзото инженерство е покомплексен процес. Вклучува дизајн на алгоритми и техники за да му се помогне на моделот со вештачка интелигенција поефективно да разбере и да одговори на барањата. Ова може да вклучува стратегии за справување со двосмислени инструкции, идентификување на контекстот на инструкциите или поврзување на инструкциите заедно за да се стимулираат посложени мисловни процеси во вештачката интелигенција

На горната илустрација, корисникот комуницира со интерфејс за разговор, напојуван од GPT-4. Нивниот влез е подобрен за јасност и контекстуална конзистентност со специјализиран модул пред да се внесе во моделот со вештачка интелигенција. Улогата на овој модул е ​​да го усоврши и подобри внесувањето на корисникот за подобро разбирање, а истовремено да го одржува контекстот на разговорот. Одговорот на вештачката интелигенција, направен врз основа на рафинираното барање, се враќа на корисникот преку интерфејсот за разговор. Историјата на интеракција постојано се ажурира, одржувајќи го контекстот за разговор. Генерално, овој дијаграм илустрира динамичен тек на разговор со корисничка вештачка интелигенција овозможен со брзи инженерски техники.

на ChatGPT API интерфејсот е дизајниран со различни хиперпараметри кои им овозможуваат на корисниците да ги усовршат одговорите на вештачката интелигенција на инструкциите, правејќи ги поефективни и разновидни. Тие ги вклучуваат параметрите Температура, максимална должина и секвенци за стопирање. Ајде да истражиме како тие функционираат и како можат да се користат во различни контексти.

1) Температура

Температурниот параметар влијае на случајноста на одговорите на вештачката интелигенција. Повисоката температура, како што е 1.0, поттикнува повеќе случаен излез, што резултира со разновидни, но потенцијално надвор од темата одговори. Спротивно на тоа, пониската температура, како 0.2, ја поттикнува вештачката интелигенција да избере подетерминистички одговори, што може да биде корисно за фокусирани и специфични резултати, но може да нема разновидност.

Пример: Ако пишувате креативна приказна и сакате непредвидливи, имагинативни елементи, поставете ја температурата на повисока вредност. Предупредување може да биде: „Напишете кратка приказна за мачка што патува низ времето“. Со висока температура, може да добиете дива, фантастична приказна со непредвидливи пресврти и пресврти.

2) Максимална должина

Овој параметар ја контролира максималната должина на токен на излезот на моделот, кој ги вклучува и токените во влезот и излезот на пораката. Поставувањето повисока граница овозможува попроширени одговори, додека долната граница го одржува излезот краток и концизен.

Пример: За кратки одговори на тривијални прашања како: „Кој ја доби Нобеловата награда за литература во 2020 година? можеби ќе сакате да ја поставите максималната должина на ниска вредност, осигурувајќи дека одговорот е концизен и директен.

3) Стоп секвенци

Стоп секвенците се специфични низи од текст каде што, кога моделот ќе се сретне со нив, тој престанува да генерира понатамошен излез. Оваа функција може да биде корисна за контролирање на должината на излезот или за инструкции на моделот да застане на логички крајни точки.

Пример: за формално писмо, можете да користите „Искрено ваше“, како застанување низа за да се осигурате дека вештачката интелигенција не генерира дополнителен текст надвор од правилниот крај на писмото.

4) Врвот П

Параметарот „Топ P“, познат и како земање примероци на јадро, е метод кој обезбедува динамичен избор на бројот на зборови што се разгледуваат во секој чекор од предвидувањата на моделот. Пониска вредност, како 0.5, води до побезбедни, пофокусирани излези. Повисоката вредност, како 0.9, вклучува поширок избор на зборови, што доведува до поразновидни резултати.

Пример: Ако создавате вештачка интелигенција за пишување песни и сакате таа да користи широк спектар на речник и стилски фрази, може да поставите „Топ P“ на повисока вредност. Повик може да биде: „Состави песна за есенската убавина“.

5) Фреквентна казна

Frequency Penalty контролира колку моделот треба да фаворизира поретки зборови. Повисоката казна (до 1) го поттикнува моделот да користи поретки зборови, додека пониската вредност (до -1) го поттикнува моделот да користи повообичаени зборови.

Пример: ако се обидувате да генерирате деловен предлог и сакате да го избегнете жаргонот, може да ја поставите казната за фреквенција на помала вредност за да го одржите јазикот јасен и достапен.

6) Казна за присуство

Параметарот Presence Penalty влијае на тоа колку моделот е казнет за генерирање на нови идеи или теми кои не биле присутни во историјата на разговорите. Повисоките вредности го поттикнуваат моделот да се држи до веќе споменатите теми, додека пониските вредности му овозможуваат на моделот послободно да воведува нови концепти.

Пример: за сесии за бура на идеи, може да ја поставите казната за присуство на помала вредност за да поттикнете разновидна низа идеи. Може да користите порака како „Генерирајте иновативни маркетинг стратегии за онлајн едукативна платформа“.

Индустриска примена на брзо инженерство