Основни водич за брзо инжењерство у ЦхатГПТ-у

Од свог представљања, ЦхатГПТ прави таласе у сфери вештачке интелигенције, привлачећи преко 100 милиона корисника у рекордном времену. Тајни сос за импресивне перформансе и свестраност ЦхатГПТ-а лежи у уметности суптилно смештеној у његовом програмирању – брзом инжењерингу.

Покренути 2022. године, ДАЛЛ-Е, МидЈоурнеи и СтаблеДиффусион су нагласили разорни потенцијал Генеративне АИ. Али то је било Отвори АИ'с ЦхатГПТ који је заиста заузео централно место касније 2022. И овај замах није показивао знаке успоравања.

Гоогле-ова најава Барда  Мета'с Ламма 2  одговор на ОпенАИ ЦхатГПТ значајно је појачао замах трке АИ. Дајући овим моделима инпуте, ми водимо њихово понашање и одговоре. То нас све чини брзим инжењерима у одређеној мери. Технолошка индустрија је приметила. Ризични капиталисти уливају средства у стартапе фокусирајући се на брзи инжењеринг, нпр Веллум АИ. Штавише, Форбс извештава да брзо командују инжењери плате које прелазе 300,000 долара, што указује на успешно и вредно тржиште рада.

У овом чланку ћемо демистификовати свет брзог инжењеринга у контексту ЦхатГПТ-а. Истражићемо основне принципе и технике, и испитати њихове комерцијалне примене.

Хајде да прво разумемо како ЦхатГПТ функционише и кључну улогу инжињеринга у овом процесу.

Механика иза ЦхатГПТ Промпт Енгинееринг

Тајни сос иза успеха ЦхатГПТ-а је његова способност да разуме и опонаша нијансе људског разговора. Модел је обучен на различитом опсегу интернет текста, али што је најважније, не познаје специфичне документе или изворе у свом скупу за обуку, што обезбеђује генерализацију уместо специфичности. Овај приступ обуци омогућава ЦхатГПТ-у да генерише креативне одговоре, да се креће кроз сложене дијалоге, па чак и да покаже смисао за хумор. Међутим, важно је запамтити да ЦхатГПТ заиста не разуме нити има уверења; генерише одговоре на основу образаца које је научио током тренинга.

Способност ЦхатГПТ-а да разуме и реагује на људски језик на нијансиран начин и свестан контекста чини их невероватно разноврсним алатима.

Механика ових модела почива на концепту 'жетона' — дискретних делова језика који могу да се крећу од једног знака до целе речи. Ови модели раде са одређеним бројем токена у исто време (4096 за ГПТ-3.5-Турбо или 8192 или 32768 за ГПТ-4), предвиђајући следећи низ вероватних токена. Модели обрађују токене користећи комплексну линеарну алгебру, предвиђајући највероватнији следећи токен.

На пример, једноставна реченица од девет речи могла би да се претвори у десет лексема. Чак и једна сложена реч може да се претвори у више токена, што помаже моделу да боље разуме и генерише језик. Чак и језицима са сложеним структурама речи, попут немачког, управља се токенизацијом.

ГПТ (генеративни унапред обучени трансформатор) модели функционишу тако што генеришу један по један токен, почевши од првог токена и настављајући до последњег. Након генерисања сваког токена, модел поново посећује цео низ и поново га обрађује да би генерисао следећи токен. Овај итеративни процес се наставља све док се не генерише коначни токен, чинећи генерисање текста сличним великој фор-петљи.

Али овде је квака – квалитет ових одговора у великој мери зависи од упита које добија. Баш као и вођење разговора са човеком, вођење дијалога са ЦхатГПТ захтева одређени ниво вештине и разумевања. Ту на сцену ступа брз инжењеринг.

Шта је брзи инжењеринг?

Промпт Енгинееринг је уметност израде прецизних, ефикасних упутстава/уноса за вођење АИ (НЛП/Висион) модела као што је ЦхатГПТ ка генерисању најекономичнијих, тачних, корисних и безбедних резултата.

Промпт инжењеринг није ограничен само на генерисање текста, већ има широк спектар апликација у домену вештачке интелигенције. Све се више користи у областима као што су роботски роботи за аутоматизацију процеса, 3Д средства, скрипте, упутства за роботе и друге врсте садржаја и дигиталних медија. Пружа јединствену мешавину логике, кодирања, уметности и, у одређеним случајевима, специјалних модификатора.

Док промпт може да садржи текст на природном језику, слике или друге типове улазних података, излаз може значајно да варира у зависности од АИ услуга и алата. Сваки алат има своје посебне модификаторе који описују тежину речи, стилова, перспективе, распореда или друга својства жељеног одговора.

Ово поље је од суштинског значаја за креирање бољих услуга које покреће вештачка интелигенција и добијање супериорних резултата из постојећих генеративних АИ алата. Програмери за предузећа, на пример, често користе брзи инжењеринг да би прилагодили велике језичке моделе (ЛЛМ) као што је ГПТ-3 да напајају клијенте цхатбот или се бави задацима као што је креирање уговора специфичних за индустрију.

Овај итеративни процес брзог прецизирања и мерења перформанси АИ је кључни елемент у омогућавању АИ моделима да генеришу високо циљане, корисне одговоре у различитим контекстима.

Постати брзи инжењер

Способност модела ГПТ-4 у разумевању сложених инструкција и прецизном решавању замршених проблема чини га непроцењивим ресурсом. Међутим, постоје различите методе за приступ могућностима овог модела, а њихово разумевање може бити кључно за улогу инжењера у оптимизацији ефикасности и исплативости.

У суштини постоје два начина за интеракцију са ГПТ моделима као што је ГПТ-4. Један од начина је преко ОпенАИ АПИ-ја, где се трошкови израчунавају по улазним и излазним токенима. У овом сценарију, трошкови по 1К токена могу да варирају у зависности од величине контекста. На пример, у већем контексту од 32К, цена би могла да порасте до 0.06 УСД за улазне токене и 0.12 УСД за излазне токене. Стога, када се обрађује велики број захтева, трошкови коришћења могу брзо да се акумулирају.

Алтернативно, ЦхатГПТ, који користи ГПТ-4 модел, ради на моделу заснованом на претплати.

Други кључни задатак у брзом инжењерингу укључује подешавање параметара модела. Овај процес укључује прилагођавање варијабли које модел користи за предвиђање. Финим подешавањем ових параметара, брзи инжењери могу побољшати квалитет и тачност одговора модела, чинећи их контекстуално релевантнијим и кориснијим.

Иако многи брзи инжењери долазе из технолошког порекла, мултидисциплинарна природа поља чини га доступним појединцима из различитих професионалних средина. Писци, истраживачи, па чак и уметници све више користе своје јединствене вештине како би побољшали ефикасност АИ модела. Ова промена се одражава и на тржишту рада, са све већим бројем компанија које траже брзе инжењере са различитим вештинама и позадином.

Брзо пројектовање и инжењеринг у ЦхатГПТ-у

Промпт дизајн и инжењеринг играју кључну улогу у оптимизацији перформанси језичких модела и укључују више од питања израде; они захтевају дубоко разумевање АИ модела и веома итеративан и префињен приступ.

Промпт Десигн

Дизајн промпта, у својој сржи, представља уметност и науку стварања савршеног одзива за дати велики језички модел (ЛЛМ), као што је ЦхатГПТ, како би се постигао јасно изражен циљ. То је мешавина:

• Разумевање ЛЛМ-а: Различити језички модели могу различито реаговати на исти упит. Штавише, одређени језички модели могу имати јединствене кључне речи или покретаче, које тумаче на специфичан начин.
• Познавање домена: Стручност у релевантној области је кључна када се дизајнирају упити. На пример, генерисање упита да се закључи медицинска дијагноза захтевало би медицинско знање.
• Итеративни приступ и мерење квалитета: Процес креирања идеалног промпта често укључује покушаје и грешке. Стога је од виталног значаја имати начин да се процени квалитет излазног резултата мимо само субјективног просуђивања, посебно када се промпт користи у већем обиму.

Промпт Енгинееринг

Промпт инжењеринг је проширено подручје брзог дизајна које укључује неколико критичних процеса:

• Дизајн промптова у скали: Овај процес укључује дизајн мета упита (података који генеришу друге упите) и шаблона упита, који су параметризовани упити који се могу инстанцирати током извршавања.
• Дизајн и интеграција алата: Упутства понекад могу укључивати резултате екстерних алата, а неометана интеграција ових алата у систем је кључна.
• Радни ток, планирање и управљање брзим информацијама: Примена ЛЛМ апликације, као што је цхатбот, често захтева управљање библиотекама упита, планирање и одабир правих упита и ефикасну интеграцију различитих алата.
• Евалуација и осигурање квалитета упутстава: Овај аспект укључује дефинисање метрика и процеса за процену упита и аутоматски и уз учешће људи.
• Оптимизација промпта: Цена и латенција АИ модела могу зависити од избора модела и дужине упита (број токена).

Многи приступи, алати и оквири за аутоматизовано дизајнирање брзих порука су развијени за управљање упитима у великом обиму. Међутим, важно је разумети да ниједан од ових алата не може да замени нијансирано разумевање, расуђивање и искуство искусног инжењера брзог рада.

Промпт Енгинееринг: Технике и најбоље праксе

1) Брзо постављање и опис

Постављање инструкција на почетку упита може значајно утицати на разумевање и одговор АИ. Размотрите задатак сумирања текста у формату за набрајање. Мање ефикасан приступ би био:

Корисник: Сумирајте текст испод као листу најважнијих тачака.
{унесите текст овде}

С друге стране, ефикаснија техника би могла бити:

Корисник: Сумирајте текст испод као листу најважнијих тачака.
Текст: “””
{унесите текст овде}
„”

Јасним одвајањем инструкција и контекста симболима као што су ### или „”“, АИ модел може боље да разграничи свој задатак и текст који треба да обради, дајући тако тачније и релевантније одговоре.

Друго, конкретан, дескриптиван и детаљан о контексту, очекиваном исходу, дужини, формату, стилу и тако даље може значајно побољшати прецизност АИ одговора. Претпоставимо да треба да направите кратак преглед научног рада у занимљивом стилу прилагођеном лаицима. Нејасно упутство попут „Сажмите научни рад“ дало би мање ефикасне резултате у поређењу са специфичним, детаљним упутством:

Корисник: Направите кратак (приближно 200 речи), занимљив резиме следећег научног рада. Резиме треба да буде разумљив некоме без научне позадине, док тачно одражава кључне налазе рада.
Папир: “””
{текст научног рада овде}
„”

2) Персона Паттерн

Персона Паттерн је стратегија која поставља АИ да функционише из одређене перспективе, као што је професионална улога или измишљени лик. Ова тактика омогућава моделу да пружи резултате у вези са специфичним улогама које би особа обављала. На пример, неко би могао да упути АИ да делује као стручњак за сајбер безбедност током прегледа кода. Овај образац је посебно користан када је корисницима потребна помоћ, али нису сигурни у тачне детаље који се траже у излазу.

Узмите следеће као пример:

Корисник: „Претпоставимо личност вишег историчара специјализованог за Француску револуцију. С обзиром на ту личност, објасните кључне догађаје и разлоге који су довели до пропасти Француске монархије.

У овом сценарију, од АИ се очекује да одговори дубинском анализом Француске револуције, фокусирајући се на пад монархије, као што би то урадио историчар.

Представљамо нове информације

ЦхатГПТ не поседује знање које прелази границе обуке, па стога не може да пружи информације о недавним догађајима или ажурирањима након обуке. Међутим, можете да уведете нове информације у модел путем ваших упита.

Корисник: „Шта је криптовалута?“
ЦхатГПТ: „Криптовалута је врста дигиталне или виртуелне валуте која користи криптографију за сигурност. Најпознатија криптовалута је Битцоин.

Сада, ако додамо мало више контекста у промпт, можемо учинити објашњење још интуитивнијим:

Корисник: „Објасните концепт криптовалуте средњошколцу који студира дигиталне финансије“
ЦхатГПТ: „Замислите да играте онлајн видео игрицу и постоји новац од игре који можете зарадити да бисте купили надоградње или нове ликове. Криптовалута је некако таква, али уместо да будете ограничени на игру, заправо можете да је користите за куповину роба и услуга из стварног света. То је као дигитални новац који ниједна банка или влада не контролишу.”

3) Брза ограничења величине

Разумевање ограничења величине ЦхатГПТ-а је од суштинског значаја јер директно утиче на обим и врсту информација које можемо да унесемо. Језички модели нису направљени за обраду неограничених података одједном. Они имају инхерентно ограничење на величину промпта који можемо да креирамо и унесемо. Ово ограничење има дубоке импликације на дизајн и извршење упутстава.

ЦхатГПТ има ограничење токена (обично 2048 токена), које укључује и промпт и генерисани одговор. То значи да дуги упити могу ограничити дужину одговора. Због тога је важно да упуте буду сажете, али информативне.

У практичној употреби, морамо деловати као уредници, селективно бирајући најрелевантније информације за задатак који је пред нама. Замислите да пишете рад или чланак са ограничењем броја речи или страница – не можете само да избаците насумичне чињенице, већ пажљиво бирате и структурирате информације релевантне за тему.

Корисник: „С обзиром на ограничења модела, сумирајте кључне догађаје Другог светског рата у мање од 1000 речи.“

Признајући ограничења токена модела, овај позив упућује АИ да пружи сажет, али свеобухватан резиме Другог светског рата.

Упите за поновљено коришћење: У сценарију разговора, можете поново користити упите или их прецизирати на основу претходних одговора. Ово даје ток разговора и одржава контекст у интеракцији.

4) Образац за пречишћавање питања

ЦхатГПТ такође може да вам помогне да прецизирате питања. На пример, ако поставите питање, оно може предложити боље формулисано питање за тачније резултате.

Образац прецизирања питања укључује ЛЛМ пречишћавање питања која поставља корисник. Посебно је корисно када корисници нису стручњаци у неком домену или нису сигурни како да формулишу своје питање.

Пример промпта може изгледати овако:

Корисник: „Кад год поставим питање о науци о подацима, предложите префињеније питање с обзиром на специфичности статистичке анализе и питајте да ли желим да наставим са префињеним питањем.“

Овде се од АИ очекује да прецизира корисничка општа питања науке о подацима на детаљнија питања узимајући у обзир аспекте статистичке анализе.

5) Образац когнитивног верификатора

Образац когнитивног верификатора разлаже сложена питања на мања потпитања којима се може управљати. Одговори на ова потпитања се затим комбинују да би се дао свеобухватан одговор на главно питање. Овај приступ је користан када су почетна питања превише високог нивоа или када је потребна додатна јасноћа да би се дао потпун одговор.

На пример:

Корисник: „Ако поставим питање о климатским променама, поделите га на три мања питања која би вам помогла да дате тачнији одговор. Комбинујте одговоре на ова потпитања да бисте дали коначан одговор.”

У овом сценарију, АИ ће разбити сложено питање о климатским променама на три подпитања која се могу решити. Након што добије одговоре на ова потпитања, АИ ће их комбиновати како би пружила свеобухватнији и тачнији одговор.

Овај образац укључује генерисање више питања да би се добио тачнији коначни одговор. То је процес верификације и консолидације информација за робустан коначни резултат

6) Приступ са неколико хитаца

Подстицање неколико снимака је моћан приступ за учење АИ модела да прате одређене обрасце или извршавају задатке. Идеја је да се модел нахрани бројним примерима пре постављања жељеног питања. Ово помаже да се одреди жељено понашање и усмере одговори модела.

Размислите о сценарију у којем корисник покушава да направи сажету, убедљиву маркетиншку копију за нови технолошки гаџет:

Корисник: „Ево неколико примера технолошких маркетиншких копија: 'Доживите музику као никада раније са нашим врхунским бежичним слушалицама.' „Снимите свој свет у задивљујућим 4К помоћу наше ултра-елегантне акционе камере.“ Имајући у виду ове примере, направите маркетиншки примерак за наш нови паметни сат који покреће вештачка интелигенција."

ЦхатГПТ: „Оснажите свој животни стил помоћу нашег паметног сата са вештачком интелигенцијом, вашег сапутника за здравље, повезаност и продуктивност.“ Изванредна карактеристика учења са неколико снимака је да не захтева детаљан опис како да се изврши задатак. Уместо тога, захтева демонстрације онога што се ради, што га може учинити добрим за многе апликације.

Штавише, ова техника превазилази једноставно упаривање улаз-излаз. Модел се такође може научити да рукује средњим корацима за постизање циља.

7) Подстицање ланца мисли

У свом недавном истраживачком раду, „Подстицање ланца мисли изазива расуђивање у великим језичким моделима” аутори Џејсон Веј и тим имају за циљ да стимулишу размишљање у оквиру великих језичких модела. Уместо да користи традиционална, директна упутства, тим користи низ међусобно повезаних упита, формирајући „ланац мисли“.

На пример, корисник би могао бити заинтересован за потенцијални утицај вештачке интелигенције на тржишта рада:

Корисник: „Можете ли укратко да објасните концепт вештачке интелигенције?“

ЦхатГПТ: „Вештачка интелигенција, или АИ, односи се на способност машине да имитира интелигентно људско понашање. Ради се о дизајнирању машина које могу да размишљају и уче као људи, омогућавајући им да обављају задатке као што су превођење језика, доношење одлука и решавање проблема, између осталог.”

Корисник: „Како вештачка интелигенција утиче на тренутно тржиште рада?“

ЦхатГПТ: „АИ истовремено ствара нова радна места и мења природу постојећих. С једне стране, аутоматизује рутинске задатке, што доводи до померања послова у одређеним секторима. С друге стране, то ствара потражњу за улогама које раније нису постојале, као што су службеници за етику АИ, аналитичари података и инжењери машинског учења. Поред тога, АИ може повећати људске улоге, омогућавајући људима да ефикасније и тачније остварују задатке."

Подстицање у ланцу мисли прати прогресију повезаних напомена, одржавајући 'разговор' са моделом који га води ка прецизнијим и контекстуално прикладнијим одговорима.

Разумевање ЦхатГПТ АПИ-ја и брзог инжењеринга из перспективе програмера

Из перспективе програмера или истраживача, брзи инжењеринг је сложенији процес. Укључује дизајн алгоритама и техника које помажу моделу вештачке интелигенције да разуме и ефикасније реагује на упите. Ово би могло укључивати стратегије за руковање двосмисленим упутствима, идентификацију контекста упутстава или повезивање упутстава заједно како би се стимулисали сложенији мисаони процеси у АИ

На горњој илустрацији, корисник комуницира са интерфејсом за ћаскање, који покреће ГПТ-4. Њихов унос је побољшан ради јасноће и контекстуалне доследности специјализованим модулом пре него што се унесе у АИ модел. Улога овог модула је да прецизира и побољша унос корисника ради бољег разумевања уз истовремено одржавање контекста разговора. Одговор вештачке интелигенције, креиран на основу префињеног упита, враћа се кориснику преко интерфејса за ћаскање. Историја интеракције се ажурира доследно, одржавајући контекст разговора. Све у свему, овај дијаграм илуструје динамичан ток разговора између корисника и АИ који је омогућен брзим инжењерским техникама.

ЦхатГПТ АПИ-ји интерфејс је пројектован са различитим хиперпараметрима који омогућавају корисницима да прецизирају одговоре вештачке интелигенције на упите, чинећи их ефикаснијим и свестранијим. Ово укључује параметре температуре, максималне дужине и секвенци заустављања. Хајде да истражимо како они функционишу и како се могу користити у различитим контекстима.

1) температура

Параметар температуре утиче на случајност одговора АИ. Виша температура, као што је 1.0, подстиче више насумичних излаза, што резултира различитим, али потенцијално невезаним за тему одговора. Насупрот томе, нижа температура, попут 0.2, подстиче АИ да изабере више детерминистичких одговора, што може бити корисно за фокусиране и специфичне излазе, али може недостајати разноликости.

Пример: Ако пишете креативну причу и желите непредвидиве, маштовите елементе, подесите температуру на вишу вредност. Захтев би могао бити: „Напишите кратку причу о мачки која путује кроз време. Са високом температуром можете добити дивљу, фантастичну причу са непредвидивим обртима.

2) Максимална дужина

Овај параметар контролише максималну дужину токена на излазу модела, што укључује и токене у уносу поруке и излазу поруке. Постављање више границе омогућава проширене одговоре, док доња граница одржава излаз кратким и концизним.

Пример: За кратке одговоре на тривијална питања попут „Ко је добио Нобелову награду за књижевност 2020.“ можда бисте желели да подесите максималну дужину на ниску вредност, обезбеђујући да је одговор концизан и директан.

3) Стоп секвенце

Стоп секвенце су специфични низови текста где, када их модел наиђе, престаје да генерише даљи излаз. Ова функција може бити корисна за контролу дужине излаза или давање инструкција моделу да се заустави на логичким крајњим тачкама.

Пример: За формално писмо, можете да користите „С поштовањем“, као зауставну секвенцу како бисте осигурали да АИ не генерише додатни текст осим правилног завршетка писма.

4) Горњи П

Параметар 'Топ П', такође познат као узорковање језгра, је метод који обезбеђује динамички избор броја речи које се разматрају у сваком кораку предвиђања модела. Нижа вредност, попут 0.5, доводи до сигурнијих, фокусиранијих излаза. Већа вредност, попут 0.9, укључује шири избор речи, што доводи до разноврснијих резултата.

Пример: Ако правите вештачку интелигенцију за писање песама и желите да користи широку лепезу речника и стилских фраза, можете да подесите „Топ П“ на вишу вредност. Подсетник би могао бити: „Напиши песму о лепоти јесени.

5) Казна фреквенције

Казна учесталости контролише колико би модел требало да фаворизује ређе речи. Већа казна (до 1) подстиче модел да користи мање уобичајене речи, док нижа вредност (до -1) подстиче модел да користи више уобичајених речи.

Пример: Ако покушавате да генеришете пословни предлог и желите да избегнете жаргон, можете да подесите казну учесталости на нижу вредност да би језик био јасан и доступан.

6) Казна присуства

Параметар Казна присутности утиче на то колико је модел кажњен за генерисање нових идеја или тема које нису биле присутне у историји разговора. Више вредности подстичу модел да се држи већ поменутих тема, док ниже вредности омогућавају моделу да слободније уводи нове концепте.

Пример: За сесије размишљања, можете подесити казну за присуство на нижу вредност да бисте подстакли разноврсну лепезу идеја. Можете користити упит попут: „Генерирајте иновативне маркетиншке стратегије за онлајн образовну платформу.“

Примена брзог инжењеринга у индустрији