Základný sprievodca rýchlym inžinierstvom v ChatGPT

Od svojho spustenia, ChatGPT robí vlny v oblasti AI a priťahuje viac ako 100 miliónov používateľov v rekordnom čase. Tajná omáčka k pôsobivému výkonu a všestrannosti ChatGPT spočíva v umení jemne zakomponovanom do jeho programovania – rýchle inžinierstvo.

DALL-E, MidJourney a StableDiffusion, ktoré boli uvedené na trh v roku 2022, podčiarkli rušivý potenciál generatívnej AI. Ale to bolo Otvorte AI's ChatGPT, ktorý sa skutočne dostal do centra pozornosti neskôr v roku 2022. A táto dynamika nevykazovala žiadne známky spomalenia.

Oznámenie spoločnosti Google o spoločnosti Bard a Meta's Lamma 2  odpoveď na ChatGPT OpenAI výrazne zosilnila dynamiku pretekov AI. Tým, že týmto modelom poskytujeme vstupy, riadime ich správanie a reakcie. To z nás do určitej miery robí rýchlych inžinierov. Všimol si to technický priemysel. Rizikoví kapitalisti nalievajú prostriedky do startupov zameraných na promptné inžinierstvo, napr Vellum AI. Okrem toho Forbes uvádza, že požadujú príkaz inžinierov platy presahujúce 300,000 XNUMX dolárov, čo svedčí o prosperujúcom a hodnotnom trhu práce.

V tomto článku demystifikujeme svet rýchleho inžinierstva v kontexte ChatGPT. Preskúmame základné princípy a techniky a preskúmame ich komerčné aplikácie.

Poďme najprv pochopiť, ako funguje ChatGPT a kľúčovú úlohu v tomto procese zohráva rýchle inžinierstvo.

Mechanika rýchleho inžinierstva ChatGPT

Tajnou omáčkou za úspechom ChatGPT je jeho schopnosť porozumieť a napodobniť nuansy ľudskej konverzácie. Model je trénovaný na rôznorodom rozsahu internetových textov, ale čo je najdôležitejšie, nepozná konkrétne dokumenty alebo zdroje vo svojej trénovacej sade, čím sa zabezpečuje zovšeobecnenie pred špecifickosťou. Tento tréningový prístup umožňuje ChatGPT vytvárať kreatívne reakcie, navigovať v zložitých dialógoch a dokonca prejavovať zmysel pre humor. Je však dôležité si uvedomiť, že ChatGPT skutočne nerozumie a nemá presvedčenia; generuje odpovede na základe vzorov, ktoré sa naučil počas tréningu.

Schopnosť ChatGPT porozumieť ľudskej reči a reagovať na ňu jemne a s ohľadom na kontext z nich robí neuveriteľne všestranné nástroje.

Mechanika týchto modelov spočíva na koncepte „tokenov“ – diskrétnych kúskov jazyka, ktoré sa môžu pohybovať od jedného znaku až po celé slovo. Tieto modely pracujú so špecifickým počtom tokenov naraz (4096 pre GPT-3.5-Turbo alebo 8192 alebo 32768 pre GPT-4), pričom predpovedajú ďalšiu postupnosť pravdepodobných tokenov. Modely spracovávajú tokeny pomocou komplexnej lineárnej algebry a predpovedajú najpravdepodobnejší nasledujúci token.

Napríklad jednoduchá deväťslovná veta sa môže zmeniť na desať žetónov. Dokonca aj jedno zložité slovo sa môže zmeniť na viacero tokenov, čo pomáha modelu lepšie pochopiť a generovať jazyk. Dokonca aj jazyky so zložitými štruktúrami slov, ako je nemčina, sa spravujú prostredníctvom tokenizácie.

Modely GPT (Generative Pre-trained Transformer) fungujú tak, že generujú jeden token naraz, začínajúc od prvého tokenu a pokračujúc až po posledný. Po vygenerovaní každého tokenu model znova navštívi celú sekvenciu a znova ju spracuje, aby vygeneroval ďalší token. Tento iteračný proces pokračuje, kým sa nevygeneruje konečný token, čím sa generovanie textu podobá veľkej slučke for.

Ale tu je háčik – kvalita týchto odpovedí do značnej miery závisí od výziev, ktoré dostane. Rovnako ako vedenie rozhovoru s človekom, vedenie dialógu s ChatGPT si vyžaduje určitú úroveň zručností a porozumenia. Tu vstupuje do hry promptné inžinierstvo.

Čo je rýchle inžinierstvo?

Prompt Engineering je umenie vytvárať presné a efektívne výzvy/vstupy na vedenie AI (NLP/Vision) modely ako ChatGPT na generovanie nákladovo najefektívnejších, najpresnejších, najužitočnejších a najbezpečnejších výstupov.

Rýchle inžinierstvo sa neobmedzuje len na generovanie textu, ale má široké uplatnenie v celej doméne AI. Čoraz častejšie sa používa v oblastiach, ako sú roboty na automatizáciu robotických procesov, 3D aktíva, skripty, pokyny pre roboty a iné typy obsahu a digitálnych médií. Poskytuje jedinečnú zmes logiky, kódovania, umenia a v niektorých prípadoch aj špeciálnych modifikátorov.

Zatiaľ čo výzva môže obsahovať text v prirodzenom jazyku, obrázky alebo iné typy vstupných údajov, výstup sa môže v rámci služieb a nástrojov AI výrazne líšiť. Každý nástroj má svoje špeciálne modifikátory, ktoré popisujú váhu slov, štýly, perspektívy, rozloženie alebo iné vlastnosti požadovanej odpovede.

Táto oblasť je nevyhnutná pre vytváranie lepších služieb založených na AI a dosahovanie vynikajúcich výsledkov z existujúcich generatívnych nástrojov AI. Podnikoví vývojári napríklad často využívajú rýchle inžinierstvo na prispôsobenie veľkých jazykových modelov (LLM), ako je GPT-3, aby poháňali zákazníkov. Chatbot alebo zvládnuť úlohy, ako je vytváranie zmlúv pre konkrétne odvetvie.

Tento opakovaný proces rýchleho zdokonaľovania a merania výkonu AI je kľúčovým prvkom umožňujúcim modelom AI vytvárať vysoko cielené a užitočné reakcie v rôznych kontextoch.

Stať sa promptným inžinierom

Schopnosť modelu GPT-4 porozumieť zložitým inštrukciám a presne riešiť zložité problémy z neho robí neoceniteľný zdroj. Existujú však rôzne metódy prístupu k možnostiam tohto modelu a ich pochopenie môže byť rozhodujúce pre úlohu rýchleho inžiniera pri optimalizácii efektívnosti a nákladovej efektívnosti.

V zásade existujú dva spôsoby interakcie s modelmi GPT, ako je GPT-4. Jedným zo spôsobov je cez API OpenAI, kde sa náklady počítajú na vstupné a výstupné tokeny. V tomto scenári môžu náklady na 1 32 tokenov kolísať v závislosti od veľkosti kontextu. Napríklad vo väčšom kontexte 0.06 0.12 by sa náklady mohli zvýšiť na XNUMX USD za vstupné tokeny a XNUMX USD za výstupné tokeny. Pri vybavovaní veľkého množstva požiadaviek sa teda môžu náklady na používanie rýchlo nahromadiť.

Alternatívne, ChatGPT, ktorý využíva model GPT-4, funguje na modeli založenom na predplatnom.

Ďalšou kľúčovou úlohou rýchleho inžinierstva je ladenie parametrov modelu. Tento proces zahŕňa úpravu premenných, ktoré model používa na vytváranie predpovedí. Jemným doladením týchto parametrov môžu pohotoví inžinieri zlepšiť kvalitu a presnosť reakcií modelu, čím sa stanú kontextovo relevantnejšími a užitočnejšími.

Hoci mnoho rýchlych inžinierov pochádza z technického prostredia, multidisciplinárna povaha tohto odboru ho sprístupňuje jednotlivcom z rôznych profesionálnych prostredí. Spisovatelia, výskumníci a dokonca umelci čoraz viac využívajú svoje jedinečné schopnosti na zvýšenie účinnosti modelov AI. Tento posun sa odráža aj na trhu práce, kde rastie počet spoločností, ktoré hľadajú rýchlych inžinierov s rôznorodou škálou zručností a skúseností.

Prompt Design and Engineering v ChatGPT

Prompt Design and Engineering zohrávajú kľúčovú úlohu pri optimalizácii výkonu jazykových modelov a zahŕňajú viac než len vytváranie otázok; vyžadujú hlboké pochopenie modelu AI a vysoko iteratívny a rafinovaný prístup.

Prompt Design

Prompt design, vo svojom jadre, je umenie a veda vytvoriť perfektnú výzvu pre daný veľký jazykový model (LLM), ako je ChatGPT, na dosiahnutie jasne stanoveného cieľa. Je to zmes:

• Pochopenie LLM: Rôzne jazykové modely môžu reagovať rôzne na rovnakú výzvu. Okrem toho môžu mať určité jazykové modely jedinečné kľúčové slová alebo spúšťače, ktoré interpretujú špecifickým spôsobom.
• Znalosť domény: Odbornosť v príslušnej oblasti je rozhodujúca pri navrhovaní výziev. Napríklad generovanie výzvy na odvodenie lekárskej diagnózy by vyžadovalo lekárske znalosti.
• Iteračný prístup a meranie kvality: Proces vytvárania ideálnej výzvy často zahŕňa pokusy a omyly. Preto je životne dôležité mať spôsob, ako vyhodnotiť kvalitu výstupu nad rámec len subjektívneho úsudku, najmä pri použití výzvy vo väčšom rozsahu.

Rýchle inžinierstvo

Prompt engineering je rozšírená oblasť promptného dizajnu, ktorá zahŕňa niekoľko kritických procesov:

• Návrh výziev v mierke: Tento proces zahŕňa návrh meta výziev (výzvy, ktoré generujú iné výzvy) a šablón výziev, čo sú parametrizované výzvy, ktoré je možné vytvoriť za behu.
• Návrh a integrácia nástrojov: Výzvy môžu niekedy zahŕňať výsledky externých nástrojov a bezproblémová integrácia týchto nástrojov do systému je kľúčová.
• Pracovný tok, plánovanie a správa výziev: Nasadenie aplikácie LLM, podobne ako chatbota, si často vyžaduje spravovanie knižníc výziev, plánovanie a výber správnych výziev a efektívnu integráciu rôznych nástrojov.
• Hodnotenie a zabezpečenie kvality výziev: Tento aspekt zahŕňa definovanie metrík a procesov na vyhodnotenie výziev automaticky aj s ľudským zapojením.
• Optimalizácia výzvy: Cena a latencia modelu AI môže závisieť od výberu modelu a dĺžky výzvy (počet tokenov).

Na správu výziev vo veľkom rozsahu bolo vyvinutých mnoho automatizovaných prístupov, nástrojov a rámcov pre návrh promptného návrhu. Je však dôležité pochopiť, že žiadny z týchto nástrojov nemôže nahradiť jemné chápanie, úsudok a skúsenosti skúseného pohotového inžiniera.

Rýchle inžinierstvo: techniky a osvedčené postupy

1) Okamžité umiestnenie a popis

Umiestnenie pokynov na začiatku výzvy môže výrazne ovplyvniť pochopenie a reakciu AI. Zvážte úlohu zhrnúť text vo formáte odrážok. Menej efektívny prístup by bol:

užívateľ: Zhrňte text nižšie ako odrážkový zoznam najdôležitejších bodov.
{textový vstup}

Na druhej strane, efektívnejšia technika by mohla byť:

užívateľ: Zhrňte text nižšie ako odrážkový zoznam najdôležitejších bodov.
Text: """
{textový vstup}
„“ “

Jasným oddelením pokynov a kontextu pomocou symbolov ako ### alebo „“ môže model AI lepšie vymedziť svoju úlohu a text, ktorý potrebuje spracovať, čím poskytne presnejšie a relevantnejšie odpovede.

Po druhé, konkrétne, popisné a podrobné informácie o kontexte, očakávanom výsledku, dĺžke, formáte, štýle atď. môžu výrazne zvýšiť presnosť odpovedí AI. Predpokladajme, že potrebujete vygenerovať stručný prehľad vedeckého článku v pútavom štýle, ktorý je vhodný pre laikov. Nejasná inštrukcia ako „Zhrňte vedeckú prácu“ by priniesla menej efektívne výsledky v porovnaní so špecifickou, podrobnou výzvou:

užívateľ: Vygenerujte stručné (cca 200 slov), pútavé zhrnutie nasledujúceho vedeckého článku. Zhrnutie by malo byť zrozumiteľné pre niekoho bez vedeckého zázemia a zároveň by malo presne odrážať kľúčové zistenia článku.
Papier: """
{text vedeckého článku tu}
„“ “

2) Vzor osoby

Persona Pattern je stratégia, ktorá nastavuje AI tak, aby fungovala z určitej perspektívy, ako je profesionálna rola alebo fiktívna postava. Táto taktika umožňuje modelu poskytovať výstupy súvisiace so špecifickými rolami, ktoré by persona zvládala. Napríklad by sa dalo dať pokyn AI, aby počas kontroly kódu konala ako expert na kybernetickú bezpečnosť. Tento vzor je obzvlášť užitočný, keď používatelia potrebujú pomoc, ale nie sú si istí presnými podrobnosťami požadovanými vo výstupe.

Ako príklad si vezmite nasledovné:

užívateľ: „Predstavte si osobnosť vyššieho historika špecializujúceho sa na Francúzsku revolúciu. Vzhľadom na túto osobnosť vysvetlite kľúčové udalosti a dôvody, ktoré viedli k pádu francúzskej monarchie.

V tomto scenári sa očakáva, že AI zareaguje hĺbkovou analýzou Francúzskej revolúcie so zameraním na pád monarchie, ako by to urobil historik.

Predstavujeme nové informácie

ChatGPT nedisponuje vedomosťami nad rámec svojho tréningového limitu, preto nemôže poskytovať informácie o nedávnych udalostiach alebo aktualizáciách po školení. Pomocou výziev však môžete modelu vložiť nové informácie.

užívateľ: "Čo je to kryptomena?"
ChatGPT: „Kryptomena je typ digitálnej alebo virtuálnej meny, ktorá na zabezpečenie používa kryptografiu. Najznámejšou kryptomenou je Bitcoin.“

Teraz, ak k výzve pridáme trochu viac kontextu, môžeme urobiť vysvetlenie ešte intuitívnejším:

užívateľ: „Vysvetlite pojem kryptomena stredoškolskému študentovi, ktorý študuje digitálne financie“
ChatGPT: „Predstavte si, že hráte online videohru a máte herné peniaze, ktoré môžete zarobiť na nákup vylepšení alebo nových postáv. Kryptomena je niečo podobné, ale namiesto toho, aby ste sa obmedzili na hru, môžete ju skutočne použiť na nákup tovaru a služieb v reálnom svete. Je to ako digitálne peniaze, ktoré nekontroluje žiadna banka ani vláda.“

3) Okamžité obmedzenia veľkosti

Pochopenie obmedzenia veľkosti ChatGPT je nevyhnutné, pretože priamo ovplyvňuje objem a typ informácií, ktoré môžeme zadávať. Jazykové modely nie sú zostavené tak, aby spracovávali neobmedzené množstvo údajov naraz. Majú vlastné obmedzenie veľkosti výzvy, ktorú môžeme vytvoriť a zadať. Toto obmedzenie má hlboké dôsledky pre návrh a vykonávanie výziev.

ChatGPT má limit tokenov (vo všeobecnosti 2048 tokenov), ktorý zahŕňa výzvu aj vygenerovanú odpoveď. To znamená, že dlhé výzvy môžu obmedziť dĺžku odpovede. Preto je dôležité, aby boli výzvy stručné a zároveň informatívne.

Pri praktickom používaní musíme pôsobiť ako redaktori, ktorí selektívne vyberajú najrelevantnejšie informácie pre danú úlohu. Predstavte si, že píšete článok alebo článok s obmedzeným počtom slov alebo strán – nemôžete len vysypať náhodné fakty, ale starostlivo vybrať a štruktúrovať informácie relevantné pre daný predmet.

užívateľ: „Vzhľadom na tokenové obmedzenia modelu zhrňte kľúčové udalosti druhej svetovej vojny do menej ako 1000 slov.“

Potvrdením obmedzení tokenu modelu táto výzva nasmeruje AI, aby poskytla stručné, ale komplexné zhrnutie druhej svetovej vojny.

Výzvy na opakované použitie: V konverzačnom scenári môžete výzvy znova použiť alebo ich upraviť na základe predchádzajúcich odpovedí. To dáva konverzačný tok a udržiava kontext v interakcii.

4) Vzor spresnenia otázky

ChatGPT môže tiež pomôcť spresniť vaše otázky. Ak napríklad položíte otázku, môže vám navrhnúť lepšie formulovanú otázku pre presnejšie výsledky.

Vzor spresnenia otázok zahŕňa LLM spresnenie otázok, ktoré kladie používateľ. Je to užitočné najmä vtedy, keď používatelia nie sú odborníkmi v danej doméne alebo si nie sú istí, ako formulovať svoju otázku.

Príklad výzvy môže vyzerať takto:

užívateľ: „Kedykoľvek položím otázku týkajúcu sa vedy o údajoch, navrhnite presnejšiu otázku s ohľadom na špecifiká štatistickej analýzy a opýtajte sa, či chcem pokračovať v rafinovanejšej otázke.“

Tu sa očakáva, že AI spresní všeobecné otázky týkajúce sa vedy o údajoch používateľa na podrobnejšie otázky zohľadňujúce aspekty štatistickej analýzy.

5) Vzor kognitívneho overovateľa

Vzor kognitívneho overovateľa rozdeľuje zložité otázky na menšie, zvládnuteľné podotázky. Odpovede na tieto podotázky sa potom kombinujú a poskytujú komplexnú odpoveď na hlavnú otázku. Tento prístup je užitočný, keď sú počiatočné otázky príliš vysoké alebo keď je na poskytnutie úplnej odpovede potrebná dodatočná jasnosť.

Napríklad:

užívateľ: „Ak položím otázku o zmene klímy, rozdeľte ju na tri menšie otázky, ktoré vám pomôžu poskytnúť presnejšiu odpoveď. Skombinujte odpovede na tieto podotázky, aby ste dostali konečnú odpoveď.“

V tomto scenári AI rozdelí komplexnú otázku o zmene klímy do troch zvládnuteľných podotázok. Po prijatí odpovedí na tieto čiastkové otázky ich AI skombinuje, aby poskytla komplexnejšiu a presnejšiu odpoveď.

Tento vzor zahŕňa generovanie viacerých otázok na získanie presnejšej konečnej odpovede. Je to proces overovania a konsolidácie informácií pre robustný konečný výstup

6) Promptný prístup k niekoľkým záberom

Niekoľkonásobné nabádanie je účinný prístup k výučbe modelov AI, aby sledovali špecifické vzorce alebo vykonávali úlohy. Cieľom je nakŕmiť model množstvom príkladov predtým, ako položíte požadovanú otázku. To pomáha nastaviť požadované správanie a usmerňovať reakcie modelu.

Predstavte si scenár, v ktorom sa používateľ pokúša navrhnúť stručnú a presvedčivú marketingovú kópiu pre nový technický gadget:

užívateľ: „Tu je niekoľko príkladov technologických marketingových kópií: 'Zažite hudbu ako nikdy predtým s našimi špičkovými bezdrôtovými slúchadlami.' „Zachyťte svoj svet v ohromujúcom rozlíšení 4K pomocou našej mimoriadne elegantnej akčnej kamery.“ Vzhľadom na tieto príklady navrhnite marketingovú kópiu pre naše nové inteligentné hodinky poháňané AI.“

ChatGPT: „Posilnite svoj životný štýl s našimi inteligentnými hodinkami poháňanými umelou inteligenciou, vaším spoločníkom pre zdravie, konektivitu a produktivitu.“ Pozoruhodnou vlastnosťou niekoľkonásobného učenia je, že si nevyžaduje podrobný popis, ako úlohu vykonať. Namiesto toho vyžaduje ukážky toho, čo sa robí, vďaka čomu sa môže dobre hodiť pre mnohé aplikácie.

Okrem toho táto technika presahuje jednoduché vstupno-výstupné párovanie. Model sa dá naučiť zvládať aj medzikroky na dosiahnutie cieľa.

7) Nabádanie k reťazcu myšlienok

Vo svojom nedávnom výskumnom dokumente „Vyzývanie reťazca myšlienok vyvoláva uvažovanie vo veľkých jazykových modelochAutori Jason Wei a tím sa snažia stimulovať uvažovanie v rámci veľkých jazykových modelov. Namiesto používania tradičných priamych výziev tím využíva sériu vzájomne prepojených výziev, ktoré tvoria „myšlienkový reťazec“.

Používateľa by napríklad mohol zaujímať potenciálny vplyv umelej inteligencie na trhy práce:

užívateľ: "Mohli by ste stručne vysvetliť pojem umelá inteligencia?"

ChatGPT: „Umelá inteligencia alebo AI označuje schopnosť stroja napodobňovať inteligentné ľudské správanie. Ide o navrhovanie strojov, ktoré dokážu myslieť a učiť sa ako ľudia, čo im umožňuje vykonávať úlohy, ako je preklad jazykov, rozhodovanie a riešenie problémov.

užívateľ: "Ako AI ovplyvňuje súčasný trh práce?"

ChatGPT: „AI vytvára nové pracovné miesta a zároveň mení charakter tých existujúcich. Na jednej strane automatizuje rutinné úlohy, čo vedie k presunu pracovných miest v určitých sektoroch. Na druhej strane to vytvára dopyt po rolách, ktoré predtým neexistovali, ako sú napríklad etickí dôstojníci AI, analytici údajov a inžinieri strojového učenia. Umelá inteligencia navyše môže rozšíriť ľudské úlohy a umožniť ľuďom vykonávať úlohy efektívnejšie a presnejšie.“

Reťazové nabádanie sleduje postupnosť súvisiacich podnetov a udržiava „konverzáciu“ s modelom, ktorý ho vedie k presnejším a kontextuálne vhodnejším odpovediam.

Pochopenie API ChatGPT a rýchleho inžinierstva z pohľadu vývojára

Z pohľadu vývojára alebo výskumníka je rýchle inžinierstvo zložitejším procesom. Zahŕňa návrh algoritmov a techník, ktoré pomáhajú modelu AI porozumieť výzvam a reagovať na ne efektívnejšie. To by mohlo zahŕňať stratégie na spracovanie nejednoznačných výziev, identifikáciu kontextu výziev alebo reťazenie výziev, aby sa stimulovali zložitejšie myšlienkové procesy v AI.

Na obrázku vyššie používateľ interaguje s rozhraním četu, ktoré používa technológiu GPT-4. Ich vstup je vylepšený pre jasnosť a kontextovú konzistenciu pomocou špecializovaného modulu predtým, ako sa pridá do modelu AI. Úlohou tohto modulu je spresniť a zlepšiť vstupy používateľa pre lepšie pochopenie a zároveň zachovať kontext konverzácie. Odpoveď AI, vytvorená na základe vylepšenej výzvy, sa vráti používateľovi cez rozhranie chatu. História interakcií sa neustále aktualizuje, pričom sa zachováva kontext konverzácie. Celkovo tento diagram ilustruje dynamický tok konverzácie medzi používateľmi a AI, ktorý umožňujú techniky rýchleho inžinierstva.

ChatGPT API rozhranie je navrhnuté s rôznymi hyperparametrami, ktoré umožňujú používateľom spresniť reakcie AI na výzvy, čím sa stávajú efektívnejšie a všestrannejšie. Patria sem parametre Teplota, Maximálna dĺžka a Stop sekvencie. Poďme preskúmať, ako fungujú a môžu byť použité v rôznych kontextoch.

1) Teplota

Parameter teploty ovplyvňuje náhodnosť odpovedí AI. Vyššia teplota, ako napríklad 1.0, podporuje viac náhodných výstupov, čo vedie k rôznym, ale potenciálne mimo témy. Na rozdiel od toho nižšia teplota, napríklad 0.2, núti AI, aby vybrala deterministickejšie reakcie, ktoré môžu byť prospešné pre cielené a špecifické výstupy, ale môže im chýbať rozmanitosť.

Príklad: Ak píšete kreatívny príbeh a chcete nepredvídateľné, nápadité prvky, nastavte teplotu na vyššiu hodnotu. Výzva môže znieť: „Napíš krátky príbeh o mačke, ktorá cestuje v čase.“ Pri vysokej teplote môžete získať divoký, fantastický príbeh s nepredvídateľnými zvratmi.

2) Maximálna dĺžka

Tento parameter riadi maximálnu dĺžku tokenu výstupu modelu, ktorý zahŕňa tokeny vo vstupe správy aj na výstupe správy. Nastavenie vyššieho limitu umožňuje rozšírenejšie odozvy, zatiaľ čo nižší limit udržuje výstup krátky a výstižný.

Príklad: Stručné odpovede na triviálne otázky ako: „Kto získal Nobelovu cenu za literatúru v roku 2020?“ možno budete chcieť nastaviť maximálnu dĺžku na nízku hodnotu, aby bola odpoveď stručná a priama.

3) Zastavte sekvencie

Zastavovacie sekvencie sú špecifické reťazce textu, v ktorých, keď na ne model narazí, prestane generovať ďalší výstup. Táto funkcia môže byť užitočná pri riadení dĺžky výstupu alebo pri inštrukcii modelu, aby sa zastavil na logických koncových bodoch.

Príklad: V prípade formálneho listu môžete použiť „S pozdravom“ ako stop sekvenciu, aby ste sa uistili, že AI nevygeneruje žiadny ďalší text nad rámec správneho konca listu.

4) Hore P

Parameter 'Top P', tiež známy ako nucleus sampling, je metóda, ktorá poskytuje dynamický výber počtu slov zvažovaných v každom kroku predpovedí modelu. Nižšia hodnota, napríklad 0.5, vedie k bezpečnejším a sústredenejším výstupom. Vyššia hodnota, napríklad 0.9, zahŕňa širší výber slov, čo vedie k rôznorodejším výstupom.

Príklad: Ak vytvárate AI na písanie básní a chcete, aby používala širokú škálu slovnej zásoby a štylistických fráz, môžete nastaviť „Top P“ na vyššiu hodnotu. Výzva môže znieť: „Napíš báseň o kráse jesene.“

5) Pokuta za frekvenciu

Postih za frekvenciu určuje, do akej miery by mal model uprednostňovať menej frekventované slová. Vyšší trest (až 1) povzbudí model, aby používal menej bežné slová, zatiaľ čo nižšia hodnota (až -1) povzbudí model, aby používal bežnejšie slová.

Príklad: Ak sa pokúšate vygenerovať obchodný návrh a chcete sa vyhnúť žargónu, môžete nastaviť pokutu za frekvenciu na nižšiu hodnotu, aby bol jazyk jasný a dostupný.

6) Trest za prítomnosť

Parameter Pokuta za prítomnosť ovplyvňuje, do akej miery je model penalizovaný za generovanie nových nápadov alebo tém, ktoré neboli prítomné v histórii konverzácie. Vyššie hodnoty povzbudzujú model, aby sa držal už spomínaných tém, kým nižšie hodnoty umožňujú modelu voľnejšie zavádzať nové koncepty.

Príklad: Pri brainstormingových stretnutiach môžete nastaviť penalizáciu za prítomnosť na nižšiu hodnotu, aby ste podporili rôznorodú škálu nápadov. Môžete použiť výzvu ako: „Vygenerujte inovatívne marketingové stratégie pre online vzdelávaciu platformu“.

Priemyselná aplikácia rýchleho inžinierstva