Základní průvodce prompt engineeringem v ChatGPT

Od svého spuštění dělá ChatGPT v oblasti umělé inteligence velké vlny, když přilákal více než 100 milionů uživatelů v rekordním čase. Tajemstvím úspěchu ChatGPT a jeho působivého výkonu a všestrannosti je umění jemně zasazené do jeho programování – prompt engineering.

Spuštěno v roce 2022, DALL-E, MidJourney a StableDiffusion podtrhly narušovací potenciál generativní umělé inteligence. Ale až ChatGPT od Open AI skutečně dosáhl skutečného úspěchu později v roce 2022. A tento trend se nezastavil.

Oznámení Google o Bard a Llama 2 společnosti Meta jako odpověď na ChatGPT od Open AI výrazně zesílilo momentum AI závodů. Poskytováním těmto modelům vstupních údajů řídíme jejich chování a odpovědi. To dělá z nás všechny jistým způsobem inženýry promptů. Průmysl si toho všiml. Venture kapitáloví investoři investují do startupů zaměřených na prompt engineering, jako je Vellum AI. Kromě toho Forbes uvádí, že inženýři promptů dostávají platy přesahující 300 000 dolarů, což naznačuje prosperující a hodnotný trh práce.

V tomto článku budeme odhalovat svět prompt engineeringu v kontextu ChatGPT. Prozkoumáme základní principy a techniky a prozkoumáme jejich komerční aplikace.

Nejdříve pochopíme, jak ChatGPT funguje a klíčovou roli, kterou prompt engineering hraje v tomto procesu.

Mechanika za prompt engineeringem ChatGPT

Tajemstvím úspěchu ChatGPT je jeho schopnost pochopit a napodobit nuance lidské konverzace. Model je trénován na rozmanitém spektru internetového textu, ale zásadně nezná konkrétní dokumenty nebo zdroje ve svém tréninkovém souboru, což zajišťuje generalizaci nad specifičností. Tento tréninkový přístup umožňuje ChatGPT generovat kreativní odpovědi, navigovat komplexní dialogy a dokonce vykazovat smysl pro humor. Je však důležité si uvědomit, že ChatGPT skutečně nerozumí obsahu ani nemá vlastní přesvědčení; generuje odpovědi na základě vzorců, které se naučil během tréninku.

Schopnost ChatGPT pochopit a reagovat na lidský jazyk v nuancované a kontextově vědomé podobě jej činí neuvěřitelně všestranným nástrojem.

Mechanika těchto modelů spočívá na konceptu “tokenů” – diskrétních částí jazyka, které mohou sahat od jediného znaku po celé slovo. Tyto modely pracují s určitým počtem tokenů najednou (4096 pro GPT-3.5-Turbo nebo 8192 nebo 32768 pro GPT-4), předpovídající následující sekvenci pravděpodobných tokenů. Modely zpracovávají tokeny pomocí komplexní lineární algebry, předpovídající nejpravděpodobnější následující token.

Například jednoduchá devítislovná věta by se mohla stát deseti tokeny. I jedno složité slovo by se mohlo stát několika tokeny, což pomáhá modelu lépe pochopit a generovat jazyk. I jazyky s komplexními slovními strukturami, jako je němčina, jsou spravovány prostřednictvím tokenizace.

GPT (Generative Pre-trained Transformer) modely fungují generováním jednoho tokenu najednou, začínajícího od prvního tokenu a pokračujícího až do posledního. Po generování každého tokenu model znovu zpracovává celou sekvenci a generuje další token. Tento iterativní proces pokračuje, dokud není vygenerován poslední token, čímž se generování textu podobá velké smyčce.

Ale tady je háček – kvalita těchto odpovědí závisí do značné míry na promptech, které dostává. Stejně jako při vedení konverzace s člověkem, vedení dialogu s ChatGPT vyžaduje jistou úroveň dovedností a porozumění. To je místo, kde prompt engineering vstupuje do hry.

Co je prompt engineering?

Prompt Engineering je umění vytvářet přesné, efektivní prompty/vstupy pro vedení AI (NLP/Vision) modelů, jako je ChatGPT, k generování co nejefektivnějších, přesných, užitečných a bezpečných výstupů.

Prompt engineering není omezen pouze na generování textu, ale má široké aplikace v celé oblasti AI. Je stále více využíván v oblastech, jako je robotická automatizace procesů, 3D aktiva, skripty, robotické instrukce a další typy obsahu a digitálních médií. Poskytuje jedinečnou směs logiky, kódování, umění a v některých případech speciálních modifikátorů.

Zatímco prompt může zahrnovat přirozený jazykový text, obrázky nebo jiné typy vstupních dat, výstup se může výrazně lišit napříč AI službami a nástroji. Každý nástroj má své speciální modifikátory, které popisují váhu slov, styly, perspektivy, rozložení nebo jiné vlastnosti požadované odpovědi.

Tento obor je nezbytný pro vytváření lepších AI poháněných služeb a získávání lepších výsledků z existujících generativních AI nástrojů. Například enterprise vývojáři často využívají prompt engineering k přizpůsobení velkých jazykových modelů (LLM), jako je GPT-3, pro napájení zákaznického chatbota nebo pro úkoly, jako je vytváření odvětvově specifických smluv.

Tento iterativní proces zpřesňování promptů a měření AI výkonu je klíčovým prvkem při umožňování AI modelům generovat vysoce cílené, užitečné odpovědi v různých kontextech.

Jak se stát prompt inženýrem

Schopnost modelu GPT-4 pochopit komplexní instrukce a řešit složité problémy přesně jej činí nepostradatelným zdrojem. Existují však různé metody, jak využít schopnosti tohoto modelu, a porozumění jim je zásadní pro roli prompt inženýra při optimalizaci jak účinnosti, tak nákladové efektivity.

Existují zásadně dva způsoby, jak pracovat s GPT modely, jako je GPT-4. Jedním ze způsobů je prostřednictvím OpenAI API, kde jsou náklady počítány na základě vstupních a výstupních tokenů. V tomto scénáři se náklady na 1 000 tokenů mohou lišit v závislosti na velikosti kontextu. Například ve větším kontextu 32K by náklady mohly vzrůst na 0,06 dolaru za vstupní tokeny a 0,12 dolaru za výstupní tokeny. Proto, při zpracování velkého objemu požadavků, náklady na použití se mohou rychle nahromadit.

Na druhé straně ChatGPT, který využívá model GPT-4, funguje na základě předplatného.

Dalším klíčovým úkolem v prompt engineeringu je ladění parametrů modelu. Tento proces zahrnuje úpravu proměnných, které model používá pro předpovědi. Díky jemnému ladění těchto parametrů mohou prompt inženýři zlepšit kvalitu a přesnost odpovědí modelu, činí je kontextově relevantnějšími a užitečnějšími.

Ačkoli mnozí prompt inženýři pocházejí z technického prostředí, multidisciplinární povaha tohoto oboru činí jej přístupným pro lidi z různých profesních prostředí. Stále více spisovatelé, výzkumníci a dokonce i umělci využívají své jedinečné dovednosti ke zlepšení účinnosti AI modelů. Tato změna se odráží i na trhu práce, kde stále více společností hledá prompt inženýry s širokým spektrem dovedností a prostředí.

Prompt Design a inženýrství v ChatGPT

Prompt Design a inženýrství hrají zásadní roli při optimalizaci výkonu jazykových modelů a zahrnují více než jen vytváření otázek; vyžadují hluboké porozumění AI modelu a vysoce iterativní a rafinovaný přístup.

Prompt Design

Prompt design je ve své podstatě umění a věda vytvářet ideální prompt pro velký jazykový model (LLM), jako je ChatGPT, k dosažení jasně stanoveného cíle. Je to směs:

• Porozumění LLM: Různé jazykové modely mohou reagovat odlišně na stejný prompt. Kromě toho mohou některé jazykové modely mít jedinečné klíčové slovo nebo spouštěče, které interpretují specifickým způsobem.
• Znalost oboru: Odbornost v relevantním oboru je zásadní při navrhování promptů. Například generování promptu pro odvození lékařské diagnózy by vyžadovalo lékařské znalosti.
• Iterativní přístup a měření kvality: Proces vytváření ideálního promptu často zahrnuje pokusy a omyly. Proto je důležité mít způsob, jak vyhodnotit kvalitu výstupu za hranicí subjektivního úsudku, zejména při použití promptu ve větším měřítku.

Prompt Engineering

Prompt engineering je rozšířenou oblastí prompt designu, která zahrnuje několik kritických procesů:

• Navrhování promptů ve velkém měřítku: Tento proces zahrnuje návrh meta promptů (promptů, které generují další prompty) a prompt šablon, které jsou parametrizované prompty, které lze instancovat v době běhu.
• Navrhování nástrojů a integrace: Prompty mohou někdy zahrnovat výsledky z externích nástrojů, a jejich bezproblémová integrace do systému je zásadní.
• Pracovní postupy, plánování a správa promptů: Nasazení LLM aplikace, jako je chatbot, často vyžaduje správu knihoven promptů, plánování a výběr správných promptů a efektivní integraci různých nástrojů.
• Vyhodnocení a zajištění kvality promptů: Tento aspekt zahrnuje definování metrik a procesů pro vyhodnocení promptů jak automaticky, tak s lidskou účastí.
• Optimalizace promptů: Náklad a latence AI modelu mohou záviset na výběru modelu a délce promptu (počtu tokenů).

Byly vyvinuty mnohé automatizované přístupy k navrhování promptů, nástroje a rámce pro správu promptů ve velkém měřítku. Je však důležité si uvědomit, že žádný z těchto nástrojů nemůže nahradit nuancované porozumění, úsudek a zkušenosti zkušených prompt inženýrů.

Prompt Engineering: Techniky a nejlepší postupy

1) Umístění a popis promptu

Umístění instrukcí na začátku promptu může výrazně ovlivnit porozumění AI a odpověď. Zvažte úkol souhrnu textu ve formátu seznamu bodů. Méně efektivní přístup by byl:

Uživatel: Shrňte níže uvedený text do seznamu nejdůležitějších bodů.
{zde vložte text}

Naproti tomu účinnější technika by mohla být:

Uživatel: Shrňte níže uvedený text do seznamu nejdůležitějších bodů.
Text: “””
{zde vložte text}
“””

Příslušným oddělením instrukcí a kontextu pomocí symbolů, jako jsou ### nebo “”, může AI model lépe vymezit svou úlohu a text, který potřebuje zpracovat, a tím poskytovat přesnější a relevantnější odpovědi.

Zadruhé, být specifický, popisný a podrobný o kontextu, očekávaném výsledku, délce, formátu, stylu atd. může výrazně zlepšit přesnost AI odpovědí. Předpokládejme, že potřebujete vygenerovat stručný přehled vědeckého článku v přitažlivém, laicky srozumitelném stylu. Nejasná instrukce, jako je “Souhrn vědeckého článku”, by vedla k méně efektivnímu výsledku ve srovnání se specifickou, podrobnou instrukcí:

Uživatel: Vygenerujte stručný (přibližně 200 slov) přehled následujícího vědeckého článku. Přehled by měl být srozumitelný pro někoho bez vědeckého zázemí, zatímco přesně odráží hlavní zjištění článku.
Článek: “””
{vědecký článek text zde}
“””

2) Persona Pattern

Persona Pattern je strategie, která nastavuje AI, aby fungovala z určité perspektivy, jako je profesionální role nebo fiktivní postava. Tato taktika umožňuje modelu poskytovat výstupy související s konkrétními rolemi, které osoba zpracovává. Například můžete instruovat AI, aby fungovala jako odborník na kybernetickou bezpečnost během kódového přezkumu. Tento vzorec je zvláště užitečný, když uživatelé potřebují pomoc, ale nejsou si jisti o přesných detailech požadovaných ve výstupu.

Vezměte si následující příklad:

Uživatel: “Vžijte se do role zkušeného historika specializujícího se na Francouzskou revoluci. Z této role vysvětlete klíčové události a důvody vedoucí ke konci Francouzské monarchie.”

V tomto scénáři se AI očekává, že poskytne hlubokou analýzu Francouzské revoluce, zaměřenou na pád monarchie, jako by to dělal historik.

Předávání nových informací

ChatGPT nemá znalosti o událostech po datu ukončení svého trénování, a proto nemůže poskytnout informace o nedávných událostech nebo aktualizacích po jeho tréninku. Nicméně, můžete mu představit nové informace prostřednictvím vašich promptů.

Uživatel: “Co je kryptoměna?”
ChatGPT: “Kryptoměna je typ digitální nebo virtuální měny, která používá kryptografii pro bezpečnost. Nejznámější kryptoměnou je Bitcoin.”

Nyní, pokud přidáme trochu více kontextu k promptu, můžeme učinit vysvětlení ještě intuitivnější:

Uživatel: “Vysvětlíte koncept kryptoměny studentovi střední školy, který studuje digitální finance”
ChatGPT: “Představte si, že hrajete online videohru a máte herní peníze, které můžete vydělat, abyste koupili vylepšení nebo nové postavy. Kryptoměna je podobná, ale místo toho, aby byla omezena na hru, můžete ji použít k nákupu skutečných věcí a služeb. Je to jako digitální peníze, které žádná banka nebo vláda nekontroluje.”

3) Omezení velikosti promptu

Porozumění velikostnímu omezení ChatGPT je zásadní, protože to přímo ovlivňuje objem a typ informací, které můžeme zadat. Jazykové modely nejsou postaveny pro zpracování neomezených dat najednou. Mají vrozené omezení velikosti promptu, který můžeme vytvořit a zadat. Toto omezení má hluboké důsledky pro design a provedení promptů.

Délka kontextu modelu omezuje součet vstupu a vygenerované odpovědi. Poznámka k původnímu článku: uváděných 2048 tokenů není univerzální limit ChatGPT; skutečný limit závisí na konkrétním modelu. To znamená, že dlouhé prompty mohou omezit délku odpovědi. Proto je důležité držet prompty stručné, ale informativní.

V praktickém použití musíme fungovat jako editoři, vybírající pečlivě nejrelevantnější informace pro úlohu. Představte si psaní článku nebo eseje s omezením slov nebo stránek – nemůžete prostě naházet náhodné fakty, ale musíte pečlivě vybrat a strukturovat informace relevantní k tématu.

Uživatel: “Vzhledem k tokenovým omezením modelu, souhrn nejvýznamnějších událostí druhé světové války v méně než 1000 slovech.”

Příslušným uznáním tokenových omezení modelu, tento prompt směruje AI k poskytnutí stručného, ale komplexního souhrnu druhé světové války.

Prompty pro opakované použití: V konverzační situaci můžete znovu použít prompty nebo je upravit na základě předchozích odpovědí. To poskytuje konverzační tok a udržuje kontext interakce.

4) Vzorec rafinace otázky

ChatGPT může také pomoci rafinovat vaše otázky. Například, pokud položíte otázku, může navrhnout lepší formulaci pro přesnější výsledky.

Vzorec rafinace otázky zahrnuje LLM rafinaci otázek položených uživatelem. Je to zvláště užitečné, když uživatelé nejsou odborníky v daném oboru nebo nejsou si jisti, jak formulovat svou otázku.

Příkladem promptu může být:

Uživatel: “Kdykoli položím otázku o datové vědě, navrhněte lepší formulaci s ohledem na statistickou analýzu a zeptejte se, zda chci pokračovat s rafinovanou otázkou.”

Zde se AI očekává, že zrefinuje obecné otázky uživatelů o datové vědě na podrobnější otázky, které zahrnují statistickou analýzu.

5) Kognitivní verifikační vzorec

Kognitivní verifikační vzorec rozděluje komplexní otázky na menší, zvladatelné sub-otázky. Odpovědi na tyto sub-otázky jsou pak kombinovány, aby poskytly komplexní odpověď na hlavní otázku. Tento přístup je užitečný, když počáteční otázky jsou příliš obecné nebo když je zapotřebí další vyjasnění, aby se poskytla kompletní odpověď.

Například:

Uživatel: “Pokud položím otázku o změně klimatu, rozdělte ji na tři menší otázky, které by vám pomohly poskytnout přesnější odpověď. Kombinujte odpovědi na tyto sub-otázky, aby se poskytla konečná odpověď.”

V tomto scénáři AI rozdělí komplexní otázku o změnu klimatu na tři zvladatelné sub-otázky. Po obdržení odpovědí na tyto sub-otázky pak AI kombinuje tyto odpovědi, aby poskytlo komplexnější a přesnější odpověď.

Tento vzorec zahrnuje generování více otázek, aby se získala přesnější konečná odpověď. Je to proces verifikace a konsolidace informací pro robustní konečnou odpověď.

6) Promptování s několika příklady

Few-shot prompting je silný přístup pro učení AI modelů, aby následovaly specifické vzorce nebo prováděly úkoly. Nápad spočívá v krmení modelu několika příklady předtím, než se položí požadovaná otázka. To pomáhá nastavit požadované chování a směruje odpovědi modelu.

Zvažte scénář, kde uživatel se snaží vytvořit stručný, přesvědčivý marketingový text pro nový technologický gadget:

Uživatel: “Zde jsou několik příkladů marketingových textů pro technologii: ‘Zažijte hudbu jako nikdy předtím s našimi špičkovými bezdrátovými sluchátky.’ ‘Zachyťte váš svět ve fantastickém 4K s našimi ultra-špičkovými akčními kamerami.’ Na základě těchto příkladů, vytvořte marketingový text pro naše nové chytré hodinky s podporou AI.”

ChatGPT: “Zapojte se do svého životního stylu s našimi AI poháněnými chytrými hodinkami, vaším společníkem pro zdraví, připojení a produktivitu.” Výjimečnou vlastností few-shot učení je, že nevyžaduje podrobné vysvětlení, jak úkol provést. Místo toho vyžaduje demonstrace toho, co se dělá, což jej činí vhodným pro mnoho aplikací.

Navíc, tato technika sahá za hranice jednoduchého vstupně-výstupního párování. Model se může také naučit zpracovávat mezilehlé kroky k dosažení cíle.

7) Chain-of-Thought Prompting

V nedávné výzkumné práci “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” autoři Jason Wei a tým se snaží stimulovat myšlení ve velkých jazykových modelech. Místo tradičních, přímých promptů, tým využívá série propojených promptů, tvořících “řetězec myšlenek”.

Například uživatel by mohl být zajímán o potenciální dopad umělé inteligence na pracovní trhy:

Uživatel: “Mohli byste stručně vysvětlit koncept umělé inteligence?”

ChatGPT: “Umělá inteligence, nebo AI, se týká schopnosti stroje napodobit inteligentní lidské chování. Je to o navrhování strojů, které mohou myslet a učit se jako lidé, umožňující jim provádět úkoly, jako je překlad jazyka, rozhodování a řešení problémů, mezi jinými.”

Uživatel: “Jak AI ovlivňuje současný pracovní trh?”

ChatGPT: “AI vytváří nová pracovní místa a mění povahu stávajících. Na jedné straně automatizuje rutinní úkoly, vedoucí k ztrátě pracovních míst v určitých sektorech. Na druhé straně vytváří poptávku po rolích, které dříve neexistovaly, jako jsou AI etičtí úředníci, analytici dat a inženýři strojového učení. Kromě toho AI může augmentovat lidské role, umožňující lidem dokončovat úkoly efektivněji a přesněji.”

Chain-of-thought prompting sleduje posloupnost souvisejících promptů, udržující “konverzaci” s modelem, která směruje k přesnějším a kontextově vhodnějším odpovědím.

Porozumění ChatGPT API a prompt engineeringu z perspektivy developera

Z perspektivy developera nebo výzkumníka je prompt engineering složitější proces. Zahrnuje návrh algoritmů a technik, aby AI model lépe porozuměl a reagoval na prompty. To může zahrnovat strategie pro zpracování nejednoznačných promptů, identifikaci kontextu promptů nebo řetězení promptů, aby se stimulovaly komplexnější myšlenkové procesy v AI.

Ve výše uvedeném diagramu uživatel interaguje s chat rozhraním, poháněným GPT-4. Jeho vstup je vylepšen pro jasnost a kontextovou konzistenci speciálním modulem, než je předán AI modelu. Role tohoto modulu je vylepšit a zdokonalit vstup uživatele pro lepší porozumění, zatímco udržuje kontext konverzace. Odpověď AI, vytvořená na základě vylepšeného promptu, je vrácena uživateli prostřednictvím chat rozhraní. Historie interakce je aktualizována konzistentně, udržující kontext konverzace. Celkově tento diagram ilustruje dynamický tok konverzace mezi uživatelem a AI, umožněný technikami prompt engineeringu.

Rozhraní ChatGPT API je navrženo s různými hyperparametry, které umožňují uživatelům rafinovat odpovědi AI na prompty, činí je účinnějšími a všestrannějšími. Tyto zahrnují parametry Temperature, Maximum Length a Stop Sequences. Pojďme prozkoumat, jak fungují a jak je lze využít v různých kontextech.

1) Teplota

Parametr teploty ovlivňuje náhodnost odpovědí AI. Vyšší teplota, jako 1,0, podporuje více náhodné výstupy, vedoucí k rozmanitým, ale potenciálně mimo téma odpovědím. Naopak, nižší teplota, jako 0,2, vede AI k výběru více deterministických odpovědí, které jsou prospěšné pro zaměřené a specifické výstupy, ale mohou postrádat rozmanitost.

Příklad: Pokud píšete kreativní příběh a chcete nepředvídatelné, fantastické prvky, nastavte teplotu na vyšší hodnotu. Prompt by mohl být: “Napište krátký příběh o kočce cestující v čase.” S vysokou teplotou byste mohli získat divoký, fantastický příběh s nepředvídatelnými zvraty a otočkami.

2) Maximální délka

Tento parametr omezuje počet tokenů, které může model vygenerovat ve výstupu. Poznámka k původnímu článku: vstupní tokeny nejsou součástí limitu výstupu, ale vstup i výstup se musí vejít do kontextového okna modelu. Nastavení vyššího limitu umožňuje delší odpovědi, zatímco nižší limit udržuje výstup krátký a stručný.

Příklad: Pro krátké odpovědi na otázky, jako je “Kdo získal Nobelovu cenu za literaturu v roce 2020?”, byste mohli nastavit maximální délku na nízkou hodnotu, aby byla odpověď stručná a přímá.

3) Stop sekvence

Stop sekvence jsou specifické řetězce textu, kde, když model narazí na ně, přestane generovat další výstup. Tato funkce může být užitečná pro kontrolu délky výstupu nebo pro instruování modelu, aby zastavil na logických koncových bodech.

Příklad: Pro formální dopis byste mohli použít „S pozdravem,“ jako stop sekvenci, aby AI nezgenerovala žádný další text za řádným koncem dopisu.

4) Top P

Parametr “Top P”, také známý jako jaderné vzorkování, je metoda, která poskytuje dynamické výběry počtu slov, která jsou zvažována při každém kroku předpovědí modelu. Nižší hodnota, jako 0,5, vede k bezpečnějším, více zaměřeným výstupům. Vyšší hodnota, jako 0,9, zahrnuje širší výběr slov, vedoucí k více rozmanitým výstupům.

Příklad: Pokud vytváříte AI pro psaní básní a chcete, aby používala širokou škálu slovní zásoby a stylistických frází, nastavte “Top P” na vyšší hodnotu. Prompt by mohl být: “Zkomponujte báseň o kráse podzimu.”

5) Frekvenční penalizace

Frekvenční penalizace (frequency_penalty) omezuje opakování tokenů podle toho, jak často se již v textu objevily. Kladná hodnota potlačuje opakování, záporná ho může podporovat. Poznámka k původnímu článku: nejde o obecnou četnost slov v jazyce ani o přímý nástroj pro omezení odborného žargonu.

Příklad: Pokud při generování obchodního návrhu model příliš opakuje stejné formulace, lze vyzkoušet kladnou frekvenční penalizaci. Srozumitelnost a omezení žargonu je vhodné požadovat přímo v promptu.

6) Penalizace přítomnosti tokenů

Penalizace přítomnosti (presence_penalty) zohledňuje, zda se token již v textu objevil. Kladné hodnoty potlačují již použité tokeny, a mohou tak podporovat nová témata. Poznámka k původnímu článku: jeho popis účinku vyšších a nižších hodnot byl obrácený.

Příklad: Při brainstormingu lze vyzkoušet vyšší kladnou penalizaci přítomnosti, která může podpořit rozmanitější témata. Prompt by mohl být: “Generujte inovativní marketingové strategie pro online vzdělávací platformu.”

Průmyslové aplikace prompt engineeringu