Základní průvodce prompt engineeringem v ChatGPT

Od svého spuštění dělá ChatGPT v oblasti umělé inteligence velké vlny, když přilákal více než 100 milionů uživatelů v rekordním čase. Tajemstvím úspěchu ChatGPT a jeho působivého výkonu a všestrannosti je umění jemně zasazené do jeho programování – prompt engineering.

Spuštěno v roce 2022, DALL-E, MidJourney a StableDiffusion podtrhly narušovací potenciál generativní umělé inteligence. Ale až ChatGPT od Open AI真的 dosáhl skutečného úspěchu později v roce 2022. A tento trend se nezastavil.

Oznámení Google o Bard a Meta’s Llama 2 jako odpověď na ChatGPT od Open AI výrazně zesílilo momentum AI závodů. Poskytováním těchto modelům vstupních údajů řídíme jejich chování a odpovědi. To dělá z nás všechny jistým způsobem inženýry promptů. Průmysl si toho všiml. Venture kapitáloví investoři investují do startupů zaměřených na prompt engineering, jako je Vellum AI. Kromě toho Forbes uvádí, že inženýři promptů dostávají platy přesahující 300 000 dolarů, což naznačuje prosperující a hodnotný trh práce.

V tomto článku budeme odhalovat svět prompt engineeringu v kontextu ChatGPT. Prozkoumáme základní principy a techniky a prozkoumáme jejich komerční aplikace.

Nejdříve pochopíme, jak ChatGPT funguje a klíčovou roli, kterou prompt engineering hraje v tomto procesu.

Mechanika za prompt engineeringem ChatGPT

Tajemstvím úspěchu ChatGPT je jeho schopnost pochopit a napodobit nuance lidské konverzace. Model je trénován na rozmanitém spektru internetového textu, ale zásadně nezná konkrétní dokumenty nebo zdroje ve svém tréninkovém souboru, což zajišťuje generalizaci nad specifičností. Tento tréninkový přístup umožňuje ChatGPT generovat kreativní odpovědi, navigovat komplexní dialogy a dokonce vykazovat smysl pro humor. Je však důležité si uvědomit, že ChatGPT skutečně nerozumí nebo nemá víru; generuje odpovědi na základě vzorců, které se naučil během tréninku.

Schopnost ChatGPT pochopit a reagovat na lidský jazyk v nuancované a kontextově vědomé podobě jej činí neuvěřitelně všestranným nástrojem.

Mechanika těchto modelů spočívá na konceptu “tokenů” – diskrétních částí jazyka, které mohou sahající od jediného znaku po celý slovo. Tyto modely pracují s určitým počtem tokenů najednou (4096 pro GPT-3.5-Turbo nebo 8192 nebo 32768 pro GPT-4), předpovídající následující sekvenci pravděpodobných tokenů. Modely zpracovávají tokeny pomocí komplexní lineární algebry, předpovídající nejpravděpodobnější následující token.

Například jednoduchá devítislovná věta by se mohla stát deseti tokeny. I jeden složitý slovo by se mohlo stát několika tokeny, což pomáhá modelu lépe pochopit a generovat jazyk. I jazyky s komplexními slovními strukturami, jako je němčina, jsou spravovány prostřednictvím tokenizace.

GPT (Generative Pre-trained Transformer) modely fungují generováním jednoho tokenu najednou, začínajícího od prvního tokenu a pokračujícího až do posledního. Po generování každého tokenu model znovu zpracovává celou sekvenci a generuje další token. Tento iterativní proces pokračuje, dokud není vygenerován poslední token, čímž se generování textu podobá velké smyčce.

Ale tady je háček – kvalita těchto odpovědí závisí do značné míry na promptech, které dostává. Stejně jako při vedení konverzace s člověkem, vedení dialogu s ChatGPT vyžaduje jistou úroveň dovedností a porozumění. To je místo, kde prompt engineering vstupuje do hry.

Co je prompt engineering?

Prompt Engineering je umění vytvářet přesné, efektivní prompty/vstupy pro vedení AI (NLP/Vision) modelů, jako je ChatGPT, k generování nejvíce nákladově efektivní, přesné, užitečné a bezpečné výstupů.

Prompt engineering není omezen pouze na generování textu, ale má široké aplikace v celém AI doméně. Je stále více využíván v oblastech, jako je robotická automatizace, 3D aktiva, skripty, robotické instrukce a další typy obsahu a digitálních médií. Poskytuje jedinečnou směs logiky, kódování, umění a v některých případech speciálních modifikátorů.

Zatímco prompt může zahrnovat přirozený jazykový text, obrázky nebo jiné typy vstupních dat, výstup se může výrazně lišit napříč AI službami a nástroji. Každý nástroj má své speciální modifikátory, které popisují váhu slov, styly, perspektivy, rozložení nebo jiné vlastnosti požadované odpovědi.

Tento obor je nezbytný pro vytváření lepších AI poháněných služeb a získávání lepších výsledků z existujících generativních AI nástrojů. Například enterprise vývojáři často využívají prompt engineering k přizpůsobení velkých jazykových modelů (LLM), jako je GPT-3, pro napájení zákaznického chatbota nebo pro úkoly, jako je vytváření odvětvově specifických smluv.

Tento iterativní proces promptové rafinace a měření AI výkonu je klíčovým prvkem při umožňování AI modelům generovat vysoce cílené, užitečné odpovědi v různých kontextech.

Jak se stát prompt inženýrem

Schopnost modelu GPT-4 pochopit komplexní instrukce a řešit složitá problémy přesně jej činí nepostradatelným zdrojem. Existují však různé metody, jak využít schopnosti tohoto modelu, a porozumění jim je zásadní pro roli prompt inženýra při optimalizaci jak účinnosti, tak nákladové efektivity.

Existují zásadně dva způsoby, jak pracovat s GPT modely, jako je GPT-4. Jedním ze způsobů je prostřednictvím OpenAI API, kde jsou náklady počítány na základě vstupních a výstupních tokenů. V tomto scénáři se náklady na 1 000 tokenů mohou lišit v závislosti na velikosti kontextu. Například v větším kontextu 32K by náklady mohly vzrůst na 0,06 dolaru za vstupní tokeny a 0,12 dolaru za výstupní tokeny. Proto, při zpracování velkého objemu požadavků, náklady na použití se mohou rychle nahromadit.

Na druhé straně ChatGPT, který využívá model GPT-4, funguje na základě předplatného.

Dalším klíčovým úkolem v prompt engineeringu je ladění parametrů modelu. Tento proces zahrnuje úpravu proměnných, které model používá pro předpovědi. Díky jemnému ladění těchto parametrů mohou prompt inženýři zlepšit kvalitu a přesnost odpovědí modelu, činí je kontextově relevantnějšími a užitečnějšími.

Ačkoli mnozí prompt inženýři pocházejí z technického prostředí, multidisciplinární povaha tohoto oboru činí jej přístupným pro lidi z různých profesních prostředí. Stále více spisovatelé, výzkumníci a dokonce i umělci využívají své jedinečné dovednosti ke zlepšení účinnosti AI modelů. Tato změna se odráží i na trhu práce, kde se stále více společností hledají prompt inženýři s širokým spektrem dovedností a prostředí.

Prompt Design a inženýrství v ChatGPT

Prompt Design a inženýrství hrají zásadní roli při optimalizaci výkonu jazykových modelů a zahrnují více než jen vytváření otázek; vyžadují hluboké porozumění AI modelu a vysoce iterativní a rafinovaný přístup.

Prompt Design

Prompt design je ve své podstatě umění a věda vytvářet ideální prompt pro velký jazykový model (LLM), jako je ChatGPT, k dosažení jasně stanoveného cíle. Je to směs:

• Porozumění LLM: Různé jazykové modely mohou reagovat odlišně na stejný prompt. Kromě toho mohou některé jazykové modely mít jedinečné klíčové slovo nebo spouštěče, které interpretují specifickým způsobem.
• Oblastní znalosti: Odbornost v relevantním oboru je zásadní při navrhování promptů. Například generování promptu pro odvození lékařské diagnózy by vyžadovalo lékařské znalosti.
• Iterativní přístup a měření kvality: Proces vytváření ideálního promptu často zahrnuje pokusy a omyly. Proto je důležité mít způsob, jak vyhodnotit kvalitu výstupu za hranicí subjektivního úsudku, zejména při použití promptu v větším měřítku.

Prompt Engineering

Prompt engineering je rozšířenou oblastí prompt designu, která zahrnuje několik kritických procesů:

• Navrhování promptů ve velkém měřítku: Tento proces zahrnuje návrh meta promptů (promptů, které generují další prompty) a prompt šablon, které jsou parametrizované prompty, které lze instancovat v době běhu.
• Navrhování nástrojů a integrace: Prompty mohou někdy zahrnovat výsledky z externích nástrojů, a jejich bezproblémová integrace do systému je zásadní.
• Práce, plánování a správa promptů: Nasazení LLM aplikace, jako je chatbot, často vyžaduje správu knihoven promptů, plánování a výběr správných promptů a efektivní integraci různých nástrojů.
• Vyhodnocení a zajištění kvality promptů: Tento aspekt zahrnuje definování metrik a procesů pro vyhodnocení promptů jak automaticky, tak s lidskou účastí.
• Optimalizace promptů: Náklad a latence AI modelu mohou záviset na výběru modelu a délce promptu (počtu tokenů).

Byly vyvinuty многие automatizované přístupy k navrhování promptů, nástroje a rámce pro správu promptů ve velkém měřítku. Je však důležité si uvědomit, že žádný z těchto nástrojů nemůže nahradit nuancované porozumění, úsudek a zkušenosti zkušených prompt inženýrů.

Prompt Engineering: Techniky a nejlepší postupy

1) Umístění a popis promptu

Umístění instrukcí na začátku promptu může výrazně ovlivnit porozumění AI a odpověď. Zvažte úkol souhrnu textu ve formátu seznamu bodů. Méně efektivní přístup by byl:

Uživatel: Souhrn textu níže jako seznam bodů nejvýznamnějších bodů.
{text input zde}

Naproti tomu účinnější technika by mohla být:

Uživatel: Souhrn textu níže jako seznam bodů nejvýznamnějších bodů.
Text: “””
{text input zde}
“””

Příslušným oddělením instrukcí a kontextu pomocí symbolů, jako jsou ### nebo “”, může AI model lépe vymezit svou úlohu a text, který potřebuje zpracovat, a tím poskytovat přesnější a relevantnější odpovědi.

Zadruhé, být specifický, popisný a podrobný o kontextu, očekávaném výsledku, délce, formátu, stylu atd. může výrazně zlepšit přesnost AI odpovědí. Předpokládejme, že potřebujete vygenerovat stručný přehled vědeckého článku v přitažlivém, laicky srozumitelném stylu. Nejasná instrukce, jako je “Souhrn vědeckého článku”, by vedla k méně efektivnímu výsledku ve srovnání se specifickou, podrobnou instrukcí:

Uživatel: Vygenerujte stručný (přibližně 200 slov) přehled následujícího vědeckého článku. Přehled by měl být srozumitelný pro někoho bez vědeckého zázemí, zatímco přesně odráží hlavní zjištění článku.
Článek: “””
{vědecký článek text zde}
“””

2) Persona Pattern

Persona Pattern je strategie, která nastavuje AI, aby fungoval z bestimmé perspektivy, jako je profesionální role nebo fiktivní postava. Tato taktika umožňuje modelu poskytovat výstupy související s konkrétními rolemi, které osoba zpracovává. Například můžete instruovat AI, aby fungovala jako odborník na kybernetickou bezpečnost během kódového přezkumu. Tento vzorec je zvláště užitečný, když uživatelé potřebují pomoc, ale nejsou si jisti o přesných detailech požadovaných ve výstupu.

Vezměte si následující příklad:

Uživatel: “Předpokládejte osobu senior historika specializujícího se na Francouzskou revoluci. S touto osobou vysvětlete klíčové události a důvody vedoucí ke konci Francouzské monarchie.”

V tomto scénáři se AI očekává, že poskytne hlubokou analýzu Francouzské revoluce, zaměřenou na pád monarchie, jako by to dělal historik.

Introdukce nových informací

ChatGPT nemá znalosti beyond jeho tréninkového_cutoffu, a proto nemůže poskytnout informace o nedávných událostech nebo aktualizacích po jeho tréninku. Nicméně, můžete mu představit nové informace prostřednictvím vašich promptů.

Uživatel: “Co je kryptoměna?”
ChatGPT: “Kryptoměna je typ digitální nebo virtuální měny, která používá kryptografii pro bezpečnost. Nejznámější kryptoměnou je Bitcoin.”

Nyní, pokud přidáme trochu více kontextu k promptu, můžeme učinit vysvětlení ještě intuitivnější:

Uživatel: “Vysvětlíte koncept kryptoměny studentovi střední školy, který studuje digitální finance”
ChatGPT: “Představte si, že hrajete online videohru a máte herní peníze, které můžete vydělat, aby jste koupili vylepšení nebo nové postavy. Kryptoměna je podobná, ale místo toho, aby byla omezena na hru, můžete ji použít k nákupu skutečných věcí a služeb. Je to jako digitální peníze, které žádná banka nebo vláda nekontroluje.”

3) Omezení velikosti promptu

Porozumění velikostnímu omezení ChatGPT je zásadní, protože to přímo ovlivňuje objem a typ informací, které můžeme zadat. Jazykové modely nejsou postaveny pro zpracování neomezených dat najednou. Mají vrozené omezení velikosti promptu, který můžeme vytvořit a zadat. Toto omezení má hluboké důsledky pro design a provedení promptů.

ChatGPT má tokenové omezení (obecně 2048 tokenů), které zahrnuje jak prompt, tak vygenerovanou odpověď. To znamená, že dlouhé prompty mohou omezit délku odpovědi. Proto je důležité držet prompty stručné, ale informativní.

V praktickém použití musíme fungovat jako editoři, vybírající pečlivě nejrelevantnější informace pro úlohu. Představte si psaní článku nebo eseje s omezením slov nebo stránek – nemůžete prostě naházet náhodné fakty, ale musíte pečlivě vybrat a strukturovat informace relevantní k tématu.

Uživatel: “Vzhledem k tokenovým omezením modelu, souhrn nejvýznamnějších událostí druhé světové války v méně než 1000 slovech.”

Příslušným uznáním tokenových omezení modelu, tento prompt směruje AI k poskytnutí stručného, ale komplexního souhrnu druhé světové války.

Prompty pro opakované použití: V konverzační situaci můžete znovu použít prompty nebo je upravit na základě předchozích odpovědí. To poskytuje konverzační tok a udržuje kontext interakce.

4) Vzorec rafinace otázky

ChatGPT může také pomoci rafinovat vaše otázky. Například, pokud položíte otázku, může navrhnout lepší formulaci pro přesnější výsledky.

Vzorec rafinace otázky zahrnuje LLM rafinaci otázek položených uživatelem. Je to zvláště užitečné, když uživatelé nejsou odborníky v daném oboru nebo nejsou si jisti, jak formulovat svou otázku.

Příkladem promptu může být:

Uživatel: “Kdykoli polořím otázku o datové vědě, navrhněte lepší formulaci s ohledem na statistickou analýzu a zeptejte se, zda chci pokračovat s rafinovanou otázkou.”

Zde se AI očekává, že zrefinuje obecné otázky uživatelů o datové vědě na podrobnější otázky, které zahrnují statistickou analýzu.

5) Kognitivní verifikační vzorec

Kognitivní verifikační vzorec rozděluje komplexní otázky na menší, zvladatelné sub-otázky. Odpovědi na tyto sub-otázky jsou pak kombinovány, aby poskytly komplexní odpověď na hlavní otázku. Tento přístup je užitečný, když počáteční otázky jsou příliš obecné nebo když je zapotřebí další vyjasnění, aby se poskytla kompletní odpověď.

Například:

Uživatel: “Pokud polořím otázku o změně klimatu, rozdělte ji na tři menší otázky, které by vám pomohly poskytnout přesnější odpověď. Kombinujte odpovědi na tyto sub-otázky, aby se poskytla konečná odpověď.”

V tomto scénáři AI rozdělí komplexní otázku o změnu klimatu na tři zvladatelné sub-otázky. Po obdržení odpovědí na tyto sub-otázky pak AI kombinuje tyto odpovědi, aby poskytlo komplexnější a přesnější odpověď.

Tento vzorec zahrnuje generování více otázek, aby se získala přesnější konečná odpověď. Je to proces verifikace a konsolidace informací pro robustní konečnou odpověď.

6) Few-Shot Prompting Approach

Few-shot prompting je silný přístup pro učení AI modelů, aby následovaly specifické vzorce nebo prováděly úkoly. Nápad spočívá v krmení modelu několika příklady předtím, než se položí požadovaná otázka. To pomáhá nastavit požadované chování a směruje odpovědi modelu.

Zvažte scénář, kde uživatel se snaží vytvořit stručný, přesvědčivý marketingový text pro nový technologický gadget:

Uživatel: “Zde jsou einige příklady marketingových textů pro technologii: ‘Zažijte hudbu jako nikdy předtím s našimi špičkovými bezdrátovými sluchátky.’ ‘Zachyťte váš svět ve fantastickém 4K s našimi ultra-špičkovými akčními kamerami.’ Na základě těchto příkladů, vytvořte marketingový text pro náš nový AI poháněný chytrý hodinky.”

ChatGPT: “Zapojte se do svého životního stylu s našimi AI poháněnými chytrými hodinkami, vaším společníkem pro zdraví, připojení a produktivitu.” Výjimečnou vlastností few-shot učení je, že nevyžaduje podrobné vysvětlení, jak úkol provést. Místo toho vyžaduje demonstrace toho, co se dělá, což jej činí vhodným pro mnoho aplikací.

Navíc, tato technika sahá za hranice jednoduchého vstupně-výstupního párování. Model se může také naučit zpracovávat mezilehlé kroky k dosažení cíle.

7) Chain-of-Thought Prompting

V nedávné výzkumné práci “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” autoři Jason Wei a tým se snaží stimulovat myšlení v velkých jazykových modelech. Místo tradičních, přímých promptů, tým využívá série propojených promptů, tvořících “řetězec myšlenek”.

Například uživatel by mohl být zajímán o potenciální dopad umělé inteligence na pracovní trhy:

Uživatel: “Mohli byste stručně vysvětlit koncept umělé inteligence?”

ChatGPT: “Umělá inteligence, nebo AI, se týká schopnosti stroje napodobit inteligentní lidské chování. Je to o navrhování strojů, které mohou myslet a učit se jako lidé, umožňující jim provádět úkoly, jako je překlad jazyka, rozhodování a řešení problémů, mezi jinými.”

Uživatel: “Jak AI ovlivňuje současný pracovní trh?”

ChatGPT: “AI vytváří nové pracovní místa a mění povahu stávajících. Na jedné straně automatizuje rutinní úkoly, vedoucí k ztrátě pracovních míst v určitých sektorech. Na druhé straně vytváří poptávku po rolích, které dříve neexistovaly, jako jsou AI etičtí úředníci, analytici dat a inženýři strojového učení. Kromě toho AI může augmentovat lidské role, umožňující lidem dokončovat úkoly efektivněji a přesněji.”

Chain-of-thought prompting sleduje posloupnost souvisejících promptů, udržující “konverzaci” s modelem, která směruje k přesnějším a kontextově vhodnějším odpovědím.

Porozumění ChatGPT API a prompt engineeringu z perspektivy developera

Z perspektivy developera nebo výzkumníka je prompt engineering složitější proces. Zahrnuje návrh algoritmů a technik, aby AI model lépe porozuměl a reagoval na prompty. To může zahrnovat strategie pro zpracování nejednoznačných promptů, identifikaci kontextu promptů nebo řetězení promptů, aby se stimulovaly komplexnější myšlenkové procesy v AI.

V výše uvedeném diagramu uživatel interaguje s chat rozhraním, poháněným GPT-4. Jeho vstup je vylepšen pro jasnost a kontextovou konzistenci speciálním modulem, než je předán AI modelu. Role tohoto modulu je vylepšit a zdokonalit vstup uživatele pro lepší porozumění, zatímco udržuje kontext konverzace. Odpověď AI, vytvořená na základě vylepšeného promptu, je vrácena uživateli prostřednictvím chat rozhraní. Historie interakce je aktualizována konzistentně, udržující kontext konverzace. Celkově tento diagram ilustruje dynamický tok konverzace mezi uživatelem a AI, umožněný technikami prompt engineeringu.

ChatGPT API rozhraní je navržen s různými hyperparametry, které umožňují uživatelům rafinovat odpovědi AI na prompty, činí je účinnějšími a všestrannějšími. Tyto zahrnují parametry Temperature, Maximum Length a Stop Sequences. Pojďme prozkoumat, jak fungují a jak je lze využít v různých kontextech.

1) Teplota

Parametr teploty ovlivňuje náhodnost odpovědí AI. Vyšší teplota, jako 1,0, podporuje více náhodné výstupy, vedoucí k rozmanitým, ale potenciálně mimo téma odpovědím. Naopak, nižší teplota, jako 0,2, vede AI k výběru více deterministických odpovědí, které jsou prospěšné pro zaměřené a specifické výstupy, ale mohou postrádat rozmanitost.

Příklad: Pokud píšete kreativní příběh a chcete nepředvídatelné, fantastické prvky, nastavte teplotu na vyšší hodnotu. Prompt by mohl být: “Napište krátký příběh o cestujícím v čase kočce.” S vysokou teplotou byste mohli získat divoký, fantastický příběh s nepředvídatelnými zvraty a otočkami.

2) Maximální délka

Tento parametr řídí maximální délku tokenu výstupu modelu, která zahrnuje jak tokeny ve vstupní zprávě, tak ve výstupní zprávě. Nastavení vyššího limitu umožňuje delší odpovědi, zatímco nižší limit udržuje výstup krátký a stručný.

Příklad: Pro krátké odpovědi na otázky, jako je “Kdo získal Nobelovu cenu za literaturu v roce 2020?”, byste mohli nastavit maximální délku na nízkou hodnotu, aby byla odpověď stručná a přímá.

3) Stop sekvence

Stop sekvence jsou specifické řetězce textu, kde, když model narazí na ně, přestane generovat další výstup. Tato funkce může být užitečná pro kontrolu délky výstupu nebo pro instruování modelu, aby zastavil na logických koncových bodech.

Příklad: Pro formální dopis byste mohli použít “Váš věrně,” jako stop sekvenci, aby AI nezgenerovala žádný další text za řádným koncem dopisu.

4) Top P

Parametr “Top P”, také známý jako jaderné vzorkování, je metoda, která poskytuje dynamické výběry počtu slov, která jsou zvažována při každém kroku předpovědí modelu. Nižší hodnota, jako 0,5, vede k bezpečnějším, více zaměřeným výstupům. Vyšší hodnota, jako 0,9, zahrnuje širší výběr slov, vedoucí k více rozmanitým výstupům.

Příklad: Pokud vytváříte AI pro psaní básní a chcete, aby používala širokou škálu slovní zásoby a stylistických frází, nastavte “Top P” na vyšší hodnotu. Prompt by mohl být: “Zkomponujte báseň o kráse podzimu.”

5) Frekvenční penalizace

Frekvenční penalizace řídí, jak moc by se model měl naklonit k méně častým slovům. Vyšší penalizace (až 1) podporuje model k použití méně častých slov, zatímco nižší hodnota (až -1) podporuje použití častějších slov.

Příklad: Pokud generujete obchodní návrh a chcete se vyhnout odbornému žargonu, nastavte frekvenční penalizaci na nižší hodnotu, aby byl jazyk jasný a přístupný.

6) Přítomnost penalizace

Parametr přítomnosti penalizace ovlivňuje, jak moc by se model měl penalizovat za generování nových nápadů nebo témat, která nebyla přítomna v historii konverzace. Vyšší hodnoty podporují model, aby se držel témat, která již byla zmíněna, zatímco nižší hodnoty umožňují modelu zavést nové koncepty více volně.

Příklad: Pro brainstormingové sezení byste mohli nastavit přítomnost penalizaci na nižší hodnotu, aby se povzbudila rozmanitost nápadů. Prompt by mohl být: “Generujte inovativní marketingové strategie pro online vzdělávací platformu.”

Průmyslové aplikace prompt engineeringu