Essential Guide to Prompt Engineering i ChatGPT

Sedan starten, ChatGPT har skapat vågor inom AI-sfären och lockat över 100 miljoner användare på rekordtid. Den hemliga såsen till ChatGPT:s imponerande prestanda och mångsidighet ligger i en konst som är subtilt inbäddad i dess programmering – snabb konstruktion.

Lanserades 2022, DALL-E, MidJourney och StableDiffusion underströk den störande potentialen hos Generative AI. Men det var Öppna AIs ChatGPT som verkligen stod i centrum senare 2022. Och detta momentum visade inga tecken på att avta.

Googles tillkännagivande av Bard och Metas Lamma 2  svar på OpenAIs ChatGPT har avsevärt förstärkt farten i AI-loppet. Genom att förse dessa modeller med input vägleder vi deras beteende och svar. Detta gör oss alla till en viss grad snabba ingenjörer. Teknikbranschen har uppmärksammat det. Riskkapitalister häller pengar på startups som fokuserar på snabb ingenjörskonst, som Vellum AI. Dessutom rapporterar Forbes att snabba ingenjörer befaller löner över 300,000 XNUMX USD, vilket tyder på en blomstrande och värdefull arbetsmarknad.

I den här artikeln kommer vi att avmystifiera världen av snabbteknik i samband med ChatGPT. Vi kommer att utforska de centrala principerna och teknikerna och undersöka deras kommersiella tillämpningar.

Låt oss först förstå hur ChatGPT fungerar och den centrala rollen som promptteknik spelar i denna process.

Mekaniken bakom ChatGPT Prompt Engineering

Den hemliga såsen bakom ChatGPT:s framgång är dess förmåga att förstå och härma nyanserna i mänskliga samtal. Modellen är tränad på ett brett utbud av internettexter, men det är avgörande att den inte känner till specifika dokument eller källor i sin utbildningsuppsättning, vilket säkerställer generalisering framför specificitet. Denna träningsmetod tillåter ChatGPT att generera kreativa svar, navigera i komplexa dialoger och till och med uppvisa ett sinne för humor. Det är dock viktigt att komma ihåg att ChatGPT inte riktigt förstår eller har övertygelser; den genererar svar baserat på mönster som den lärt sig under träningen.

ChatGPT:s förmåga att förstå och svara på mänskligt språk på ett nyanserat och sammanhangsmedvetet sätt gör dem till otroligt mångsidiga verktyg.

Mekaniken i dessa modeller vilar på konceptet "tokens" - diskreta bitar av språk som kan sträcka sig från ett enda tecken till ett helt ord. Dessa modeller arbetar med ett specifikt antal tokens åt gången (4096 för GPT-3.5-Turbo eller 8192 eller 32768 för GPT-4), och förutsäger nästa sekvens av troliga tokens. Modellerna bearbetar tokens med hjälp av komplex linjär algebra och förutsäger den mest sannolika efterföljande token.

Till exempel kan en enkel mening på nio ord förvandlas till tio tokens. Även ett enda komplext ord kan förvandlas till flera tokens, vilket hjälper modellen att bättre förstå och generera språk. Även språk med komplexa ordstrukturer, som tyska, hanteras genom tokenisering.

GPT-modeller (Generative Pre-trained Transformer) fungerar genom att generera en token i taget, med början från den första token och fortsätter upp till den sista. Efter att ha genererat varje token besöker modellen hela sekvensen igen och bearbetar den igen för att generera nästa token. Denna iterativa process fortsätter tills den sista token genereras, vilket gör att genereringen av text liknar en stor for-loop.

Men här är haken – kvaliteten på dessa svar beror till stor del på uppmaningarna den får. Precis som att styra en konversation med en människa, kräver det en viss nivå av skicklighet och förståelse för att styra en dialog med ChatGPT. Det är där snabb ingenjörskonst spelar in.

Vad är Prompt Engineering?

Prompt Engineering är konsten att skapa exakta, effektiva uppmaningar/indata för att vägleda AI (NLP/Vision) modeller som ChatGPT för att generera de mest kostnadseffektiva, exakta, användbara och säkra utdata.

Snabb ingenjörskonst är inte bara begränsad till textgenerering utan har omfattande tillämpningar inom AI-domänen. Det används alltmer inom områden som robotar för processautomatisering, 3D-tillgångar, skript, robotinstruktioner och andra typer av innehåll och digitala medier. Det ger en unik blandning av logik, kodning, konst och i vissa fall speciella modifierare.

Även om en uppmaning kan innehålla text på naturligt språk, bilder eller andra typer av indata, kan utdata variera avsevärt mellan AI-tjänster och verktyg. Varje verktyg har sina speciella modifierare som beskriver vikten av ord, stilar, perspektiv, layout eller andra egenskaper för det önskade svaret.

Detta område är viktigt för att skapa bättre AI-drivna tjänster och för att få överlägsna resultat från befintliga generativa AI-verktyg. Företagsutvecklare, till exempel, använder ofta snabb teknik för att skräddarsy stora språkmodeller (LLM) som GPT-3 för att driva en kundinriktad chatbot eller hantera uppgifter som att skapa branschspecifika kontrakt.

Denna iterativa process med snabb förfining och mätning av AI-prestanda är en nyckelfaktor för att AI-modeller ska kunna generera mycket riktade, användbara svar i olika sammanhang.

Att bli en snabb ingenjör

GPT-4-modellens skicklighet när det gäller att förstå komplexa instruktioner och lösa intrikata problem exakt gör den till en ovärderlig resurs. Det finns dock olika metoder för att få tillgång till denna modells kapacitet, och att förstå dessa kan vara avgörande för en snabb ingenjörs roll i att optimera både effektivitet och kostnadseffektivitet.

Det finns i huvudsak två sätt att använda GPT-modeller som GPT-4. Ett sätt är genom OpenAI:s API, där kostnader beräknas per in- och utmatningstoken. I det här scenariot kan kostnaderna per 1K-tokens fluktuera baserat på kontextstorleken. Till exempel, i ett större 32K-sammanhang, kan kostnaden gå upp till $0.06 för inmatningstoken och $0.12 för utmatningstoken. När man hanterar en stor mängd förfrågningar kan således kostnaden för användning snabbt ackumuleras.

Alternativt fungerar ChatGPT, som använder GPT-4-modellen, på en prenumerationsbaserad modell.

En annan nyckeluppgift inom prompt ingenjörskonst involverar inställning av modellparameter. Denna process innebär att justera de variabler som modellen använder för att göra förutsägelser. Genom att finjustera dessa parametrar kan snabba ingenjörer förbättra kvaliteten och noggrannheten på modellens svar, vilket gör dem mer kontextuellt relevanta och användbara.

Även om många snabba ingenjörer kommer från en teknisk bakgrund, gör områdets tvärvetenskapliga karaktär det tillgängligt för individer med olika yrkesbakgrunder. I allt högre grad utnyttjar författare, forskare och till och med konstnärer sina unika färdigheter för att förbättra effektiviteten hos AI-modeller. Denna förändring återspeglas också på arbetsmarknaden, med ett växande antal företag som söker snabba ingenjörer med en mångsidig kompetens och bakgrund.

Snabb design och ingenjörskonst i ChatGPT

Snabb design och ingenjörskonst spelar en avgörande roll för att optimera prestandan hos språkmodeller och involverar mer än bara att skapa frågor; de kräver en djup förståelse av AI-modellen och ett mycket iterativt och förfinat tillvägagångssätt.

Snabb design

Snabb design, i sin kärna, är konsten och vetenskapen att skapa den perfekta uppmaningen för en given stor språkmodell (LLM), som ChatGPT, för att uppnå ett tydligt uttalat mål. Det är en blandning av:

• Förståelse av LLM: Olika språkmodeller kan svara varierande på samma prompt. Dessutom kan vissa språkmodeller ha unika nyckelord eller triggers, som de tolkar på ett specifikt sätt.
• Domänkunskap: Expertis inom det relevanta området är avgörande vid utformning av prompter. Att generera en uppmaning att sluta sig till en medicinsk diagnos skulle till exempel kräva medicinsk kunskap.
• Iterativt tillvägagångssätt och kvalitetsmätning: Processen att skapa den ideala prompten involverar ofta försök och misstag. Därför är det viktigt att ha ett sätt att utvärdera utskriftskvaliteten utöver bara subjektiv bedömning, särskilt när man använder prompten i en större skala.

Snabb ingenjörskonst

Snabb ingenjörskonst är ett utökat område av snabb design som inkluderar flera kritiska processer:

• Design av prompter i skala: Denna process inkluderar design av meta-prompter (prompter som genererar andra prompter) och promptmallar, som är parametriserade prompter som kan instansieras under körning.
• Verktygsdesign och integrering: Uppmaningar kan ibland innehålla resultat från externa verktyg, och att integrera dessa verktyg sömlöst i systemet är avgörande.
• Arbetsflöde, planering och snabbhantering: Att distribuera en LLM-applikation, som en chatbot, kräver ofta hantering av bibliotek med uppmaningar, planering och val av rätt uppmaningar och effektiv integrering av olika verktyg.
• Utvärdering och kvalitetssäkring av uppmaningar: Denna aspekt inkluderar att definiera mätvärden och processer för att utvärdera uppmaningarna både automatiskt och med mänskligt engagemang.
• Snabboptimering: Kostnaden och latensen för AI-modellen kan bero på valet av modell och längden på prompten (antal tokens).

Många automatiserade promptdesignmetoder, verktyg och ramverk har utvecklats för att hantera uppmaningar i stor skala. Det är dock viktigt att förstå att inget av dessa verktyg kan ersätta den nyanserade förståelsen, omdömet och erfarenheten hos en erfaren snabb ingenjör.

Snabb teknik: Tekniker och bästa praxis

1) Snabb placering och beskrivning

Att placera instruktioner i början av prompten kan avsevärt påverka AI:s förståelse och svar. Överväg uppgiften att sammanfatta en text i ett punktformat. Ett mindre effektivt tillvägagångssätt skulle vara:

Användare: Sammanfatta texten nedan som en punktlista över de viktigaste punkterna.
{textinmatning här}

Å andra sidan kan en mer effektiv teknik vara:

Användare: Sammanfatta texten nedan som en punktlista över de viktigaste punkterna.
Text: """
{textinmatning här}
"" "

Genom att tydligt separera instruktionerna och sammanhanget med symboler som ### eller """, kan AI-modellen bättre avgränsa sin uppgift och den text den behöver bearbeta, och därigenom ge mer exakta och relevanta svar.

För det andra, att vara specifik, beskrivande och detaljerad om sammanhanget, förväntat resultat, längd, format, stil och så vidare kan avsevärt förbättra precisionen hos AI-svar. Anta att du behöver generera en kort översikt av en vetenskaplig artikel i en engagerande, lekmannavänlig stil. En vag instruktion som "Sammanfatta den vetenskapliga artikeln" skulle ge mindre effektiva resultat jämfört med en specifik, detaljerad uppmaning:

Användare: Skapa en kortfattad (ca 200 ord), engagerande sammanfattning av följande vetenskapliga artikel. Sammanfattningen bör vara begriplig för någon utan vetenskaplig bakgrund, samtidigt som den korrekt återspeglar uppsatsens nyckelresultat.
Papper: """
{vetenskaplig artikeltext här}
"" "

2) Personamönster

Personmönstret är en strategi som sätter AI:n att fungera ur ett visst perspektiv, till exempel en yrkesroll eller fiktiv karaktär. Denna taktik gör det möjligt för modellen att ge utdata relaterade till de specifika roller som personan skulle hantera. Till exempel kan man instruera AI:n att agera som en cybersäkerhetsexpert under en kodgranskning. Detta mönster är särskilt användbart när användare behöver hjälp men är osäkra på de exakta detaljerna som krävs i utdata.

Ta följande som exempel:

Användare: "Anta persona av en senior historiker som specialiserat sig på den franska revolutionen. Med tanke på denna persona, förklara de viktigaste händelserna och orsakerna till den franska monarkins fall.”

I detta scenario förväntas AI:n svara med en djupgående analys av den franska revolutionen, med fokus på monarkins fall, som en historiker skulle göra.

Introducerar ny information

ChatGPT har ingen kunskap utöver dess träningsgräns, därför kan den inte tillhandahålla information om senaste händelser eller uppdateringar efter träningen. Du kan dock introducera ny information till modellen via dina uppmaningar.

Användare: "Vad är kryptovaluta?"
ChatGPT: “Cryptocurrency är en typ av digital eller virtuell valuta som använder kryptografi för säkerhet. Den mest kända kryptovalutan är Bitcoin.”

Nu, om vi lägger till lite mer sammanhang till prompten, kan vi göra förklaringen ännu mer intuitiv:

Användare: "Förklara konceptet med kryptovaluta för en gymnasieelev som studerar digital ekonomi"
ChatGPT: "Föreställ dig att du spelar ett videospel online och det finns spelpengar du kan tjäna för att köpa uppgraderingar eller nya karaktärer. Kryptovaluta är ungefär så, men istället för att vara begränsad till spelet kan du faktiskt använda den för att köpa verkliga varor och tjänster. Det är som digitala pengar som ingen bank eller regering kontrollerar.”

3) Storleksbegränsningar

Att förstå storleksbegränsningen för ChatGPT är viktigt eftersom det direkt påverkar volymen och typen av information vi kan mata in. Språkmodeller är inte byggda för att behandla obegränsad data på en gång. De har en inneboende begränsning för storleken på den prompt vi kan skapa och mata in. Denna begränsning har djupgående konsekvenser för utformningen och utförandet av uppmaningarna.

ChatGPT har en token-gräns (vanligtvis 2048 tokens), som inkluderar både prompten och det genererade svaret. Detta innebär att långa uppmaningar kan begränsa längden på svaret. Därför är det viktigt att hålla uppmaningarna kortfattade men ändå informativa.

I praktiskt bruk måste vi agera som redaktörer och selektivt välja den mest relevanta informationen för uppgiften. Föreställ dig att skriva ett papper eller en artikel med en ord- eller sidbegränsning – du kan inte bara dumpa slumpmässiga fakta, utan noggrant välja ut och strukturera information som är relevant för ämnet.

Användare: "Med tanke på modellens symboliska begränsningar, sammanfatta nyckelhändelserna under andra världskriget med mindre än 1000 ord."

Genom att erkänna modellens symboliska begränsningar leder denna uppmaning AI:n att ge en kortfattad men omfattande sammanfattning av andra världskriget.

Uppmaningar om upprepad användning: I ett konversationsscenario kan du återanvända uppmaningar eller förfina dem baserat på tidigare svar. Detta ger ett samtalsflöde och upprätthåller sammanhang i interaktionen.

4) Frågeförfiningsmönster

ChatGPT kan också hjälpa till att förfina dina frågor. Om du till exempel ställer en fråga kan den föreslå en bättre formulerad fråga för mer exakta resultat.

Frågeförfiningsmönstret innebär att LLM förfinar de frågor som användaren ställer. Det är särskilt användbart när användare inte är experter på en domän eller är osäkra på hur de ska formulera sin fråga.

Ett exempel på prompt kan se ut så här:

Användare: "När jag ställer en fråga om datavetenskap, föreslå en mer förfinad fråga med hänsyn till detaljerna i statistisk analys och fråga om jag vill fortsätta med den förfinade frågan."

Här förväntas AI:n förfina användarens allmänna datavetenskapliga frågor till mer detaljerade frågor med hänsyn till statistisk analysaspekter.

5) Kognitivt verifieringsmönster

Cognitive Verifier Pattern bryter ner komplexa frågor i mindre, hanterbara delfrågor. Svaren på dessa delfrågor kombineras sedan för att ge ett heltäckande svar på huvudfrågan. Detta tillvägagångssätt är användbart när de första frågorna är för höga eller när ytterligare klarhet behövs för att ge ett fullständigt svar.

Till exempel:

Användare: "Om jag ställer en fråga om klimatförändringar, dela upp den i tre mindre frågor som skulle hjälpa dig att ge ett mer korrekt svar. Kombinera svaren på dessa delfrågor för att ge det slutgiltiga svaret."

I det här scenariot kommer AI:n att dela upp den komplexa frågan om klimatförändringar i tre hanterbara delfrågor. Efter att ha fått svar på dessa underfrågor kommer AI:n att kombinera dessa för att ge ett mer omfattande och korrekt svar.

Detta mönster innebär att generera flera frågor för att få ett mer exakt slutligt svar. Det är en process för verifiering och konsolidering av information för en robust slutresultat

6) Få skotts tillvägagångssätt

Få-shot-uppmaning är ett kraftfullt tillvägagångssätt för att lära AI-modeller att följa specifika mönster eller utföra uppgifter. Tanken är att mata modellen med ett antal exempel innan man ställer den önskade frågan. Detta hjälper till att ställa in önskat beteende och vägleda modellens svar.

Tänk på ett scenario där en användare försöker utarbeta en kortfattad, övertygande marknadsföringskopia för en ny teknisk gadget:

Användare: "Här är några exempel på kopior av teknisk marknadsföring: 'Upplev musik som aldrig förr med våra avancerade trådlösa hörlurar." "Fånga din värld i fantastisk 4K med vår ultrasnygga actionkamera." Med tanke på de här exemplen, utarbeta en marknadsföringskopia för vår nya AI-drivna smartklocka.”

ChatGPT: "Förstärk din livsstil med vår AI-drivna smartklocka, din följeslagare för hälsa, anslutning och produktivitet." Det anmärkningsvärda med få-shot-inlärning är att det inte kräver en detaljerad beskrivning av hur man utför uppgiften. Istället kräver det demonstrationer av vad som görs, vilket kan göra att det passar många applikationer.

Dessutom sträcker sig denna teknik bortom enkel ingångs-utgång-parning. Modellen kan också läras ut att hantera mellansteg för att nå ett mål.

7) Chain-of-Thought Prompting

I deras senaste forskningsartikel, "Tankekedja framkallar resonemang i stora språkmodeller” Författarna Jason Wei och team syftar till att stimulera resonemang inom stora språkmodeller. Istället för att använda traditionella direkta uppmaningar använder teamet en serie sammanlänkade uppmaningar, som bildar en "tankekedja".

En användare kan till exempel vara intresserad av den potentiella inverkan av artificiell intelligens på arbetsmarknaderna:

Användare: "Kan du kort förklara begreppet artificiell intelligens?"

ChatGPT: “Artificiell intelligens, eller AI, hänvisar till en maskins förmåga att imitera intelligent mänskligt beteende. Det handlar om att designa maskiner som kan tänka och lära som människor, vilket gör det möjligt för dem att utföra uppgifter som språköversättning, beslutsfattande och problemlösning, bland annat.”

Användare: "Hur påverkar AI den nuvarande arbetsmarknaden?"

ChatGPT: “AI skapar både nya jobb och förändrar karaktären på befintliga. Å ena sidan automatiserar den rutinuppgifter, vilket leder till att jobb flyttas inom vissa sektorer. Å andra sidan skapar det efterfrågan på roller som inte funnits tidigare, såsom AI-etiska handläggare, dataanalytiker och maskininlärningsingenjörer. Dessutom kan AI utöka mänskliga roller, så att människor kan utföra uppgifter mer effektivt och exakt."

Tankekedja följer en utveckling av relaterade uppmaningar, och upprätthåller en "konversation" med modellen som vägleder den mot mer exakta och kontextuellt lämpliga svar.

Förstå ChatGPT API och Prompt Engineering ur en utvecklares perspektiv

Ur en utvecklares eller forskares perspektiv är prompt ingenjörskonst en mer komplex process. Det involverar design av algoritmer och tekniker för att hjälpa AI-modellen att förstå och svara på uppmaningar mer effektivt. Detta kan inkludera strategier för att hantera tvetydiga uppmaningar, identifiera sammanhanget för uppmaningar eller kedja samman uppmaningar för att stimulera mer komplexa tankeprocesser i AI:n

I illustrationen ovan interagerar en användare med ett chattgränssnitt som drivs av GPT-4. Deras input förbättras för tydlighet och kontextuell konsistens av en specialiserad modul innan de matas till AI-modellen. Rollen för denna modul är att förfina och förbättra användarens input för bättre förståelse samtidigt som konversationens kontext bibehålls. AI:s svar, skapat baserat på den förfinade prompten, returneras till användaren via chattgränssnittet. Interaktionshistoriken uppdateras konsekvent och upprätthåller konversationskontexten. Sammantaget illustrerar detta diagram ett dynamiskt användar-AI-konversationsflöde som möjliggörs av snabba ingenjörstekniker.

Smakämnen ChatGPT API:er gränssnittet är konstruerat med olika hyperparametrar som gör det möjligt för användare att förfina AI:s svar på uppmaningar, vilket gör dem mer effektiva och mångsidiga. Dessa inkluderar parametrarna Temperatur, Maximal Length och Stop Sequences. Låt oss utforska hur de fungerar och kan användas i olika sammanhang.

1) Temperatur

Temperaturparametern påverkar slumpmässigheten i AI:s svar. En högre temperatur, som 1.0, uppmuntrar till mer slumpmässig produktion, vilket resulterar i olika men potentiellt off-topic svar. Däremot uppmanar en lägre temperatur, som 0.2, AI:n att välja mer deterministiska svar, vilket kan vara fördelaktigt för fokuserade och specifika utgångar men kan sakna variation.

Exempel: Om du skriver en kreativ berättelse och vill ha oförutsägbara, fantasifulla element, ställ in temperaturen på ett högre värde. En uppmaning kan vara: "Skriv en kort berättelse om en tidsresande katt." Med en hög temperatur kanske du får en vild, fantastisk berättelse med oförutsägbara vändningar.

2) Maximal längd

Den här parametern styr den maximala tokenlängden för modellens utdata, vilket inkluderar både tokens i meddelandeinmatningen och meddelandeutmatningen. Att ställa in en högre gräns möjliggör mer utökade svar, medan en lägre gräns håller utmatningen kort och koncis.

Exempel: För korta svar på triviafrågor som "Vem vann Nobelpriset i litteratur 2020?" du kanske vill ställa in den maximala längden till ett lågt värde, och se till att svaret är kortfattat och direkt.

3) Stoppsekvenser

Stoppsekvenser är specifika textsträngar där den, när modellen stöter på dem, slutar generera ytterligare utdata. Den här funktionen kan vara användbar för att kontrollera längden på utdata eller instruera modellen att stanna vid logiska slutpunkter.

Exempel: För ett formellt brev kan du använda "Med vänliga hälsningar" som en stoppsekvens för att säkerställa att AI:n inte genererar någon ytterligare text utöver det korrekta slutet på brevet.

4) Topp P

Parametern 'Top P', även känd som kärnsampling, är en metod som ger ett dynamiskt urval av antalet ord som beaktas vid varje steg i modellens förutsägelser. Ett lägre värde, som 0.5, leder till säkrare, mer fokuserade utgångar. Ett högre värde, som 0.9, inkluderar ett bredare urval av ord, vilket leder till mer olika utdata.

Exempel: Om du skapar en AI för att skriva dikter och vill att den ska använda ett brett utbud av ordförråd och stilistiska fraser, kan du ställa in 'Top P' till ett högre värde. En uppmaning kan vara: "Komponera en dikt om höstens skönhet."

5) Frekvensstraff

Frekvensstraff styr hur mycket modellen ska gynna mindre frekventa ord. Ett högre straff (upp till 1) uppmuntrar modellen att använda mindre vanliga ord, medan ett lägre värde (ned till -1) uppmuntrar modellen att använda vanligare ord.

Exempel: Om du försöker skapa ett affärsförslag och vill undvika jargong kan du ställa in frekvensstraffet till ett lägre värde för att hålla språket tydligt och tillgängligt.

6) Närvarostraff

Parametern Presence Penalty påverkar hur mycket modellen straffas för att generera nya idéer eller ämnen som inte fanns i konversationshistoriken. Högre värden uppmuntrar modellen att hålla sig till de ämnen som redan nämnts, medan lägre värden tillåter modellen att introducera nya koncept mer fritt.

Exempel: För brainstormingsessioner kan du ställa in närvarostraffet till ett lägre värde för att uppmuntra en mångfald av idéer. Du kan använda en uppmaning som, "Skapa innovativa marknadsföringsstrategier för en utbildningsplattform online."

Industritillämpning av prompt ingenjörskonst