Den Essentielle Guide til Prompt Engineering i ChatGPT

Siden lanceringen har ChatGPT skabt bølger i AI-sfæren og tiltrukket over 100 millioner brugere på rekordtid. Hemmeligheden bag ChatGPT’s imponerende præstation og fleksibilitet ligger i en kunst, der er subtilt anbragt i dets programmering – prompt engineering.

I 2022 understregede DALL-E, MidJourney og StableDiffusion det disruptive potentiale i Generative AI. Men det var Open AI’s ChatGPT, der virkelig tog centerpladsen senere i 2022. Og denne momentum viste ingen tegn på at afslå.

Googles annoncering af Bard og Meta’s Lamma 2 svar til OpenAI’s ChatGPT har betydeligt forstærket momentum i AI-løbet. Ved at give disse modeller input, guider vi deres adfærd og svar. Dette gør os alle til prompt ingeniører i en vis udstrækning. Teknologiindustrien har taget notits. Venturekapitalister hælder midler i startups, der fokuserer på prompt engineering, som Vellum AI. Desuden rapporterer Forbes, at prompt ingeniører kan kommandere lønninger over $300.000, hvilket tyder på en blomstrende og værdifuld arbejdsmarkedsøkonomi.

I denne artikel vil vi afmystificere verden af prompt engineering i sammenhæng med ChatGPT. Vi vil udforske de centrale principper og teknikker og undersøge deres kommercielle anvendelser.

Lad os først forstå, hvordan ChatGPT fungerer, og den centrale rol, prompt engineering spiller i denne proces.

Den Mekanisme Bag ChatGPT Prompt Engineering

Hemmeligheden bag ChatGPT’s succes ligger i dets evne til at forstå og efterligne nuancerne i menneskelig samtale. Modellen er trænet på en diversificeret række af internettet, men afgørende, den kender ikke specifikke dokumenter eller kilder i sin træningssæt, hvilket sikrer generalisering over specifikation. Denne træningsapproach giver ChatGPT mulighed for at generere kreative svar, navigere komplekse dialoger og endda udvise en fornemmelse for humor. Det er dog vigtigt at huske, at ChatGPT ikke rigtigt forstår eller har overbevisninger; det genererer svar baseret på mønstre, det lærte under træning.

ChatGPT’s evne til at forstå og svare på menneskesprog på en nuanceret og kontekstbevidst måde gør det til et utroligt fleksibelt værktøj.

Mekanismen bag disse modeller hviler på begrebet ‘tokens’ – diskrete stykker af sprog, der kan variere fra et enkelt tegn til et helt ord. Disse modeller arbejder med et bestemt antal tokens ad gangen (4096 for GPT-3.5-Turbo eller 8192 eller 32768 for GPT-4), og forudsiger den næste sekvens af sandsynlige tokens. Modellerne behandler tokens ved hjælp af kompleks lineær algebra, og forudsiger det mest sandsynlige efterfølgende token.

For eksempel kunne en simpel ni-ord-sætning blive til ti tokens. Selv et enkelt komplekst ord kunne blive til multiple tokens, hvilket hjælper modellen bedre med at forstå og generere sprog. Selv sprog med komplekse ordstrukturer, som tysk, håndteres gennem tokenisering.

GPT (Generative Pre-trained Transformer) modeller arbejder ved at generere ét token ad gangen, startende fra det første token og fortsætte op til det sidste. Efter generering af hvert token, genbesøger modellen hele sekvensen og behandler den igen for at generere det næste token. Denne iterative proces fortsætter, indtil det sidste token er genereret, og gør genereringen af tekst lignende en stor for-løkke.

Men her er fælden – kvaliteten af disse svar afhænger i høj grad af promptene, det modtager. Ligesom at styre en samtale med et menneske, kræver det at guide en dialog med ChatGPT en vis grad af færdighed og forståelse. Det er her, prompt engineering kommer ind i billedet.

Hvad er Prompt Engineering?

Prompt Engineering er kunsten at skabe præcise, effektive prompts/input for at guide AI-modeller (NLP/Vision) som ChatGPT mod at generere de mest kosteffektive, præcise, nyttige og sikre output.

Prompt engineering er ikke kun begrænset til tekstgenerering, men har vidtrækkende anvendelser på tværs af AI-domænet. Det anvendes i stigende grad i områder som robotprocessautomatisering, 3D-aktiver, scripts, robotinstruktioner og andre former for indhold og digitale medier. Det tilbyder en unik blanding af logik, kodning, kunst og i visse tilfælde, specialmodifikatorer.

En prompt kan indeholde naturligt sprog, billeder eller andre former for inputdata, og output kan variere betydeligt på tværs af AI-tjenester og -værktøjer. Hvert værktøj har sine specialmodifikatorer, der beskriver vægten af ord, stil, perspektiv, layout eller andre egenskaber ved det ønskede svar.

Dette felt er afgørende for at skabe bedre AI-drevne tjenester og opnå bedre resultater fra eksisterende generative AI-værktøjer. Enterprise-udviklere bruger for eksempel ofte prompt engineering til at tilpasse Large Language Models (LLM) som GPT-3 til at drive en kundeorienteret chatbot eller håndtere opgaver som at oprette branche-specifikke kontrakter.

Denne iterative proces af prompt-rafination og måling af AI-præstation er en nøglefaktor i at aktivere AI-modeller til at generere højttilegnede, nyttige svar i forskellige sammenhænge.

At Blive en Prompt Ingeniør

GPT-4-modellens dygtighed i at forstå komplekse instruktioner og løse intrikate problemer nøjagtigt gør det til en uvurderlig ressource. Der er dog forskellige metoder til at tilgå denne modells kapaciteter, og at forstå disse kan være afgørende for en prompt ingeniørs rolle i at optimere både effektivitet og omkostningseffektivitet.

Der er grundlæggende to måder at engagere med GPT-modeller som GPT-4. En måde er gennem OpenAI’s API, hvor omkostninger beregnes pr. input- og output-token. I dette scenario kan omkostningerne pr. 1K tokens variere afhængigt af kontekststørrelsen. For eksempel kan omkostningerne i en større 32K-kontekst gå op til $0,06 for input-tokens og $0,12 for output-tokens. Derfor kan omkostningerne ved håndtering af en høj volumen af anmodninger hurtigt akkumulere.

Alternativt fungerer ChatGPT, der udnytter GPT-4-modellen, på en abonnementsbaseret model.

En anden nøgleopgave i prompt engineering involverer modelparametertilpasning. Denne proces indebærer tilpasning af variablerne, som modellen bruger til at lave forudsigelser. Ved at tilpasse disse parametre kan prompt ingeniører forbedre kvaliteten og nøjagtigheden af modellens svar, gøre dem mere kontekstrelaterede og nyttige.

Selvom mange prompt ingeniører kommer fra en teknisk baggrund, gør feltets tværfaglige natur det tilgængeligt for personer med forskellige professionelle baggrunde. I stigende grad udnytter forfattere, forskere og endda kunstnere deres unikke færdigheder til at forbedre AI-modellernes effektivitet. Denne udvikling afspejles også på arbejdsmarkedet, hvor en stigende antal virksomheder søger efter prompt ingeniører med en bred vifte af færdigheder og baggrunde.

Prompt Design og Engineering i ChatGPT

Prompt Design og Engineering spiller en afgørende rolle i at optimere sprogmodellernes præstation og indebærer mere end blot at stille spørgsmål; de kræver en dyb forståelse af AI-modellen og en høj grad af iteration og raffinering.

Prompt Design

Prompt design er i sin kerne kunsten og videnskaben om at skabe den perfekte prompt for en given stor sprogmodel (LLM), som ChatGPT, for at opnå et tydeligt defineret mål. Det er en blanding af:

• Forståelse af LLM: Forskellige sprogmodeller kan reagere forskelligt på samme prompt. Desuden kan visse sprogmodeller have unikke nøgleord eller udløsere, som de fortolker på en bestemt måde.
• Domæneviden: Ekspertise i den relevante branche er afgørende, når der designs prompts. For eksempel ville generering af en prompt til at slutte en medicinsk diagnose kræve medicinsk viden.
• Iterativ tilgang og kvalitetsmåling: Processen med at skabe den ideelle prompt indebærer ofte prøvning og fejl. Derfor er det vigtigt at have en måde at evaluere outputkvaliteten ud over blot subjektiv bedømmelse, især når prompten bruges i større skala.

Prompt Engineering

Prompt engineering er en udvidet sfære af prompt design, der inkluderer flere kritiske processer:

• Design af Prompts i Størrelse: Dette proces indebærer design af meta-prompts (prompts, der genererer andre prompts) og prompt-templat, der er parameteriserede prompts, der kan instantieres på køretid.
• Værktøjsdesign og Integration: Prompts kan nogen gange inkludere resultater fra eksterne værktøjer, og integration af disse værktøjer i systemet er afgørende.
• Arbejdsgang, Planlægning og Promptstyring: Udrulning af en LLM-applikation, som en chatbot, kræver ofte styring af promptbiblioteker, planlægning og valg af de rette prompts, samt effektiv integration af forskellige værktøjer.
• Evaluering og Kvalitetsgaranti af Prompts: Dette aspekt indebærer definition af metrikker og processer til at evaluere prompts både automatisk og med menneskelig involvering.
• Promptoptimering: Omkostningerne og forsinkelsen af AI-modellen kan afhænge af valget af model og promptlængde (antallet af tokens).

Mange automatiserede prompt-design-tilgange, værktøjer og rammer er blevet udviklet til at håndtere prompts i størrelse. Det er dog vigtigt at forstå, at ingen af disse værktøjer kan erstatte den nuancerede forståelse, bedømmelse og erfaring af en erfaren prompt ingeniør.

Prompt Engineering: Teknikker og Bedste Praksis

1) Prompt Placering og Beskrivelse

At placere instruktioner i begyndelsen af prompten kan have en betydelig indvirkning på AI’s forståelse og svar. Overvej opgaven med at sammenfatte en tekst i en punktform. En mindre effektiv tilgang ville være:

Bruger: Sammenfat tekst nedenfor som en punktform-liste over de vigtigste punkter.
{tekstinput her}

På den anden side kunne en mere effektiv teknik være:

Bruger: Sammenfat tekst nedenfor som en punktform-liste over de vigtigste punkter.
Tekst: “””
{tekstinput her}
“””

Ved at tydeligt adskille instruktionerne og konteksten med symboler som ### eller “”, kan AI-modellen bedre afgrænse sin opgave og den tekst, den skal behandle, og dermed give mere præcise og relevante svar.

For det andet kan det at være specifik, beskrivende og detaljeret om konteksten, det forventede resultat, længde, format, stil og så videre kan betydeligt forbedre præcisionen af AI-svar.

Antag, at du skal generere en kort oversigt over en videnskabelig artikel på en underholdende, letforståelig måde. En vag instruksion som “Sammenfat den videnskabelige artikel” ville give mindre effektive resultater i forhold til en specifik, detaljeret prompt:

Bruger: Generér en kort (ca. 200 ord), underholdende sammenfatning af den følgende videnskabelige artikel. Sammenfatningen skal være forståelig for en person uden videnskabelig baggrund, samtidig med at den nøjagtigt afspejler artiklens nøglefund.

Prompt til gentagen brug: I en konversations situation kan du genbruge eller raffinere prompts baseret på tidligere svar. Dette giver en konversationsflow og fastholder konteksten i interaktionen.

2) Persona Mønster

Persona Mønsteret er en strategi, der sætter AI til at fungere fra en bestemt perspektiv, såsom en professionel rolle eller fiktiv karakter. Denne taktik giver modellen mulighed for at levere output relateret til de specifikke roller, personaen ville håndtere. For eksempel kunne man instruere AI til at fungere som en cybersecurity-ekspert under en kodegennemgang. Dette mønster er især nyttigt, når brugere har brug for hjælp, men er usikre på, hvilke detaljer der kræves i outputtet.

Tag følgende som eksempel:

Bruger: “Antag personaen af en senior historiker, der specialiserer sig i den franske revolution. Givet denne persona, forklar de nøglebegivenheder og årsager, der ledte til den franske monarkis fald.”

I dette scenario forventes AI at svare med en dybdegående analyse af den franske revolution, fokuseret på monarkiets fald, som en historiker ville.

Introduktion af Nye Oplysninger

ChatGPT besidder ikke viden ud over sin træningsafslutning, og kan derfor ikke give oplysninger om nyere begivenheder eller opdateringer efter dens træning. Du kan dog introducere nye oplysninger til modellen via dine prompts.

Bruger: “Hvad er kryptocurrency?”
ChatGPT: “Kryptocurrency er en type digital eller virtuel valuta, der bruger kryptografi til sikkerhed. Den mest kendte kryptocurrency er Bitcoin.”

Nu, hvis vi tilføjer lidt mere kontekst til prompten, kan vi gøre forklaringen endnu mere intuitiv:

Bruger: “Forklar begrebet kryptocurrency til en high school-elev, der studerer digital økonomi”
ChatGPT: “Forestil dig, du spiller en online-videospil, og der er spilpenge, du kan tjene for at købe opgraderinger eller nye karakterer. Kryptocurrency er lidt ligesom det, men i stedet for at være begrænset til spillet, kan du faktisk bruge det til at købe rigtige varer og tjenester. Det er som digital penge, der ikke kontrolleres af nogen bank eller regering.”

3) Prompt Størrelsesbegrænsninger

At forstå størrelsesbegrænsningerne for ChatGPT er afgørende, da det direkte påvirker mængden og typen af information, vi kan indtaste. Sprogmodeller er ikke bygget til at behandle ubegrænset data på én gang. De har en indbygget begrænsning på størrelsen af prompten, vi kan oprette og indtaste. Denne begrænsning har dybe implikationer for design og udførelse af prompts.

ChatGPT har en tokenbegrænsning (generelt 2048 tokens), der inkluderer både prompt og genereret svar. Dette betyder, at lange prompts kan begrænse længden af svaret. Derfor er det vigtigt at holde prompts korte og informativ.

I praktisk brug må vi fungere som redaktører, der vælger det mest relevante information til opgaven. Forestil dig, du skriver en artikel eller et papir med en ord- eller sidebegrænsning – du kan ikke bare dumppe tilfældige fakta, men skal omhyggeligt vælge og strukturere informationen i forhold til emnet.

Bruger: “Givet tokenbegrænsningerne for modellen, sammenfat de nøglebegivenheder i 2. verdenskrig på under 1000 ord.”

Ved at anerkende modellens tokenbegrænsninger, dirigerer denne prompt AI til at give en kort og samlet sammenfatning af 2. verdenskrig.

Prompts til gentagen brug: I en konversations situation kan du genbruge eller raffinere prompts baseret på tidligere svar. Dette giver en konversationsflow og fastholder konteksten i interaktionen.

4) Spørgsmålsrafination Mønster

ChatGPT kan også hjælpe med at raffinere dine spørgsmål. For eksempel, hvis du stiller et spørgsmål, kan det foreslå et bedre formuleret spørgsmål for mere præcise resultater.

Spørgsmålsrafination Mønsteret indebærer, at LLM raffinerer spørgsmålene, der stilles af brugeren. Det er især nyttigt, når brugere ikke er eksperter i en domæne eller er usikre på, hvordan de skal formulere deres spørgsmål.

Et eksempel på en prompt kan se således ud:

Bruger: “Når jeg stiller et spørgsmål om datavidenskab, foreslå et mere raffineret spørgsmål med henblik på statistisk analyse og spørg, om jeg vil fortsætte med det raffinerede spørgsmål.”

Her forventes AI at raffinere brugerens generelle datavidenskabs-spørgsmål til mere detaljerede spørgsmål, der tager statistisk analyse i betragtning.

5) Kognitiv Verificer Mønster

Kognitiv Verificer Mønsteret bryder komplekse spørgsmål ned i mindre, håndterbare under-spørgsmål. Svarene på disse under-spørgsmål kombineres herefter for at give en omfattende svar på det primære spørgsmål. Denne tilgang er nyttig, når de oprindelige spørgsmål er for højt niveau eller når yderligere klarhed er nødvendig for at give et fuldstændigt svar.

For eksempel:

Bruger: “Hvis jeg stiller et spørgsmål om klimaforandring, bryd det ned i tre mindre spørgsmål, der kan hjælpe med at give et mere præcist svar. Kombiner svarene på disse under-spørgsmål for at give det endelige svar.”

Her vil AI bryde det komplekse spørgsmål om klimaforandring ned i tre håndterbare under-spørgsmål. Efter at have modtaget svar på disse under-spørgsmål vil AI herefter kombinere dem for at give et mere omfattende og præcist svar.

Dette mønster indebærer generering af multiple spørgsmål for at opnå et mere præcist endeligt svar. Det er en proces for verificering og konsolidering af information for et robust endeligt output.

6) Few-Shot Prompting Tilgang

Few-Shot Prompting er en kraftfuld tilgang til at lære AI-modeller at følge bestemte mønstre eller udføre opgaver. Ideen er at føde modellen med et antal eksempler, før man stiller det ønskede spørgsmål. Dette hjælper med at sætte det ønskede adfærdsmønster og guide modellens svar.

Overvej en situation, hvor en bruger forsøger at udarbejde en koncis, overbevisende markedsføringskopitext for en ny teknologisk gadget:

Bruger: “Her er nogle eksempler på teknisk markedsføringskopitext: ‘Oplev musik som aldrig før med vores avancerede trådløse hovedtelefoner.’ ‘Få fat i din verden i overvældende 4K med vores ultra-slede aktionskamera.’ Givet disse eksempler, udarbejd en markedsføringskopitext for vores nye AI-drevne smartwatch.”

ChatGPT: “Giv liv til din livsstil med vores AI-drevne smartwatch, din companion for sundhed, tilkobling og produktivitet.” Den bemærkelsesværdige funktion ved few-shot-læring er, at den ikke kræver en detaljeret beskrivelse af, hvordan opgaven skal udføres. I stedet kræver den demonstrationer af, hvad der udføres, hvilket kan gøre det til en god tilgang for mange anvendelser.

Desuden kan denne teknik udstrækkes beyond simple input-output-par. Modellen kan også læres at håndtere mellemstadier for at opnå et mål.

7) Chain-of-Thought Prompting

I deres nyeste forskningsartikel “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” søger forfatterne Jason Wei og team at stimulere resonans inden for store sprogmodeller. I stedet for at bruge traditionelle, direkte prompts, bruger teamet en række sammenhængende prompts, der danner en ‘tankerække’.

For eksempel kunne en bruger være interesseret i den potentielle indvirkning af kunstig intelligens på arbejdsmarkeder:

Bruger: “Kunne du kort forklare begrebet kunstig intelligens?”

ChatGPT: “Kunstig intelligens, eller AI, refererer til evnen af en maskine til at imitere intelligent menneskelig adfærd. Det handler om at designe maskiner, der kan tænke og lære som mennesker, og dermed udføre opgaver som sprogoversættelse, beslutningstagning og problemløsning, blandt andet.”

Bruger: “Hvordan påvirker AI nuværende arbejdsmarkeder?”

ChatGPT: “AI skaber både nye job og ændrer naturen af eksisterende job. På den ene side automatiserer det rutineopgaver, hvilket fører til jobforskydning i visse sektorer. På den anden side skaber det efterspørgsel efter roller, der ikke tidligere eksisterede, såsom AI-etikere, dataanalytikere og maskinlæringsingeniører. Desuden kan AI supplere menneskelige roller, så personer kan udføre opgaver mere effektivt og præcist.”

Chain-of-thought prompting følger en række af sammenhængende prompts, der fastholder en ‘konversation’ med modellen, der guider den mod mere præcise og kontekstrelaterede svar.

Forståelse af ChatGPT API og Prompt Engineering fra en Udviklers Perspektiv

Fra en udviklers eller forskers perspektiv er prompt engineering en mere kompleks proces. Det indebærer design af algoritmer og teknikker til at hjælpe AI-modellen med at forstå og svare på prompts mere effektivt. Dette kan inkludere strategier for at håndtere tvetydige prompts, identificere konteksten af prompts eller kæde prompts sammen for at stimulere mere komplekse tankeprocesser i AI.

I ovenstående illustration interagerer en bruger med en chat-grænseflade, drevet af GPT-4. Deres input forbedres for klarhed og kontekstuel konsistens af en specialiseret modul, før det fødes til AI-modellen. Rollen af denne modul er at raffinere og forbedre brugerens input for bedre forståelse, samtidig med at den fastholder konteksten af samtalen. AI’s svar, udarbejdet på basis af den raffinerede prompt, returneres til brugeren gennem chat-grænsefladen. Interaktionshistorikken opdateres konsekvent, og fastholder samtalekonteksten. Overordnet set illustrerer denne diagram en dynamisk bruger-AI-samtaleflow, der er muliggjort af prompt engineering-teknikker.

ChatGPT API’s grænseflade er designet med forskellige hyperparametre, der giver brugere mulighed for at raffinere AI’s svar på prompts, og gøre dem mere effektive og fleksible. Disse inkluderer Temperature, Maximum Length og Stop Sequences parametre. Lad os udforske, hvordan de fungerer, og hvordan de kan anvendes i forskellige sammenhænge.

1) Temperatur

Temperaturparametren påvirker tilfældigheden af AI’s svar. En højere temperatur, såsom 1,0, opmuntrer til mere tilfældigt output, hvilket resulterer i diverse, men potentielt afvigende svar. I modsætning hertil kan en lavere temperatur, såsom 0,2, få AI til at vælge mere deterministiske svar, hvilket kan være nyttigt for fokuserede og specifikke output, men kan mangle variation.

Eksempel: Hvis du skriver en kreativ historie og ønsker uforudsigelige, fantasifulde elementer, kan du sætte temperaturen til en højere værdi. En prompt kan være: “Skriv en kort historie om en tidsrejsende kat.” Med en høj temperatur kan du få en vild, fantastisk fortælling med uforudsigelige vendinger og drejninger.

2) Maksimal Længde

Denne parameter kontrollerer den maksimale tokenlængde af modellens output, der inkluderer både tokens i inputbeskeden og outputbeskeden. At sætte en højere grænse tillader længere svar, mens en lavere grænse holder outputtet kort og koncist.

Eksempel: For korte svar på trivia-spørgsmål som “Hvem vandt Nobelprisen i litteratur i 2020?” kan du sætte maksimal længde til en lav værdi, så svaret er koncist og direkte.

3) Stop Sekvenser

Stop-sekvenser er bestemte strenge af tekst, hvor, når modellen møder dem, den ophører med at generere yderligere output. Denne funktion kan være nyttig til at kontrollere længden af outputtet eller til at instruere modellen til at stoppe ved logiske endepunkter.

Eksempel: For en formel brev kan du bruge “Venlig hilsen” som en stop-sekvens for at sikre, at AI ikke genererer yderligere tekst ud over den korrekte afslutning på brevet.

4) Top P

‘Top P’-parametren, også kendt som nucleus sampling, er en metode, der giver en dynamisk udvælgelse af antallet af ord, der overvejes ved hver forudsigelsestrin. En lavere værdi, såsom 0,5, fører til mere sikre, fokuserede output. En højere værdi, såsom 0,9, inkluderer en bredere udvælgelse af ord, hvilket fører til mere diverse output.

Eksempel: Hvis du skal skabe en AI, der skriver digte, og ønsker, at den skal bruge en bred vifte af vokabular og stilistiske fraser, kan du sætte ‘Top P’ til en højere værdi. En prompt kan være: “Komponér et digt om efterårets skønhed.”

5) Frekvensstraf

Frekvensstraf kontrollerer, hvor meget modellen skal favorisere mindre hyppige ord. En højere straf (op til 1) opmuntrer modellen til at bruge mindre almindelige ord, mens en lavere værdi (ned til -1) opmuntrer modellen til at bruge mere almindelige ord.

Eksempel: Hvis du forsøger at generere en forretningsplan og ønsker at undgå jargon, kan du sætte frekvensstraffen til en lavere værdi for at holde sproget klart og tilgængeligt.

6) Tilstedeværelsesstraf

Tilstedeværelsesstraf-parametren påvirker, hvor meget modellen straffes for at generere nye ideer eller emner, der ikke var nævnt i samtalehistorikken. Højere værdier opmuntrer modellen til at holde fast i emner, der allerede er nævnt, mens lavere værdier giver modellen mulighed for at introducere nye koncepter mere frit.

Eksempel: Til brainstorming-sessions kan du sætte tilstedeværelsesstraffen til en lavere værdi for at opmuntre til en diversitet af ideer. Du kan bruge en prompt som: “Generér innovative markedsføringsstrategier for en online-uddannelsesplatform.”

Branchens Anvendelse af Prompt Engineering