Den essentielle guide til prompt engineering i ChatGPT

Siden lanceringen, ChatGPT har lavet bølger inden for AI-sfæren og tiltrukket over 100 millioner brugere på rekordtid. Den hemmelige sauce til ChatGPTs imponerende ydeevne og alsidighed ligger i en kunst, der er subtilt indlejret i dets programmering – hurtig konstruktion.

Lanceret i 2022, DALL-E, MidJourney og StableDiffusion understregede det forstyrrende potentiale ved Generative AI. Men det var det Åbn AI's ChatGPT, der virkelig kom i centrum senere i 2022. Og dette momentum viste ingen tegn på aftagende fart.

Googles annoncering af Bard , Meta's Lamma 2  svar på OpenAI's ChatGPT har markant forstærket momentum af AI-løbet. Ved at give disse modeller input, vejleder vi deres adfærd og reaktioner. Det gør os alle til en vis grad prompte ingeniører. Teknologiindustrien har lagt mærke til det. Venturekapitalister hælder penge ind i startups, der fokuserer på prompt engineering, som f.eks Vellum AI. Desuden rapporterer Forbes, at prompte ingeniører kommanderer lønninger over 300,000 USD, hvilket indikerer et blomstrende og værdifuldt arbejdsmarked.

I denne artikel vil vi afmystificere verden af ​​prompt engineering i forbindelse med ChatGPT. Vi vil udforske kerneprincipperne og teknikkerne og undersøge deres kommercielle anvendelser.

Lad os først forstå, hvordan ChatGPT fungerer, og den afgørende rolle, prompt engineering spiller i denne proces.

Mekanikken bag ChatGPT Prompt Engineering

Den hemmelige sauce bag ChatGPTs succes er dens evne til at forstå og efterligne nuancerne i menneskelig samtale. Modellen er trænet på en bred vifte af internettekster, men det er afgørende, at den ikke kender specifikke dokumenter eller kilder i sit træningssæt, hvilket sikrer generalisering frem for specificitet. Denne træningstilgang giver ChatGPT mulighed for at generere kreative svar, navigere i komplekse dialoger og endda udvise en sans for humor. Det er dog vigtigt at huske, at ChatGPT ikke rigtig forstår eller har overbevisninger; den genererer svar baseret på mønstre, den har lært under træningen.

ChatGPTs evne til at forstå og reagere på menneskeligt sprog på en nuanceret og kontekstbevidst måde gør dem til utroligt alsidige værktøjer.

Mekanikken i disse modeller hviler på konceptet 'tokens' - diskrete bidder af sprog, der kan variere fra et enkelt tegn til et helt ord. Disse modeller arbejder med et specifikt antal tokens ad gangen (4096 for GPT-3.5-Turbo eller 8192 eller 32768 for GPT-4), og forudsiger den næste sekvens af sandsynlige tokens. Modellerne behandler tokens ved hjælp af kompleks lineær algebra, der forudsiger det mest sandsynlige efterfølgende token.

For eksempel kunne en simpel sætning på ni ord blive til ti tokens. Selv et enkelt komplekst ord kan blive til flere tokens, hvilket hjælper modellen med bedre at forstå og generere sprog. Selv sprog med komplekse ordstrukturer, som tysk, styres gennem tokenisering.

GPT-modeller (Generative Pre-trained Transformer) fungerer ved at generere et token ad gangen, startende fra det første token og fortsætter op til det sidste. Efter at have genereret hvert token, gensøger modellen hele sekvensen og behandler det igen for at generere det næste token. Denne iterative proces fortsætter, indtil den endelige token er genereret, hvilket gør genereringen af ​​tekst ligner en stor for-loop.

Men her er fangsten – kvaliteten af ​​disse svar afhænger i høj grad af de prompter, den modtager. Ligesom at styre en samtale med et menneske, kræver det et vist niveau af dygtighed og forståelse at guide en dialog med ChatGPT. Det er her, hurtig ingeniørarbejde spiller ind.

Hvad er Prompt Engineering?

Prompt Engineering er kunsten at skabe præcise, effektive prompter/input til at guide AI (NLP/Vision) modeller som ChatGPT til at generere de mest omkostningseffektive, nøjagtige, nyttige og sikre output.

Prompt engineering er ikke kun begrænset til tekstgenerering, men har en bred vifte af applikationer på tværs af AI-domænet. Det bliver i stigende grad brugt inden for områder som robotprocesautomatiseringsrobotter, 3D-aktiver, scripts, robotinstruktioner og andre typer indhold og digitale medier. Det giver en unik blanding af logik, kodning, kunst og i visse tilfælde specielle modifikatorer.

Mens en prompt kan indeholde naturligt sprogtekst, billeder eller andre typer inputdata, kan outputtet variere betydeligt på tværs af AI-tjenester og -værktøjer. Hvert værktøj har sine specielle modifikatorer, der beskriver vægten af ​​ord, stilarter, perspektiver, layout eller andre egenskaber for det ønskede svar.

Dette felt er vigtigt for at skabe bedre AI-drevne tjenester og opnå overlegne resultater fra eksisterende generative AI-værktøjer. Enterprise-udviklere bruger for eksempel ofte prompt engineering til at skræddersy store sprogmodeller (LLM'er) som GPT-3 til at drive en kundevendt chatbot eller håndtere opgaver som at oprette branchespecifikke kontrakter.

Denne iterative proces med hurtig forfining og måling af AI-ydeevne er et nøgleelement i at gøre det muligt for AI-modeller at generere meget målrettede, nyttige svar i forskellige sammenhænge.

At blive en hurtig ingeniør

GPT-4-modellens dygtighed til at forstå komplekse instruktioner og løse indviklede problemer præcist gør den til en uvurderlig ressource. Der er dog forskellige metoder til at få adgang til denne models muligheder, og forståelsen af ​​disse kan være afgørende for en hurtig ingeniørs rolle i optimering af både effektivitet og omkostningseffektivitet.

Der er grundlæggende to måder at engagere sig med GPT-modeller som GPT-4. En måde er gennem OpenAI's API, hvor omkostningerne beregnes pr. input og output tokens. I dette scenarie kan omkostningerne pr. 1K tokens svinge baseret på kontekststørrelsen. For eksempel, i en større 32K-sammenhæng, kunne omkostningerne gå op til $0.06 for input-tokens og $0.12 for output-tokens. Når man håndterer en stor mængde forespørgsler, kan omkostningerne ved brug således hurtigt akkumuleres.

Alternativt opererer ChatGPT, som udnytter GPT-4-modellen, på en abonnementsbaseret model.

En anden nøgleopgave i prompt engineering involverer modelparameterjustering. Denne proces involverer justering af de variabler, som modellen bruger til at lave forudsigelser. Ved at finjustere disse parametre kan hurtige ingeniører forbedre kvaliteten og nøjagtigheden af ​​modellens svar, hvilket gør dem mere kontekstuelt relevante og nyttige.

Selvom mange hurtige ingeniører kommer fra en teknisk baggrund, gør feltets tværfaglige karakter det tilgængeligt for personer med forskellig faglig baggrund. I stigende grad udnytter forfattere, forskere og endda kunstnere deres unikke færdigheder til at forbedre effektiviteten af ​​AI-modeller. Dette skift afspejles også på arbejdsmarkedet, hvor et stigende antal virksomheder søger hurtige ingeniører med en bred vifte af færdigheder og baggrunde.

Hurtig design og ingeniørarbejde i ChatGPT

Hurtig design og ingeniørarbejde spiller en afgørende rolle i at optimere ydeevnen af ​​sprogmodeller og involverer mere end blot at lave spørgsmål; de kræver en dyb forståelse af AI-modellen og en yderst iterativ og raffineret tilgang.

Hurtigt design

Hurtigt design er i sin kerne kunsten og videnskaben at skabe den perfekte prompt for en given stor sprogmodel (LLM), som ChatGPT, for at opnå et klart angivet mål. Det er en blanding af:

• Forståelse af LLM: Forskellige sprogmodeller kan reagere forskelligt på den samme prompt. Desuden kan visse sprogmodeller have unikke søgeord eller triggere, som de fortolker på en bestemt måde.
• Domæneviden: Ekspertise inden for det relevante felt er afgørende, når man designer prompter. For eksempel vil generering af en prompt for at udlede en medicinsk diagnose kræve medicinsk viden.
• Iterativ tilgang og kvalitetsmåling: Processen med at skabe den ideelle prompt involverer ofte forsøg og fejl. Derfor er det vigtigt at have en måde at evaluere outputkvaliteten på ud over blot subjektiv bedømmelse, især når du bruger prompten i større skala.

Hurtig teknik

Prompt engineering er et udvidet område af prompt design, der omfatter flere kritiske processer:

• Design af prompter i skala: Denne proces inkluderer design af meta-prompter (prompter, der genererer andre prompter) og promptskabeloner, som er parameteriserede prompter, der kan instansieres under kørsel.
• Værktøjsdesign og -integration: Prompter kan nogle gange omfatte resultater fra eksterne værktøjer, og det er afgørende at integrere disse værktøjer problemfrit i systemet.
• Workflow, planlægning og promptstyring: Implementering af en LLM-applikation, som en chatbot, kræver ofte håndtering af biblioteker med prompter, planlægning og valg af de rigtige prompter og effektiv integration af forskellige værktøjer.
• Evaluering og kvalitetssikring af prompter: Dette aspekt omfatter definition af målinger og processer til at evaluere prompterne både automatisk og med menneskelig involvering.
• Prompt optimering: Omkostningerne og latensen af ​​AI-modellen kan afhænge af valget af model og længden af ​​prompten (antal tokens).

Mange automatiserede promptdesigntilgange, værktøjer og rammer er blevet udviklet til at håndtere prompter i stor skala. Det er dog vigtigt at forstå, at ingen af ​​disse værktøjer kan erstatte den nuancerede forståelse, dømmekraft og erfaring fra en erfaren hurtig ingeniør.

Prompt Engineering: Teknikker og bedste praksis

1) Hurtig placering og beskrivelse

Placering af instruktioner i begyndelsen af ​​prompten kan have stor indflydelse på AI'ens forståelse og respons. Overvej opgaven med at opsummere en tekst i et punktopstillingsformat. En mindre effektiv tilgang ville være:

Bruger: Opsummer teksten nedenfor som en punktliste over de vigtigste punkter.
{tekstindtastning her}

På den anden side kunne en mere effektiv teknik være:

Bruger: Opsummer teksten nedenfor som en punktliste over de vigtigste punkter.
Tekst: """
{tekstindtastning her}
"" "

Ved klart at adskille instruktionerne og konteksten med symboler som ### eller """, kan AI-modellen bedre afgrænse sin opgave og den tekst, den skal behandle, og derved give mere præcise og relevante svar.

For det andet kan det at være specifik, beskrivende og detaljeret om konteksten, forventet resultat, længde, format, stil og så videre forbedre præcisionen af ​​AI-svar betydeligt. Antag, at du skal generere et kort overblik over en videnskabelig artikel i en engagerende, lægmandsvenlig stil. En vag instruktion som "Summer den videnskabelige artikel" ville give mindre effektive resultater sammenlignet med en specifik, detaljeret prompt:

Bruger: Generer et kort (ca. 200 ord), engagerende resumé af følgende videnskabelige artikel. Resuméet skal være forståeligt for en person uden videnskabelig baggrund, samtidig med at det nøjagtigt afspejler papirets nøgleresultater.
Papir: """
{videnskabelig papirtekst her}
"" "

2) Personamønster

Persona-mønsteret er en strategi, der sætter AI til at fungere fra et bestemt perspektiv, såsom en professionel rolle eller fiktiv karakter. Denne taktik gør det muligt for modellen at levere output relateret til de specifikke roller, som personaen ville håndtere. For eksempel kunne man instruere AI'en til at fungere som cybersikkerhedsekspert under en kodegennemgang. Dette mønster er især nyttigt, når brugere har brug for hjælp, men er usikre på de nøjagtige detaljer, der kræves i outputtet.

Tag følgende som eksempel:

Bruger: “Antag personligheden af ​​en seniorhistoriker med speciale i den franske revolution. Givet denne persona, forklar de vigtigste begivenheder og årsager, der førte til det franske monarkis undergang."

I dette scenarie forventes AI at reagere med en dybdegående analyse af den franske revolution med fokus på monarkiets fald, som en historiker ville.

Introduktion af ny information

ChatGPT besidder ikke viden ud over dets træningsgrænse, og kan derfor ikke give information om seneste begivenheder eller opdateringer efter træningen. Du kan dog introducere nye oplysninger til modellen via dine prompter.

Bruger: "Hvad er kryptovaluta?"
ChatGPT: “Cryptocurrency er en type digital eller virtuel valuta, der bruger kryptografi til sikkerhed. Den mest kendte kryptovaluta er Bitcoin."

Nu, hvis vi tilføjer lidt mere kontekst til prompten, kan vi gøre forklaringen endnu mere intuitiv:

Bruger: "Forklar begrebet kryptovaluta til en gymnasieelev, der studerer digital finans"
ChatGPT: "Forestil dig, at du spiller et online videospil, og der er spilpenge, du kan tjene til at købe opgraderinger eller nye karakterer. Cryptocurrency er lidt sådan, men i stedet for at være begrænset til spillet, kan du faktisk bruge det til at købe varer og tjenester fra den virkelige verden. Det er ligesom digitale penge, som ingen bank eller regering kontrollerer.”

3) Spørg Størrelsesbegrænsninger

Det er vigtigt at forstå størrelsesbegrænsningen af ​​ChatGPT, da det direkte påvirker mængden og typen af ​​information, vi kan indtaste. Sprogmodeller er ikke bygget til at behandle ubegrænset data på én gang. De har en iboende begrænsning på størrelsen af ​​den prompt, vi kan oprette og indtaste. Denne begrænsning har dybtgående konsekvenser for design og udførelse af prompterne.

ChatGPT har en token-grænse (generelt 2048 tokens), som inkluderer både prompten og det genererede svar. Det betyder, at lange meddelelser kan begrænse længden af ​​svaret. Derfor er det vigtigt at holde meddelelserne kortfattede, men alligevel informative.

I praktisk brug skal vi fungere som redaktører og selektivt vælge den mest relevante information til den aktuelle opgave. Forestil dig at skrive et papir eller en artikel med en ord- eller sidebegrænsning – du kan ikke bare dumpe tilfældige fakta, men omhyggeligt udvælge og strukturere information, der er relevant for emnet.

Bruger: "I betragtning af modellens symbolske begrænsninger, opsummer de vigtigste begivenheder fra Anden Verdenskrig med mindre end 1000 ord."

Ved at anerkende modellens symbolske begrænsninger leder denne prompt AI til at give et kortfattet, men dog omfattende resumé af Anden Verdenskrig.

Spørgsmål til gentagen brug: I et samtalescenarie kan du genbruge prompter eller forfine dem baseret på tidligere svar. Dette giver et samtaleflow og fastholder konteksten i interaktionen.

4) Spørgsmålsforfiningsmønster

ChatGPT kan også hjælpe med at finjustere dine spørgsmål. For eksempel, hvis du stiller et spørgsmål, kan det foreslå et bedre formuleret spørgsmål for mere præcise resultater.

Spørgsmålsforfiningsmønsteret indebærer, at LLM forfiner de spørgsmål, der stilles af brugeren. Det er især nyttigt, når brugere ikke er eksperter på et domæne eller er usikre på, hvordan de skal formulere deres spørgsmål.

Et eksempel på prompt kan se sådan ud:

Bruger: "Når jeg stiller et spørgsmål om datavidenskab, så foreslå et mere raffineret spørgsmål under hensyntagen til statistiske analyser og spørg, om jeg vil fortsætte med det raffinerede spørgsmål."

Her forventes AI at forfine brugerens generelle datavidenskabelige spørgsmål til mere detaljerede spørgsmål, der tager højde for statistiske analyseaspekter.

5) Kognitivt verifikationsmønster

Det kognitive verifikationsmønster opdeler komplekse spørgsmål i mindre, håndterbare underspørgsmål. Svarene på disse underspørgsmål kombineres derefter for at give et fyldestgørende svar på hovedspørgsmålet. Denne tilgang er nyttig, når de indledende spørgsmål er for høje, eller når der er behov for yderligere klarhed for at give et fuldstændigt svar.

For eksempel:

Bruger: "Hvis jeg stiller et spørgsmål om klimaændringer, så opdel det i tre mindre spørgsmål, som vil hjælpe dig med at give et mere præcist svar. Kombiner svarene på disse underspørgsmål for at give det endelige svar."

I dette scenarie vil AI opdele det komplekse spørgsmål om klimaændringer i tre håndterbare underspørgsmål. Efter at have modtaget svar på disse underspørgsmål, vil AI'en derefter kombinere disse for at give et mere omfattende og præcist svar.

Dette mønster involverer generering af flere spørgsmål for at opnå et mere præcist endeligt svar. Det er en proces med verifikation og konsolidering af information for et robust endeligt output

6) Få skuds-fremkaldende tilgang

Few-shot prompting er en kraftfuld tilgang til at lære AI-modeller at følge specifikke mønstre eller udføre opgaver. Ideen er at fodre modellen med en række eksempler, før du stiller det ønskede spørgsmål. Dette er med til at indstille den ønskede adfærd og vejlede modellens svar.

Overvej et scenarie, hvor en bruger forsøger at udarbejde en kortfattet, overbevisende markedsføringskopi til en ny teknologisk gadget:

Bruger: "Her er nogle eksempler på tech marketing kopier: 'Oplev musik som aldrig før med vores avancerede trådløse hovedtelefoner." 'Fang din verden i fantastisk 4K med vores ultra-slanke actionkamera.' På baggrund af disse eksempler kan du lave et udkast til en markedsføringskopi til vores nye AI-drevne smartwatch."

ChatGPT: "Styrk din livsstil med vores AI-drevne smartwatch, din ledsager til sundhed, tilslutningsmuligheder og produktivitet." Det bemærkelsesværdige ved få-skudslæring er, at det ikke kræver en detaljeret beskrivelse af, hvordan opgaven skal udføres. I stedet kræver det demonstrationer af, hvad der bliver gjort, hvilket kan gøre det til en god pasform til mange applikationer.

Desuden strækker denne teknik sig ud over simpel input-output-parring. Modellen kan også læres at håndtere mellemtrin for at nå et mål.

7) Chain-of-Thought Prompting

I deres seneste forskningsartikel, "Tankekæde-fremkaldelse fremkalder ræsonnement i store sprogmodeller” Forfattere Jason Wei og team sigter mod at stimulere ræsonnement inden for store sprogmodeller. I stedet for at bruge traditionelle, direkte prompter, gør teamet brug af en række indbyrdes forbundne prompter, der danner en 'kæde-af-tanke'.

For eksempel kan en bruger være interesseret i den potentielle indvirkning af kunstig intelligens på arbejdsmarkederne:

Bruger: "Kan du kort forklare begrebet kunstig intelligens?"

ChatGPT: “Kunstig intelligens, eller AI, refererer til en maskines evne til at efterligne intelligent menneskelig adfærd. Det handler om at designe maskiner, der kan tænke og lære som mennesker, hvilket gør dem i stand til blandt andet at udføre opgaver som sprogoversættelse, beslutningstagning og problemløsning."

Bruger: "Hvordan påvirker kunstig intelligens det nuværende arbejdsmarked?"

ChatGPT: “AI skaber både nye job og ændrer karakteren af ​​eksisterende. På den ene side automatiserer det rutineopgaver, hvilket fører til jobforskydning i visse sektorer. På den anden side skaber det efterspørgsel efter roller, der ikke tidligere eksisterede, såsom AI-etikansvarlige, dataanalytikere og maskinlæringsingeniører. Derudover kan kunstig intelligens øge menneskelige roller, så folk kan udføre opgaver mere effektivt og præcist."

Chain-of-thought prompting følger en progression af relaterede prompter, der opretholder en 'samtale' med modellen, der guider den mod mere præcise og kontekstuelt passende svar.

Forstå ChatGPT API og Prompt Engineering fra en udviklers perspektiv

Fra en udvikler- eller forskerperspektiv er prompt engineering en mere kompleks proces. Det involverer design af algoritmer og teknikker til at hjælpe AI-modellen med at forstå og reagere på prompter mere effektivt. Dette kunne omfatte strategier til håndtering af tvetydige prompter, identifikation af konteksten af ​​prompter eller kæde prompter sammen for at stimulere mere komplekse tankeprocesser i AI

I ovenstående illustration interagerer en bruger med en chatgrænseflade, drevet af GPT-4. Deres input er forbedret for klarhed og kontekstuel konsistens af et specialiseret modul, før det føres til AI-modellen. Dette moduls rolle er at forfine og forbedre brugerens input for bedre forståelse, samtidig med at konteksten for samtalen bevares. AI'ens svar, der er lavet baseret på den raffinerede prompt, returneres til brugeren via chatgrænsefladen. Interaktionshistorikken opdateres konsekvent, hvilket bevarer samtalekonteksten. Overordnet set illustrerer dette diagram et dynamisk bruger-AI-samtaleflow aktiveret af hurtige ingeniørteknikker.

ChatGPT API'er grænsefladen er konstrueret med forskellige hyperparametre, der gør det muligt for brugerne at forfine AI'ens svar på prompter, hvilket gør dem mere effektive og alsidige. Disse omfatter parametrene Temperatur, Maximum Length og Stop Sequences. Lad os undersøge, hvordan de fungerer og kan bruges i forskellige sammenhænge.

1) Temperatur

Temperaturparameteren påvirker tilfældigheden af ​​AI's svar. En højere temperatur, såsom 1.0, tilskynder til mere tilfældigt output, hvilket resulterer i forskellige, men potentielt off-topic svar. I modsætning hertil får en lavere temperatur, som 0.2, AI'en til at vælge mere deterministiske reaktioner, som kan være gavnlige for fokuserede og specifikke output, men kan mangle variation.

Eksempel: Hvis du skriver en kreativ historie og ønsker uforudsigelige, fantasifulde elementer, skal du indstille temperaturen til en højere værdi. En opfordring kunne være: "Skriv en kort historie om en kat, der rejser i tiden." Med en høj temperatur får du måske en vild, fantastisk fortælling med uforudsigelige drejninger.

2) Maksimal længde

Denne parameter styrer den maksimale tokenlængde af modellens output, som inkluderer både tokens i meddelelsesinput og meddelelsesoutput. Indstilling af en højere grænse giver mulighed for mere udvidede svar, mens en lavere grænse holder output kort og præcist.

Eksempel: For korte svar på trivia-spørgsmål som: "Hvem vandt Nobelprisen i litteratur i 2020?" Du vil måske indstille den maksimale længde til en lav værdi, så du sikrer, at svaret er kortfattet og direkte.

3) Stopsekvenser

Stopsekvenser er specifikke tekststrenge, hvor den, når modellen støder på dem, holder op med at generere yderligere output. Denne funktion kan være nyttig til at kontrollere længden af ​​output eller instruere modellen til at stoppe ved logiske endepunkter.

Eksempel: For et formelt brev kan du bruge "Med venlig hilsen" som en stopsekvens for at sikre, at AI'en ikke genererer yderligere tekst ud over den korrekte slutning af brevet.

4) Top P

'Top P' parameteren, også kendt som nucleus sampling, er en metode, der giver et dynamisk udvalg af antallet af ord, der tages i betragtning ved hvert trin i modellens forudsigelser. En lavere værdi, som 0.5, fører til sikrere, mere fokuserede output. En højere værdi, som 0.9, inkluderer et bredere udvalg af ord, hvilket fører til mere forskelligartede output.

Eksempel: Hvis du opretter en AI til at skrive digte og vil have den til at bruge en bred vifte af ordforråd og stilistiske sætninger, kan du indstille 'Top P' til en højere værdi. En opfordring kunne være: "Skriv et digt om efterårets skønhed."

5) Frekvensstraf

Frekvensstraf styrer, hvor meget modellen skal favorisere mindre hyppige ord. En højere straf (op til 1) tilskynder modellen til at bruge mindre almindelige ord, mens en lavere værdi (ned til -1) tilskynder modellen til at bruge mere almindelige ord.

Eksempel: Hvis du forsøger at generere et forretningsforslag og vil undgå jargon, kan du indstille frekvensstraffen til en lavere værdi for at holde sproget klart og tilgængeligt.

6) Tilstedeværelsesstraf

Parameteren Tilstedeværelsesstraf påvirker, hvor meget modellen straffes for at generere nye ideer eller emner, der ikke var til stede i samtalehistorikken. Højere værdier tilskynder modellen til at holde sig til de allerede nævnte emner, mens lavere værdier tillader modellen at introducere nye begreber mere frit.

Eksempel: Til brainstormsessioner kan du indstille tilstedeværelsesstraffen til en lavere værdi for at opmuntre til en bred vifte af ideer. Du kan bruge en prompt som "Generer innovative marketingstrategier til en online uddannelsesplatform."

Industriel anvendelse af prompt engineering