ChatGPT og avanceret prompt-engineering: Driver AI-evolutionen

OpenAI har været med til at udvikle revolutionerende værktøjer som OpenAI Gym, der er designet til træning af forstærkningstalgoritmer, og GPT-n-modeller. Fokus er også på DALL-E, en AI-model, der kan lave billeder fra tekstinput. En sådan model, der har fået betydelig opmærksomhed, er OpenAIs ChatGPT, et glimrende eksempel på Large Language Models.

GPT-4: Prompt Engineering

ChatGPT har forandret chatbot-landskabet, ved at tilbyde menneske-lignende svar på brugerinput og udvide sine anvendelser på tværs af domæner – fra softwareudvikling og test til forretningskommunikation og endda skabelsen af digte.

I hænderne på virksomheder og enkeltpersoner kan GPT-4, for eksempel, fungere som en uudtømmelig videnkilde, dygtig i fag som matematik og biologi til juridiske studier. Sådanne avancerede og tilgængelige AI-modeller er parat til at omdefinere fremtidens arbejde, læring og kreativitet.

Generative modeller som GPT-4 kan producere nye data baseret på eksisterende input. Denne distinkte egenskab giver dem mulighed for at udføre forskellige opgaver, herunder generering af tekst, billeder, musik og video.

I sammenhæng med ChatGPT og OpenAI-modeller er en prompt det input, som brugere giver til modellerne, normalt i form af tekst. Prompts fungerer som det primære middel til at kontrollere output genereret af disse modeller, hvilket gør dem afgørende for succesfulde og meningsfulde samtaler med AI-systemer.

Prompt-kvalitetens indvirkning

At bruge veldefinerede prompts er nøglen til at engagere i nyttige og meningsfulde samtaler med AI-systemer. Dårligt definerede prompts kan resultere i output, der ikke er nyttigt for brugeren, og kan endda føre til misvisende indhold.

For at demonstrere indvirkningen af prompt-kvalitet, lad os sammenligne to forskellige prompts givet til ChatGPT. Den første prompt, dårligt defineret og antager forhåndsviden, genererer et potentiel unyttigt svar for brugeren. På den anden side giver den anden prompt mere kontekst og eksempler, hvilket sikrer et mere relevant og forståeligt svar.

Prompt 1: “Fortæl mig om Convolutional Neural Networks.”

Svar 1: “Convolutional Neural Networks (CNNs) er multi-layer perceptron-netværk, der består af fuldt forbundne lag og pooling-lag. De er almindeligt brugt i billedgenkendelsestasks. Processen indebærer at anvende filtre til inputbilleder og nedskalere dem ved hjælp af pooling-lag.”

Prompt 2: “Jeg vil gerne lære om Convolutional Neural Networks, men jeg har ingen forhåndsviden om kunstige neurale netværk. Kan du venligst give en begyndervenlig forklaring og et eksempel på, hvordan CNNs bruges i billedgenkendelse?”

Svar 2: “Convolutional Neural Networks (CNNs) er en type neuralt netværk, der primært bruges til billedgenkendelsestasks. I modsætning til andre neurale netværk udnytter de convolutionelle lag og pooling-lag til at behandle billeder. Forestil dig, at du har et billede af en kat. CNNs kan identificere forskellige funktioner i billedet, såsom whiskers, ører og hale, ved at anvende filtre og nedskalere billedet ved hjælp af pooling-lag. Denne proces gør CNNs meget effektive til at genkende objekter i billeder.”

Ved at sammenligne de to svar, er det tydeligt, at en veldefineret prompt fører til et mere relevant og brugervenligt svar. Prompt-design og -ingeniørarbejde er voksende discipliner, der sigter mod at optimere outputkvaliteten af AI-modeller som ChatGPT.

I de følgende afsnit af denne artikel, vil vi dykke dybere ind i området for avancerede metoder til at raffinere Large Language Models (LLMs), såsom prompt-ingeniørteknikker og taktikker. Disse inkluderer few-shot learning, ReAct, chain-of-thought, RAG og mere.

Avancerede ingeniørteknikker

Før vi fortsætter, er det vigtigt at forstå et nøgleproblem med LLMs, kendt som ‘hallucination’. I sammenhæng med LLMs betyder ‘hallucination’ tendensen hos disse modeller til at generere output, der kan synes rimeligt, men ikke er rod i faktuel virkelighed eller den givne inputkontekst.

Dette problem blev skarpt fremhævet i en recent retssag, hvor en forsvarer brugte ChatGPT til juridisk research. AI-værktøjet, der fejlede på grund af sit hallucinationsproblem, citerede ikke-eksisterende retssager. Dette misstep havde betydelige konsekvenser, da det forårsagede forvirring og undergravede troværdighed under retssagen. Denne episode fungerer som en skarp påmindelse om det presserende behov for at løse problemet med ‘hallucination’ i AI-systemer.

Vores udforskning af prompt-ingeniørteknikker sigter mod at forbedre disse aspekter af LLMs. Ved at forbedre deres effektivitet og sikkerhed, baner vi vejen for innovative anvendelser såsom informationsudtrækning. Dette åbner også døre til at integrere LLMs med eksterne værktøjer og datakilder, hvilket udvider deres anvendelsesområde.

Nul og few-shot læring: Optimering med eksempler

Generative Pretrained Transformers (GPT-3) markerede et vigtigt vendepunkt i udviklingen af generative AI-modeller, da det introducerede begrebet ‘few-shot læring.’ Denne metode var en game-changer på grund af sin evne til at fungere effektivt uden behov for omfattende finjustering. GPT-3-rammen diskuteres i artiklen “Language Models are Few Shot Learners“, hvor forfatterne demonstrerer, hvordan modellen excellerer på tværs af diverse anvendelser uden at kræve brugerdefinerede datasæt eller kode.

I modsætning til finjustering, der kræver kontinuerligt arbejde for at løse varierende anvendelser, viser few-shot-modeller en lettere tilpasning til en bredere række af anvendelser. Mens finjustering kan give robuste løsninger i nogle tilfælde, kan det være dyrt i størrelse, hvilket gør brugen af few-shot-modeller en mere praktisk tilgang, især når den kombineres med prompt-ingeniørarbejde.

Forestil dig, at du forsøger at oversætte engelsk til fransk. I few-shot læring ville du give GPT-3 nogle oversættelseseksempler som “sea otter -> loutre de mer”. GPT-3, som er en avanceret model, er derefter i stand til at fortsætte med at give præcise oversættelser. I zero-shot læring ville du ikke give nogen eksempler, og GPT-3 ville stadig være i stand til at oversætte engelsk til fransk effektivt.

Begrebet ‘few-shot læring’ kommer fra idéen om, at modellen gives et begrænset antal eksempler at ‘lære’ fra. Det er vigtigt at bemærke, at ‘lære’ i denne kontekst ikke indebærer opdatering af modellens parametre eller vægte, men snarere påvirker modellens præstation.

Few Shot Learning som demonstreret i GPT-3 Paper

Zero-shot læring tager dette koncept et skridt videre. I zero-shot læring gives der ingen eksempler på opgaveafslutning i modellen. Modellen forventes at fungere godt baseret på sin initiale træning, hvilket gør denne metode ideel for åben-domæne spørgsmålssvar, såsom ChatGPT.

I mange tilfælde kan en model, der er dygtig i zero-shot læring, fungere godt, når den gives few-shot eller endda single-shot eksempler. Denne evne til at skifte mellem zero, single og few-shot læringsscenarier understreger den store modellens tilpasningsevne, hvilket forbedrer deres potentielle anvendelser på tværs af forskellige domæner.

Zero-shot læringsmetoder bliver mere og mere almindelige. Disse metoder kendetegnes ved deres evne til at genkende objekter, der ikke er set under træning. Her er et praktisk eksempel på en Few-Shot Prompt:

"Oversæt følgende engelske fraser til fransk:

'sea otter' oversættes til 'loutre de mer'
'sky' oversættes til 'ciel'
'Hvad oversættes 'cloud' til på fransk?'"

Ved at give modellen nogle eksempler og derefter stille et spørgsmål, kan vi effektivt guide modellen til at generere det ønskede output. I dette tilfælde ville GPT-3 sandsynligvis korrekt oversætte ‘cloud’ til ‘nuage’ på fransk.

Vi vil dykke dybere ind i de forskellige nuancer af prompt-ingeniørteknikker i GPT-modeller og se, hvordan de kan bruges til at skabe kosteffektive og skalerbare løsninger på tværs af en bred vifte af anvendelser.

Som vi dykker dybere ind i kompleksiteten af prompt-ingeniørteknikker i GPT-modeller, er det vigtigt at fremhæve vores sidste artikel ‘Essential Guide to Prompt Engineering in ChatGPT‘. Denne guide giver indsigt i strategierne for at instruere AI-modeller effektivt på tværs af en bred vifte af anvendelser.

I vores tidligere diskussioner gik vi ind i grundlæggende promptmetoder for store sprogmodeller (LLMs) såsom zero-shot og few-shot læring, samt instruktionsprompting. At mestre disse teknikker er afgørende for at navigere i de mere komplekse udfordringer i prompt-ingeniørarbejde, som vi vil udforske her.

Few-shot læring kan være begrænset på grund af den begrænsede kontekstvindue for de fleste LLMs. Desuden kan LLMs uden de rette sikkerhedsforanstaltninger være forledt til at levere potentielt skadeligt output. Plus, mange modeller kæmper med resonanstasks eller følge multi-trins instruktioner.

Givet disse begrænsninger ligger udfordringen i at udnytte LLMs til at løse komplekse opgaver. En åbenlys løsning kunne være at udvikle mere avancerede LLMs eller forbedre eksisterende, men det kunne indebære betydeligt arbejde. Så spørgsmålet opstår: hvordan kan vi optimere nuværende modeller for bedre problemsløsning?

Lige så fascinerende er udforskningen af, hvordan denne teknik grænser op til kreative anvendelser i Unite AI’s ‘Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering‘, som beskriver, hvordan fusionen af kunst og AI kan resultere i imponerende kunst.

Kæde af tankeprompting

Kæde af tankeprompting udnytter de indbyggede auto-regressive egenskaber hos store sprogmodeller (LLMs), der excellerer i at forudsige det næste ord i en given sekvens. Ved at prompte en model til at forklare sin tankeproces, inducerer det en mere omfattende, metodisk generering af ideer, der tenderer til at være i overensstemmelse med præcis information. Denne overensstemmelse stammer fra modellens tendens til at behandle og levere information på en omhyggelig og ordnet måde, ligesom en menneskelig ekspert, der fører en lytter gennem et komplekst koncept. En simpel udtalelse som “gå mig gennem trin for trin, hvordan man…” er ofte nok til at udløse denne mere verbale, detaljerede output.

Zero-shot kæde af tankeprompting

Mens konventionel CoT-promptning kræver fortræning med demonstrations, er et nyt område zero-shot CoT-promptning. Denne tilgang, introduceret af Kojima et al. (2022), tilføjer innovativt frasen “Lad os tænke trin for trin” til den oprindelige prompt.

Lad os oprette en avanceret prompt, hvor ChatGPT er opgaven at sammenfatte hovedpunkter fra AI- og NLP-forskningsartikler.

I denne demonstration vil vi bruge modellens evne til at forstå og sammenfatte kompleks information fra akademiske tekster. Ved at bruge few-shot læringstilgangen, lad os lære ChatGPT at sammenfatte hovedpunkter fra AI- og NLP-forskningsartikler:

1. Artiklens titel: "Attention Is All You Need"
Hovedpunkt: Introducerede transformer-modellen, hvilket understregede vigtigheden af attention-mekanismer over rekurrence-lag for sekvens-transduktionstasks.

2. Artiklens titel: "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"
Hovedpunkt: Introducerede BERT, der viste effikaciteten af at fortræne dybe bidirektionelle modeller, og opnåede state-of-the-art resultater på diverse NLP-opgaver.

Nu, med konteksten af disse eksempler, sammenfat hovedpunkterne fra følgende artikel:

Artiklens titel: "Prompt Engineering in Large Language Models: An Examination"

Denne prompt ikke kun fastholder en klar kæde af tanke, men udnytter også few-shot læringstilgangen til at guide modellen. Den kobler sig til vores nøgleord ved at fokusere på AI- og NLP-domænerne, specifikt ved at opgave ChatGPT til at udføre en kompleks operation, der er relateret til prompt-ingeniørarbejde: sammenfatning af forskningsartikler.

ReAct Prompt

ReAct, eller “Reason and Act”, blev introduceret af Google (GOOGL ) i artiklen “ReAct: Synergizing Reasoning and Acting in Language Models“, og revolutionerede, hvordan sprogmodeller interagerer med en opgave, ved at prompte modellen til dynamisk at generere både verbale resonanssporer og opgave-specifikke handlinger.

Forestil dig en menneskelig kok i køkkenet: de udfører ikke kun en række handlinger (skærer grøntsager, koger vand, rører ingredienser) men også deltager i verbal resonans eller indre tale (“nu hvor grøntsagerne er skåret, skal jeg sætte gryden på komfuret”). Denne løbende mentale dialog hjælper med at strategere processen, tilpasse sig pludselige ændringer (“jeg er løbet tør for olivenolie, jeg vil bruge smør i stedet”), og huske rækkefølgen af opgaver. ReAct efterligner denne menneskelige evne, hvilket giver modellen mulighed for hurtigt at lære nye opgaver og træffe robuste beslutninger, ligesom et menneske ville under nye eller usikre omstændigheder.

ReAct kan tackle hallucination, et almindeligt problem med Chain-of-Thought (CoT)-systemer. CoT, selvom en effektiv teknik, mangler evnen til at interagere med den ydre verden, hvilket potentielt kan føre til faktuel hallucination og fejlfortplantning. ReAct kompenserer for dette ved at interagere med eksterne informationskilder. Denne interaktion giver systemet mulighed for ikke kun at validere sin resonans, men også at opdatere sin viden baseret på den seneste information fra den ydre verden.

Den fundamentale arbejdsmåde for ReAct kan forklares gennem et eksempel fra HotpotQA, en opgave, der kræver højorden resonans. Når modellen modtager et spørgsmål, bryder den spørgsmålet ned i håndterbare dele og opretter en handlingsplan. Modellen genererer en resonansspor (tanke) og identificerer en relevant handling. Den kan beslutte at se op information om Apple (AAPL ) Remote på en ekstern kilde, såsom Wikipedia (handling), og opdaterer sin forståelse baseret på den erhvervede information (observation). Gennem multiple tanke-handling-observationsskridt kan ReAct hente information for at støtte sin resonans, mens den forbedrer, hvad den har brug for at hente næste.

Note:

HotpotQA er en datasæt, der er afledt fra Wikipedia, bestående af 113k spørgsmål-svar-par, designet til at træne AI-systemer i kompleks resonans, da spørgsmålene kræver resonans over flere dokumenter for at besvare. På den anden side er CommonsenseQA 2.0, konstrueret gennem gamification, inkluderer 14.343 ja/nej-spørgsmål og er designet til at udfordre AI’s forståelse af fællessans, da spørgsmålene er bevidst konstrueret for at mislede AI-modeller.

Processen kunne se sådan ud:

1. Tanke: “Jeg har brug for at søge efter Apple Remote og dens kompatible enheder.”
2. Handling: Søger “Apple Remote kompatible enheder” på en ekstern kilde.
3. Observation: Får en liste over enheder, der er kompatible med Apple Remote, fra søgeresultaterne.
4. Tanke: “Baseret på søgeresultaterne, kan flere enheder, ud over Apple Remote, styre programmet, det var oprindeligt designet til at interagere med.”

Resultatet er en dynamisk, resonansbaseret proces, der kan udvikle sig baseret på den information, den interagerer med, hvilket fører til mere præcise og pålidelige svar.

Komparativ visualisering af fire prompting metoder – Standard, Chain-of-Thought, Act-Only, og ReAct, i løsning af HotpotQA og AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Design af ReAct-agenter er en specialiseret opgave, givet dens evne til at opnå komplekse mål. For eksempel kan en konversationsagent, bygget på basis af ReAct-modellen, inkorporere konversationshukommelse for at give rigere interaktioner. Men kompleksiteten af denne opgave lettes af værktøjer som Langchain, der er blevet standarden for design af disse agenter.

Kontekst-trofast prompting

Artiklen ‘Kontekst-trofast prompting for Large Language Models‘ understreger, at mens LLMs har vist betydelig succes i viden-drevne NLP-opgaver, deres overvældende afhængighed af parametrisk viden kan føre dem på afveje i kontekst-følsomme opgaver. For eksempel, når en sprogmodel er trænet på forældede fakta, kan den producere forkerte svar, hvis den overseer kontekstuelle hints.

Dette problem er åbenbart i tilfælde af viden-konflikt, hvor konteksten indeholder fakta, der afviger fra LLMs forhåndsviden. Overvej et tilfælde, hvor en Large Language Model (LLM), fortrænet med data før VM i fodbold 2022, gives en kontekst, der angiver, at Frankrig vandt turneringen. Men LLM, der læner sig op ad sin forhåndsviden, fortsætter med at påstå, at den tidligere vinder, dvs. holdet, der vandt i 2018, stadig er den regerende mester. Dette demonstrerer et klassisk tilfælde af ‘viden-konflikt’.

I essensen opstår viden-konflikt i en LLM, når ny information, der gives i konteksten, modsiger den forhåndsviden, modellen er trænet på. Modellens tendens til at læne sig op ad sin forhåndsviden i stedet for den nytilførte kontekst kan føre til forkerte output. På den anden side er hallucination i LLMs generering af svar, der kan synes plausibelt, men ikke er rod i modellens træningsdata eller den givne kontekst.

Et andet problem opstår, når den givne kontekst ikke indeholder nok information til at besvare et spørgsmål nøjagtigt, en situation kendt som forudsigelse med afholdenhed. For eksempel, hvis en LLM bliver spurgt om grundlæggeren af Microsoft (MSFT ) baseret på en kontekst, der ikke giver denne information, skulle den ideelt set afholde sig fra at gætte.

Flere Viden-konflikt og magten af afholdenhed eksempler

For at forbedre kontekst-trofastheden af LLMs i disse scenarier foreslår forskerne en række prompting-strategier. Disse strategier sigter mod at gøre LLMs’ svar mere tilpasset til konteksten i stedet for at læne sig op ad deres indkodede viden.

En sådan strategi er at formulere prompts som meningsbaserede spørgsmål, hvor konteksten fortolkes som en fortællers udsagn, og spørgsmålet vedrører denne fortællers mening. Denne tilgang genfokuserer LLMs’ opmærksomhed på den præsenterede kontekst i stedet for at ty til deres forhåndsviden.

At tilføje kontrafaktiske demonstrations til prompts er også blevet identificeret som en effektiv måde til at øge trofasthed i tilfælde af viden-konflikt. Disse demonstrations præsenterer scenarier med falske fakta, der guider modellen til at være mere opmærksom på konteksten for at give nøjagtige svar.

Instruktionsfinjustering

Instruktionsfinjustering er en overvåget læringsfase, der udnytter modellen med specifikke instruktioner, for eksempel “Forklar forskellen mellem en solopgang og en solnedgang.” Instruktionen er parret med et passende svar, noget i retning af “En solopgang refererer til øjeblikket, hvor solen dukker op over horisonten om morgenen, mens en solnedgang markerer punktet, hvor solen forsvinder under horisonten om aftenen.” Gennem denne metode lærer modellen essentiel at adlyde og udføre instruktioner.

Denne tilgang har en betydelig indvirkning på processen med at prompte LLMs, hvilket fører til en radikal ændring i prompting-stilen. En instruktionsfinjusteret LLM tillader umiddelbar udførelse af zero-shot-opgaver, giver en problemfri opgaveudførelse. Hvis LLM endnu ikke er finjusteret, kan en few-shot læringstilgang være nødvendig, hvor man inkorporerer nogle eksempler i din prompt for at guide modellen mod det ønskede svar.

“Instruktionsjustering med GPT-4′ diskuterer forsøget på at bruge GPT-4 til at generere instruktionsfulgt data til finjustering af LLMs. De brugte en rig dataset, bestående af 52.000 unikke instruktionsfulgte indtastninger på både engelsk og kinesisk.

Datasettet spiller en afgørende rolle i instruktionsjustering LLaMA-modeller, en åben kilde-serie af LLMs, hvilket resulterer i forbedret zero-shot-præstation på nye opgaver. Bemærkelsesværdige projekter som Stanford Alpaca har effektivt anvendt Self-Instruct-justering, en effektiv metode til at tilpasse LLMs med menneskeligt formål, udnyttende data genereret af avancerede instruktionsjusterede lærermodeller.

Det primære mål for instruktionsjusteringsforskning er at forbedre zero- og few-shot generaliseringsfærdighederne hos LLMs. Yderligere data og model-skala kan give værdifulde indsighter. Med den nuværende GPT-4 datasætsstørrelse på 52K og den grundlæggende LLaMA-modelstørrelse på 7 milliarder parametre, er der enorm potentiale til at indsamle mere GPT-4 instruktionsfulgt data og kombinere det med andre datasæt, hvilket fører til træning af større LLaMA-modeller for bedre præstation.

STaR: Bootstrapping Reasoning With Reasoning

Potentialen for LLMs er særligt synlig i komplekse resonansopgaver såsom matematik eller fællessans-spørgsmål. Men processen med at få en sprogmodel til at generere rationaler – en række trin-for-trin begrundelser eller “kæde af tanke” – har sin egen sæt af udfordringer. Det kræver ofte opbygning af store rationale datasæt eller en opofring af nøjagtighed på grund af afhængighed af kun few-shot slutning.

“Self-Taught Reasoner” (STaR) tilbyder en innovativ løsning på disse udfordringer. Det udnytter en simpel løkke til kontinuerligt at forbedre modellens resonansfærdighed. Denne iterative proces starter med at generere rationaler for at besvare flere spørgsmål ved hjælp af nogle rationelle eksempler. Hvis de genererede svar er forkerte, prøver modellen igen at generere en rationel, denne gang med det korrekte svar. Modellen justeres derefter på alle rationaler, der resulterede i korrekte svar, og processen gentages.

STaR-metodik, demonstrerende dens finjusteringsløkke og en prøve på rationel-generering på CommonsenseQA-datasættet (https://arxiv.org/pdf/2203.14465.pdf)

For at illustrere dette med et praktisk eksempel, overvej spørgsmålet “Hvad kan bruges til at bære en lille hund?” med svarmuligheder, der spænder fra en swimmingpool til en kurv. STaR-modellen genererer en rationel, der identificerer, at svaret skal være noget, der kan bære en lille hund, og lander på konklusionen, at en kurv, designet til at holde ting, er det korrekte svar.

STaRs tilgang er unik, da den udnytter sprogmodellens eksisterende resonansfærdighed. Den anvender en proces med selv-generering og forbedring af rationaler, iterativt bootstrapping modellens resonansfærdigheder. Men STaRs løkke har sine begrænsninger. Modellen kan fejle i at løse nye problemer i træningssættet, fordi den ikke modtager nogen direkte træningssignal for problemer, den ikke kan løse. For at løse dette problem introducerer STaR rationalisering. For hvert problem, modellen ikke kan løse, genererer den en ny rationel ved at give modellen det korrekte svar, hvilket giver modellen mulighed for at resonere baglæns.

STaR står således som en skalerbar bootstrapping-metode, der giver modeller mulighed for at lære at generere deres egne rationaler, samtidig med at de lærer at løse stadig sværere opgaver. Anvendelsen af STaR har vist lovende resultater i opgaver, der involverer aritmetik, matematikordproblemer og fællessans-resonans. På CommonsenseQA forbedrede STaR både en few-shot-baseline og en baseline, der var finjusteret til direkte at forudsige svar, og opnåede en præstation, der var sammenlignelig med en model, der var 30 gange større.

Tagged Kontekst Prompts

Konceptet ‘Tagged Kontekst Prompts‘ handler om at give AI-modellen en ekstra lag af kontekst ved at tilføje tags til bestemt information i input. Disse tags fungerer som vejvisere for AI, guidende det, hvordan man skal fortolke konteksten nøjagtigt og generere et svar, der både er relevant og faktuel.

Forestil dig, at du har en samtale med en ven om et bestemt emne, lad os sige ‘skak’. Du giver en udtalelse og derefter tilføjer en reference, såsom ‘(kilde: Wikipedia)’. Nu ved din ven, der i dette tilfælde er AI-modellen, præcis, hvor din information kommer fra. Denne tilgang sigter mod at gøre AI’s svar mere pålidelige ved at reducere risikoen for hallucinationer eller generering af falske fakta.

En unik aspekt af tagged kontekst prompts er deres potentiale til at forbedre AI-modellers ‘kontekstuel intelligens’. For eksempel demonstrerer artiklen dette ved hjælp af en diversificeret samling af spørgsmål, der er hentet fra multiple kilder, såsom sammenfattede Wikipedia-artikler på forskellige emner og afsnit fra en nyligt udgivet bog. Spørgsmålene er tagget, hvilket giver AI-modellen ekstra kontekst om informationskilden.

Denne ekstra lag af kontekst kan vise sig utrolig nyttig, når det kommer til at generere svar, der ikke kun er nøjagtige, men også overholder den givne kontekst, hvilket gør AI’s output mere pålidelig og troværdig.

Konklusion: Et kig ind i lovende teknikker og fremtidige retninger

OpenAIs ChatGPT viser det ukendte potentiale for Large Language Models (LLMs) i at tackle komplekse opgaver med bemærkelsesværdig effektivitet. Avancerede teknikker såsom few-shot læring, ReAct-prompting, kæde af tanke og STaR giver os mulighed for at udnytte dette potentiale på tværs af en bred vifte af anvendelser. Mens vi dykker dybere ind i nuancerne af disse metoder, opdager vi, hvordan de former landskabet for AI, tilbyder rigere og sikrere interaktioner mellem mennesker og maskiner.

Trods udfordringer såsom viden-konflikt, over-afhængighed af parametrisk viden og potentiale for hallucination, har disse AI-modeller, med den rette prompt-ingeniørarbejde, vist sig at være transformative værktøjer. Instruktionsfinjustering, kontekst-trofast prompting og integration med eksterne datakilder forbedrer yderligere deres evne til at resonere, lære og tilpasse sig.