ChatGPT og avansert promptingeniørarbeid: Driver AI-evolusjonen

OpenAI har vært instrumental i utviklingen av revolusjonære verktøy som OpenAI Gym, som er designet for å trene forsterkningsalgoritmer, og GPT-n-modeller. Spotlighten er også på DALL-E, en AI-modell som lager bilder fra tekstlige innputt. En slik modell som har fått betydelig oppmerksomhet, er OpenAIs ChatGPT, en strålende eksempel i området for store språkmodeller.

GPT-4: Promptingeniørarbeid

ChatGPT har forandret chatbot-landskapet, og tilbyr menneske-lignende svar på brukerinnputt, og utvider sine anvendelser over domener – fra programvareutvikling og testing til forretningskommunikasjon, og selv skapelse av poesi.

I hendene på bedrifter og enkeltpersoner, kan GPT-4, for eksempel, fungere som en utømmelig kunnskapskilde, dyktig i emner som spenner fra matematikk og biologi til juridiske studier. Slike sofistikerte og tilgjengelige AI-modeller er i stand til å omdefinere fremtiden for arbeid, læring og kreativitet.

Generative modeller som GPT-4 kan produsere ny data basert på eksisterende innputt. Denne distinkte attributten lar dem ta på seg diverse oppgaver, inkludert generering av tekst, bilder, musikk og video.

I sammenheng med ChatGPT og OpenAI-modeller, er en prompt den innputten som brukerne gir til modellene, vanligvis i form av tekst. Prompts fungerer som det primære midlet for å kontrollere utdata generert av disse modellene, og gjør dem avgjørende for suksessfulle og meningsfulle samtaler.

Promptkvalitetens innvirkning

Bruk av veldefinerte prompts er nøkkel til å engasjere i nyttige og meningsfulle samtaler med AI-systemer. Dårlig definerte prompts kan resultere i utdata som ikke er nyttig for brukeren og kan til og med føre til misvisende innhold.

For å demonstrere innvirkningen av promptkvalitet, la oss sammenligne to forskjellige prompts gitt til ChatGPT. Den første prompten, dårlig definert og antar forhåndskunnskap, genererer et potensielt unyttig svar for brukeren. På den andre siden, gir den andre prompten mer kontekst og eksempler, og sikrer et mer relevant og forståelig svar.

Prompt 1: “Fortell meg om Convolutional Neural Networks.”

Respons 1: “Convolutional Neural Networks (CNNs) er multi-lag perceptron-nettverk som består av fullstendig koblet lag og pooling-lag. De er vanligvis brukt i bilde-gjenkjenning-oppgaver. Prosessen innebærer å bruke filtre på innputt-bilder og nedskalere dem ved hjelp av pooling-lag.”

Prompt 2: “Jeg ønsker å lære om Convolutional Neural Networks, men jeg har ingen forhåndskunnskap om kunstig intelligens. Kan du vennligst gi meg en nybegynner-vennlig forklaring og et eksempel på hvordan CNNs brukes i bilde-gjenkjenning?”

Respons 2: “Convolutional Neural Networks (CNNs) er en type neuralnettverk primært brukt for bilde-gjenkjenning-oppgaver. I motsetning til andre neuralnettverk, utnytter de konvolusjonslag og pooling-lag for å prosessere bilder. Forestill deg at du har et bilde av en katt. CNNs kan identifisere forskjellige trekk i bildet, som for eksempel whisker, ører og hale, ved å bruke filtre og nedskalere bildet ved hjelp av pooling-lag. Denne prosessen gjør CNNs svært effektive for å gjenkjenne objekter i bilder.”

Ved å sammenligne de to svarene, er det tydelig at en veldefinert prompt fører til et mer relevant og bruker-vennlig svar. Prompt-design og -ingeniørarbeid er voksende fagområder som har som mål å optimalisere utdata-kvaliteten til AI-modeller som ChatGPT.

I de følgende seksjonene av denne artikkelen, vil vi dykke ned i området av avanserte metodologier for å forbedre store språkmodeller (LLMs), som promptingeniør-teknikker og -taktikker. Disse inkluderer few-shot-læring, ReAct, chain-of-thought, RAG og mer.

Avanserte ingeniørteknikker

Før vi går videre, er det viktig å forstå et nøkkelproblem med LLMs, kjent som “hallusinasjon”. I sammenheng med LLMs, betyr “hallusinasjon” tendensen hos disse modellene til å generere utdata som kan synes rimelige, men ikke er rotfestet i faktisk virkelighet eller den gitt innputt-konteksten.

Dette problemet ble tydelig fremhevet i en nylig rettssak hvor en forsvarer brukte ChatGPT for juridisk forskning. AI-verktøyet, som feilet på grunn av sitt hallusinasjonsproblem, siterte ikke-eksisterende juridiske saker. Denne feilen hadde betydelige konsekvenser, og førte til forvirring og undergravde troverdigheten under prosedyrene. Denne hendelsen tjener som en tydelig påminnelse om det presserende behovet for å adresse problemet med “hallusinasjon” i AI-systemer.

Vår utforskning av promptingeniør-teknikker har som mål å forbedre disse aspektene av LLMs. Ved å forbedre deres effektivitet og sikkerhet, åpner vi veien for innovative anvendelser som informasjonseksport. Videre åpner det dører for å integrere LLMs med eksterne verktøy og datakilder, og utvider området av deres potensielle anvendelser.
<h2 Null- og few-shot-læring: Optimalisering med eksempler

Generative Pretrained Transformers (GPT-3) markerte et viktig vendepunkt i utviklingen av generative AI-modeller, da de introduserte konseptet “few-shot-læring.” Denne metoden var en game-changer på grunn av sin evne til å fungere effektivt uten behov for omfattende finjustering. GPT-3-rammeverket diskuteres i artikkelen “Language Models are Few Shot Learners“, hvor forfatterne demonstrerer hvordan modellen utmerker seg over diverse anvendelser uten å nødvendigvis kreve tilpassede datasett eller kode.

I motsetning til finjustering, som krever kontinuerlig innsats for å løse ulike anvendelser, demonstrerer few-shot-modeller enklere tilpasning til en bredere rekke av anvendelser. Mens finjustering kan gi robuste løsninger i noen tilfeller, kan det være dyrt i skala, og gjør bruk av few-shot-modeller til en mer praktisk tilnærming, spesielt når de integreres med promptingeniørarbeid.

Forestall deg at du prøver å oversette engelsk til fransk. I few-shot-læring, ville du gi GPT-3 noen oversettelseseksempler som “sea otter -> loutre de mer”. GPT-3, som er en avansert modell, er deretter i stand til å fortsette å gi nøyaktige oversettelser. I null-shot-læring, ville du ikke gi noen eksempler, og GPT-3 ville likevel være i stand til å oversette engelsk til fransk effektivt.

Begrepet “few-shot-læring” kommer fra ideen om at modellen får en begrenset mengde eksempler å “lære” fra. Det er viktig å merke seg at “lære” i denne konteksten ikke involverer å oppdatere modellens parametre eller vekter, men snarere påvirker modellens ytelse.

Few Shot Learning som demonstrert i GPT-3-artikkelen

Null-shot-læring tar dette konseptet et skritt videre. I null-shot-læring, blir ingen eksempler på oppgave-fullføring gitt i modellen. Modellen forventes å fungere godt basert på sin initielle trening, og gjør denne metoden ideell for åpne domene-spørsmål-svar-scenarier som ChatGPT.

I mange tilfeller kan en modell som er dyktig i null-shot-læring fungere godt når den får få eller til og med bare ett eksempel. Denne evnen til å skifte mellom null-, enkelt- og few-shot-læring-scenarier understreker den store modellens tilpasningsevne, og forbedrer deres potensielle anvendelser over ulike domener.

Null-shot-læring-metoder blir stadig mer populære. Disse metodene kjennetegnes av deres evne til å gjenkjenne objekter som ikke ble sett under trening. Her er et praktisk eksempel på en Few-Shot-Prompt:

Oversett følgende engelske fraser til fransk:

'sea otter' oversettes til 'loutre de mer'
'sky' oversettes til 'ciel'
Hva oversettes 'cloud' til på fransk?'"

Ved å gi modellen noen eksempler og deretter stille et spørsmål, kan vi effektivt guide modellen til å generere det ønskede utdata. I dette tilfellet ville GPT-3 sannsynligvis korrekt oversette ‘cloud’ til ‘nuage’ på fransk.

Vi vil dykke dyptere inn i de ulike nyansene av promptingeniør-teknikker i GPT-modeller, og hvordan de kan brukes for å optimalisere modellens ytelse under inferens. Vi vil også se på hvordan de kan brukes for å skape kostnadseffektive og skalerbare løsninger over en bred rekke av anvendelser.

Som vi utforsker kompleksiteten av promptingeniør-teknikker i GPT-modeller, er det viktig å understreke vår siste artikkel ‘Essential Guide to Prompt Engineering in ChatGPT‘. Denne guiden gir innsikt i strategier for å instruere AI-modeller effektivt over en rekke av anvendelser.

I våre tidligere diskusjoner, gikk vi inn i grunnleggende prompt-metoder for store språkmodeller (LLMs) som null- og few-shot-læring, samt instruksjons-prompting. Mestring av disse teknikkene er avgjørende for å navigere de mer komplekse utfordringene av promptingeniørarbeid som vi vil utforske her.

Few-shot-læring kan være begrenset på grunn av den begrensede kontekst-vinduet til de fleste LLMs. I tillegg kan LLMs uten de riktige sikkerhetstiltak bli lurt til å levere potensielt skadelig utdata. Dessuten har mange modeller vanskeligheter med å løse grunnleggende oppgaver eller følge multi-trinns instruksjoner.

Med disse begrensningene i mente, ligger utfordringen i å utnytte LLMs til å løse komplekse oppgaver. En åpenbar løsning kan være å utvikle mer avanserte LLMs eller forbedre eksisterende modeller, men det kan medføre betydelig innsats. Så spørsmålet er: hvordan kan vi optimalisere eksisterende modeller for å forbedre problem-løsning?

Like fascinerende er utforskningen av hvordan denne tekniken samspiller med kreative anvendelser i Unite AI’s ‘Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering‘, som beskriver hvordan fusjonen av kunst og AI kan resultere i imponerende kunst.

Chain-of-thought-prompting

Chain-of-thought-prompting utnytter de innebygde auto-regressive egenskapene til store språkmodeller (LLMs), som utmerker seg i å forutsi neste ord i en gitt sekvens. Ved å prompte en modell til å forklare sin tenkeprosess, induserer den en mer grundig og metodelig generering av ideer, som tenderer til å sammenfalle med nøyaktig informasjon. Denne sammenfallet skyldes modellens tendens til å prosessere og levere informasjon på en grundig og ordenlig måte, lignende en menneskelig ekspert som fører en lytter gjennom et komplekst konsept. En enkel uttalelse som “gå meg gjennom trinn for trinn hvordan…” er ofte nok til å utløse denne mer verbale og detaljerte utdata.

Null-shot Chain-of-thought Prompting

Mens konvensjonell CoT-prompting krever forhåndstreningsdemonstrasjoner, er et nytt område null-shot CoT-prompting. Denne tilnærmingen, introdusert av Kojima et al. (2022), legger til ordene “La oss tenke trinn for trinn” til den opprinnelige prompten.

La oss lage en avansert prompt hvor ChatGPT er oppgitt å sammenfatte hovedpoeng fra AI- og NLP-forskningsartikler.

I denne demonstrasjonen, vil vi bruke modellens evne til å forstå og sammenfatte kompleks informasjon fra akademiske tekster. Ved å bruke few-shot-læring-tilnærmingen, la oss lære ChatGPT å sammenfatte hovedpoeng fra AI- og NLP-forskningsartikler:

1. Artikkel-tittel: "Attention Is All You Need"
Hovedpoeng: Introduserte transformer-modellen, og understreket viktigheten av oppmerksomhets-mekanismer over rekurrerende lag for sekvens-transduksjonsoppgaver.

2. Artikkel-tittel: "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"
Hovedpoeng: Introduserte BERT, og viste effekten av å forhåndstreine dypt bidireksjonale modeller, og oppnådde state-of-the-art-resultater på ulike NLP-oppgaver.

Nå, med konteksten av disse eksemplene, sammenfatte hovedpoengene fra følgende artikkel:

Artikkel-tittel: "Prompt Engineering in Large Language Models: An Examination"

Denne prompten ikke bare beholder en tydelig tanke-kjede, men utnytter også few-shot-læring-tilnærmingen til å guide modellen. Den knytter seg til våre nøkkelord ved å fokusere på AI- og NLP-domener, og setter spesielt ChatGPT til å utføre en kompleks operasjon som er relatert til promptingeniørarbeid: å sammenfatte forskningsartikler.

ReAct Prompt

ReAct, eller “Reason and Act”, ble introdusert av Google (GOOGL ) i artikkelen “ReAct: Synergizing Reasoning and Acting in Language Models“, og revolusjonerte hvordan språkmodeller samhandler med en oppgave, og prompter modellen til å dynamisk generere både verbale resonanser og oppgave-spesifikke handlinger.

Forestall deg en menneskelig sjef i kjøkkenet: de utfører ikke bare en rekke handlinger (kutter grønnsaker, koker vann, rører ingredienser), men også engasjerer i verbale resonanser eller indre tale (“nå som grønnsakene er hakket, skal jeg putte gryten på komfyr”). Denne pågående mentale dialogen hjelper i å strategiere prosessen, tilpasse seg plutselige endringer (“jeg er ute av olje, jeg skal bruke smør isteden”), og huske rekken av oppgaver. ReAct etterligner denne menneskelige evnen, og muliggjør modellen til å raskt lære nye oppgaver og ta robuste beslutninger, akkurat som en menneskelig ville under nye eller usikre omstendigheter.

ReAct kan takle hallusinasjon, et vanlig problem med Chain-of-Thought (CoT)-systemer. CoT, selv om en effektiv teknikk, mangler evnen til å samhandle med den ytre verden, som potensielt kan føre til faktiske hallusinasjoner og feil-spredning. ReAct kompenserer for dette ved å samhandle med eksterne informasjonskilder. Denne interaksjonen tillater systemet ikke bare å validere sin resonans, men også å oppdatere sin kunnskap basert på den siste informasjonen fra den ytre verden.

Den grunnleggende arbeidingsmåten til ReAct kan forklares gjennom et eksempel fra HotpotQA, en oppgave som krever høyere orden resonans. Ved å motta et spørsmål, bryter ReAct-modellen spørsmålet ned i håndterbare deler og lager en handlingsplan. Modellen genererer en resonans (tanke) og identifiserer en relevant handling. Den kan bestemme å søke opp informasjon om Apple (AAPL ) Remote på en ekstern kilde, som Wikipedia (handling), og oppdaterer sin forståelse basert på den mottatte informasjonen (observasjon). Gjennom flere tanke-handling-observasjon-trinn, kan ReAct hente informasjon for å støtte sin resonans, samtidig som den forbedrer hva den trenger å hente neste.

Merk:

HotpotQA er en datasett, avledet fra Wikipedia, bestående av 113k spørsmål-svar-par, designet for å trene AI-systemer i kompleks resonans, da spørsmålene nødvendigvis krever resonans over flere dokumenter for å svare. På den andre siden, CommonsenseQA 2.0, konstruert gjennom spill, inkluderer 14 343 ja/nei-spørsmål, og er designet for å utfordre AI-modellers forståelse av common sense, da spørsmålene er bevisst konstruert for å mislede AI-modeller.

Prosessene kunne se ut som følger:

1. Tanke: “Jeg må søke etter Apple Remote og dens kompatible enheter.”
2. Handling: Søker “Apple Remote-kompatible enheter” på en ekstern kilde.
3. Observasjon: Får en liste over enheter som er kompatible med Apple Remote fra søke-resultatene.
4. Tanke: “Basert på søke-resultatene, er det flere enheter, bortsett fra Apple Remote, som kan kontrollere programmet det var opprinnelig designet til å samhandle med.”

Resultatet er en dynamisk, resonans-basert prosess som kan utvikle seg basert på informasjonen den samhandler med, og føre til mer nøyaktige og pålitelige svar.

Sammenlignende visualisering av fire prompting-metoder – Standard, Chain-of-Thought, Act-Only og ReAct, i løsning av HotpotQA og AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Design av ReAct-agenter er en spesialisert oppgave, på grunn av deres evne til å nå komplekse mål. For eksempel, en konversasjonsagent, bygget på ReAct-modellen, inkorporerer konversasjonsminne for å gi rikere interaksjoner. Imidlertid er kompleksiteten av denne oppgaven forenklet av verktøy som Langchain, som har blitt standarden for å designe disse agentene.

Kontekst-trofast prompting

Artikkelen ‘Kontekst-trofast prompting for store språkmodeller‘ understreker at selv om store språkmodeller (LLMs) har vist betydelig suksess i kunnskaps-drevne NLP-oppgaver, kan deres overdrivende avhengighet av parametrisk kunnskap føre dem på avveie i kontekst-følsomme oppgaver. For eksempel, når en språkmodell er trent på utdaterte fakta, kan den produsere feilaktige svar hvis den overseer kontekst-klær.

Dette problemet er åpenbart i tilfeller av kunnskaps-konflikt, hvor konteksten inneholder fakta som avviker fra LLMs forhåndskunnskap. Overveur et tilfelle hvor en stor språkmodell (LLM), forhåndstrent på data før VM i fotball 2022, får en kontekst som indikerer at Frankrike vant turneringen. Imidlertid, LLM, som avhenger av sin forhåndskunnskap, fortsetter å hevde at den tidligere vinneren, dvs. laget som vant i 2018, er fortsatt regjerende mester. Dette demonstrerer et klassisk tilfelle av “kunnskaps-konflikt”.

I essensen, oppstår kunnskaps-konflikt i en LLM når ny informasjon gitt i konteksten motsier modellens forhåndskunnskap. Modellens tendens til å avhenge av sin forhåndskunnskap fremfor den nytt gitt konteksten, kan føre til feilaktige utdata. På den andre siden, er hallusinasjon i LLMs generering av svar som kan synes plausibelt, men ikke er rotfestet i modellens trening-data eller den gitt konteksten.

Et annet problem oppstår når den gitt konteksten ikke inneholder nok informasjon for å svare nøyaktig på et spørsmål, en situasjon kjent som prediksjon med avstand. For eksempel, hvis en LLM blir spurt om grunnleggeren av Microsoft (MSFT ) basert på en kontekst som ikke gir denne informasjonen, burde den idealistisk sett avstå fra å gjette.

Flere kunnskaps-konflikt og kraften av avstand-eksempler

For å forbedre kontekst-trofastheten til LLMs i disse scenariene, foreslo forskerne en rekke prompting-strategier. Disse strategiene har som mål å gjøre LLMs svar mer tilpasset konteksten fremfor å avhenge av deres innkodede kunnskap.

En slik strategi er å formulere prompts som menings-baserte spørsmål, hvor konteksten tolkes som en forteller-uttalelse, og spørsmålet gjelder denne fortellerens mening. Denne tilnærmingen omfokuserer LLMs oppmerksomhet på den presenterte konteksten fremfor å avhenge av sin forhåndskunnskap.

Tillegg av kontrafaktiske demonstrasjoner til prompts har også blitt identifisert som en effektiv måte å øke trofastheten i tilfeller av kunnskaps-konflikt. Disse demonstrasjonene presenterer scenarier med feilaktige fakta, som guider modellen til å være mer oppmerksom på konteksten for å gi nøyaktige svar.

Instruksjons-finjustering

Instruksjons-finjustering er en overvåket læring-fase som kapitaliserer på å gi modellen spesifikke instruksjoner, for eksempel “Forklar forskjellen mellom en soloppgang og en solnedgang.” Instruksjonen er kombinert med et passende svar, noe som ligner “En soloppgang refererer til øyeblikket solen dukker opp over horisonten om morgenen, mens en solnedgang markerer punktet hvor solen forsvinner under horisonten om kvelden.” Gjennom denne metoden, lærer modellen essensielt hvordan å adlyde og utføre instruksjoner.

Denne tilnærmingen har en betydelig innvirkning på prosessen med å prompte LLMs, og fører til en radikal forandring i prompting-stilen. En instruksjons-finjustert LLM tillater umiddelbar utførelse av null-shot-oppgaver, og gir en sammenhengende oppgave-utførelse. Hvis LLM ennå ikke er finjustert, kan en few-shot-læring-tilnærming være nødvendig, og inkorporerer noen eksempler i din prompt for å guide modellen mot det ønskede svaret.

“Instruksjons-tuning med GPT-4 diskuterer forsøket på å bruke GPT-4 til å generere instruksjons-følging-data for finjustering av LLMs. De brukte en rik datasett bestående av 52 000 unike instruksjons-følging-innganger på både engelsk og kinesisk.

Datasett spiller en avgjørende rolle i instruksjons-tuning LLaMA-modeller, en åpen kilde-rekke av LLMs, og resulterer i forbedret null-shot-ytelse på nye oppgaver. Bemerkelsesverdige prosjekter som Stanford Alpaca har effektivt brukt selv-instruksjons-tuning, en effektiv metode for å alignere LLMs med menneskelig intensjon, og utnytter data generert av avanserte instruksjons-tunede lærer-modeller.

Hovedmålet med instruksjons-tuning-forskning er å forbedre null- og few-shot-generaliserings-evnene til LLMs. Ytterligere data og modell-skala kan gi verdifulle innsikter. Med den nåværende GPT-4-datasett-størrelsen på 52K og den basis LLaMA-modell-størrelsen på 7 milliarder parametre, er det enormt potensial for å samle inn mer GPT-4-instruksjons-følging-data og kombinere det med andre datakilder, og trene større LLaMA-modeller for bedre ytelse.

STaR: Bootstrapping Reasoning With Reasoning

Potensialet til LLMs er spesielt synlig i komplekse resonans-oppgaver som matematikk eller common sense-spørsmål-svar. Imidlertid, prosessen med å indusere en språkmodell til å generere rasjonaliseringer – en rekke av trinn-for-trinn-justifikasjoner eller “tanke-kjede” – har sine egne utfordringer. Det krever ofte konstruksjon av store rasjonalisering-datasett eller en ofring i nøyaktighet på grunn av avhengighet av bare few-shot-inferens.

“Self-Taught Reasoner” (STaR) tilbyr en innovativ løsning på disse utfordringene. Den utnytter en enkel løkke for å kontinuerlig forbedre modellens resonans-evne. Denne iterative prosessen starter med å generere rasjonaliseringer for å svare på flere spørsmål ved å bruke noen rasjonalisering-eksempler. Hvis de genererte svarene er feil, prøver modellen igjen å generere en rasjonalisering, denne gangen med det korrekte svaret. Modellen blir deretter finjustert på alle rasjonaliseringer som resulterte i korrekte svar, og prosessen gjentas.

STaR-metodologi, demonstrerende sin finjusterings-løkke og en eksempel-rasjonalisering-generering på CommonsenseQA-datasett (https://arxiv.org/pdf/2203.14465.pdf)

For å illustrere dette med et praktisk eksempel, overveur spørsmålet “Hva kan brukes for å bære en liten hund?” med svar-alternativer som spenner fra et svømmebasseng til en kurv. STaR-modellen genererer en rasjonalisering, og identifiserer at svaret må være noe som kan bære en liten hund, og lander på konklusjonen at en kurv, som er designet for å holde ting, er det korrekte svaret.

STaR’s tilnærming er unik i at den utnytter språkmodellens forhåndskunnskap. Den utnytter en prosess av selv-generering og forbedring av rasjonaliseringer, og iterativt bootstrapper modellens resonans-evne. Imidlertid, har STaR’s løkke sine begrensninger. Modellen kan feile i å løse nye problemer i treningssettet, fordi den mottar ingen direkte trenings-signal for problemer den feiler å løse. For å adresse dette problemet, introduserer STaR rasjonalisering. For hvert problem modellen feiler å svare korrekt på, genererer den en ny rasjonalisering ved å gi modellen det korrekte svaret, og muliggjør modellen til å resonere bakover.

STaR står derfor som en skalerbar bootstrapping-metode som tillater modeller å lære å generere sine egne rasjonaliseringer, samtidig som de lærer å løse stadig mer komplekse problemer. Anvendelsen av STaR har vist lovende resultater i oppgaver som involverer aritmetikk, matematikk-ord-problemer og common sense-resonans. På CommonsenseQA, forbedret STaR både en few-shot-baselinje og en baselinje finjustert til å direkte predikere svar, og utførte sammenlignbart med en modell som er 30 ganger større.

Merkede kontekst-prompts

Konseptet “Merkede kontekst-prompts” handler om å gi AI-modellen en ekstra lag av kontekst ved å merke bestemt informasjon i innputt. Disse merkene fungerer essensielt som veiskilt for AI, og guider den på hvordan å tolke konteksten nøyaktig, og generere et svar som er både relevant og faktisk.

Forestall deg at du har en samtale med en venn om et bestemt emne, for eksempel “sjakk”. Du gjør en uttalelse og deretter merker den med en referanse, som “(kilde: Wikipedia)”. Nå, din venn, som i dette tilfellet er AI-modellen, vet eksakt hvor din informasjon kommer fra. Denne tilnærmingen har som mål å gjøre AI-modellens svar mer pålitelige, ved å redusere risikoen for hallusinasjoner eller generering av feilaktige fakta.

En unik aspekt av merkte kontekst-prompts er deres potensial til å forbedre “kontekst-intelligensen” til AI-modeller. For eksempel, viser artikkelen dette ved å bruke en diversifisert mengde spørsmål, hentet fra ulike kilder, som sammenfattede Wikipedia-artikler på ulike emner og seksjoner fra en nylig publisert bok. Spørsmålene er merket, og gir AI-modellen en ekstra lag av kontekst om informasjonens kilde.

Denne ekstra lag av kontekst kan vise seg å være svært nyttig når det gjelder å generere svar som ikke bare er nøyaktige, men også holder seg til den gitt konteksten, og gjør AI-modellens utdata mer pålitelig og troverdig.

Konklusjon: En titt på lovende teknikker og fremtidige retninger

OpenAIs ChatGPT viser det ukartete potensialet til store språkmodeller (LLMs) i å håndtere komplekse oppgaver med bemerkelsesverdig effektivitet. Avanserte teknikker som few-shot-læring, ReAct-prompting, chain-of-thought og STaR, tillater oss å utnytte dette potensialet over en rekke av anvendelser. Mens vi dykker dyptere inn i nyansene av disse metodologiene, oppdager vi hvordan de former landskapet av AI, og tilbyr rikere og sikrere interaksjoner mellom mennesker og maskiner.

Til tross for utfordringene som kunnskaps-konflikt, over-avhengighet av parametrisk kunnskap og potensial for hallusinasjon, har disse AI-modellene, med riktig promptingeniørarbeid, vist seg å være transformative verktøy. Instruksjons-finjustering, kontekst-trofast prompting og integrasjon med eksterne datakilder forbedrer ytterligere deres evne til å resonere, lære og tilpasse seg.