Prompt engineering
De seneste moderne fremgangene i promptteknikk: En omfattende guide
Promptteknikk, kunsten og vitenskapen å lage promter som fremkaller ønskede svar fra LLMer, har blitt et kritisk område for forskning og utvikling.
Fra å forbedre resonanseevner til å muliggjøre sømløs integrasjon med eksterne verktøy og programmer, er de seneste fremgangene i promptteknikk i ferd med å åpne opp nye grenser innen kunstig intelligens. Under diskuterer vi de seneste skarpeste teknikkene og strategiene som former fremtiden for promptteknikk.
Prompt Engineering
Avanserte promptstrategier for kompleks problemløsing
Mens CoT-prompting har vist seg å være effektivt for mange resonansoppgaver, har forskere utforsket mer avanserte promptstrategier for å takle enda mer komplekse problemer. En slik tilnærming er Minst-til-Mest-prompting, som bryter ned et komplekst problem i mindre, mer håndterbare underproblemer som løses uavhengig og deretter kombineres for å nå den endelige løsningen.
En annen innovativ teknikk er Tree of Thoughts (ToT)-prompting, som lar LLM generere flere linjer med resonans eller “tanker” parallelt, evaluere sin egen fremgang mot løsningen og gå tilbake eller utforske alternative stier etter behov. Denne tilnærmingen utnytter søkealgoritmer som bredde-først eller dybde-først søk, og muliggjør at LLM kan engasjere seg i lookahead og backtracking under problemløsingsprosessen.
Integrering av LLMer med eksterne verktøy og programmer
Mens LLMer er usedvanlig kraftfulle, har de innebygde begrensninger, som for eksempel evnen til å få tilgang til oppdatert informasjon eller utføre presis matematisk resonnering. For å løse disse ulemper, har forskere utviklet teknikkene som muliggjør LLMer å integrere sømløst med eksterne verktøy og programmer.
Et bemerkelsesverdig eksempel er Toolformer, som lærer LLMer å identifisere scenarioer som krever bruk av eksterne verktøy, spesifisere hvilket verktøy som skal brukes, gi relevant innputt og inkorporere verktøyet sitt utgangspunkt i den endelige responsen. Denne tilnærmingen involverer å konstruere en syntetisk treningsdatasett som demonstrerer riktig bruk av forskjellige tekst-til-tekst-APIer.
En annen innovativ ramme, Chameleon, tar en “plug-and-play”-tilnærming, som lar en sentral LLM-basert kontroller generere naturligspråklige programmer som komponerer og kjører en rekke verktøy, inkludert LLMer, visningsmodeller, nettlesere og Python-funksjoner. Denne modulære tilnærmingen muliggjør Chameleon å takle komplekse, multimodale resonansoppgaver ved å utnytte styrkene til forskjellige verktøy og modeller.
Grunnleggende promptstrategier
Zero-Shot Prompting
Zero-Shot-prompting innebærer å beskrive oppgaven i prompten og be modellen om å løse den uten noen eksempler. For eksempel, for å oversette “ost” til fransk, kan en Zero-Shot-prompt være:
Oversett følgende engelsk ord til fransk: ost.
Denne tilnærmingen er enkel, men kan være begrenset av ambiguiteten i oppgavebeskrivelsene.
Few-Shot Prompting
Few-Shot-prompting forbedrer Zero-Shot-prompting ved å inkludere flere eksempler på oppgaven. For eksempel:
Oversett følgende engelske ord til fransk:
1. eple => pomme
2. hus => maison
3. ost => fromage
Denne metoden reduserer ambiguiteten og gir en mer tydelig veiledning for modellen, ved å utnytte LLM-ene sine evner til kontekstlæring.
Instruction Prompting
Instruction-prompting beskriver uttrykkelig den ønskede utgangen, som er spesielt effektivt med modeller som er trent til å følge instruksjoner. For eksempel:
Oversett ordet "ost" til fransk. Den riktige oversettelsen er "fromage."
Modeller som GPT-4 har blitt spesifikt finjustert for å følge slike instruksjoner nøyaktig.
