Analogisk og Step-Back Prompting: En dykk ned i de siste fremstegene fra Google DeepMind

Innledning

Promptingeniørarbeid fokuserer på å utvikle effektive promter for å guide store språkmodeller (LLM) som GPT-4 til å generere ønskede svar. En velutformet prompt kan være forskjellen på et vagt eller uriktigt svar og et presist og innsiktsfullt svar.

I det bredere økosystemet av AI, er promptingeniørarbeid en av flere metoder som brukes for å trekke ut mer nøyaktig og kontekstuell relevant informasjon fra språkmodeller. Andre metoder inkluderer teknikker som few-shot learning, der modellen får noen eksempler for å hjelpe den å forstå oppgaven, og fine-tuning, der modellen blir videre trent på en mindre datasett for å spesialisere svarene.

Google DeepMind (GOOGL ) har nylig publisert to artikler som dykker ned i promptingeniørarbeid og dens potensiale for å forbedre svarene på flere situasjoner.

Disse artiklene er en del av den pågående utforskingen i AI-samfunnet for å finjustere og optimalisere hvordan vi kommuniserer med språkmodeller, og de gir nye innsikter i å strukturere promter for bedre spørsmålsbehandling og databaseinteraksjon.

Denne artikkelen dykker ned i detaljene av disse forskningsartiklene, og forklarer konseptene, metodene og implikasjonene av de foreslåtte teknikker, og gjør det tilgjengelig selv for lesere med begrenset kunnskap i AI og NLP.

Artikkel 1: Store språkmodeller som analogiske resonører

Den første artikkelen, med tittelen “Store språkmodeller som analogiske resonører”, presenterer en ny promptingsmetode kalt Analogisk Prompting. Forfatterne, Michihiro Yasunaga, Xinyun Chen og andre, tar utgangspunkt i analogisk resonning – en kognitiv prosess der mennesker utnytter tidligere erfaringer for å løse nye problemer.

Nøkkelkonsepter og metode

Analogisk Prompting oppmuntrer LLM-er til å selv-generere relevante eksempler eller kunnskap i kontekst før de løser et gitt problem. Denne metoden eliminerer behovet for merket eksempler, og tilbyr generellhet og praktiskhet, og tilpasser de genererte eksemplene til hvert enkelt problem, og sikrer tilpasning.

Venstre: Tradisjonelle metoder for å prompte LLM-er avhenger av generiske inndata (0-shot CoT) eller krever merket eksempler (few-shot CoT). Høyre: Den nye metoden prompter LLM-er til å selv-opprette relevante eksempler før problem-løsning, og fjerner behovet for merking samtidig som den tilpasser eksemplene til hvert enkelt problem

Selv-genererte eksempler

Den første teknikken presentert i artikkelen er selv-genererte eksempler. Ideen er å utnytte den omfattende kunnskapen som LLM-er har tilegnet seg under trening, for å hjelpe dem å løse nye problemer. Prosessen innebærer å utvide et målproblem med instruksjoner som prompter modellen til å huske eller generere relevante problemer og løsninger.

For eksempel, gitt et problem, instrueres modellen til å huske tre distinkte og relevante problemer, beskrive dem og forklare deres løsninger. Denne prosessen er designet for å utføres i en enkelt pass, og tillater LLM-en å generere relevante eksempler og løse det opprinnelige problemet sammenhengende. Bruken av ‘#’-symboler i promptene hjelper i å strukturere svaret, og gjør det mer organisert og enklere for modellen å følge.

Nøkkeltekniske beslutninger som er fremhevet i artikkelen, inkluderer betoningen på å generere relevante og varierte eksempler, tilpasningen av en enkelt-pass-tilnærming for større praktiskhet, og funnene som viser at generering av tre til fem eksempler gir de beste resultater.

Selv-generert kunnskap + eksempler

Den andre teknikken, selv-generert kunnskap + eksempler, er introdusert for å håndtere utfordringer i mer komplekse oppgaver, som kodegenerering. I disse scenarioene kan LLM-er være for avhengige av lavnivå-eksempler og slite med å generalisere når de løser målproblemet. For å motvirke dette, foreslår forfatterne å forbedre prompten med en ekstra instruks som oppmuntrer modellen til å identifisere kjernekonsepter i problemet og gi en tutorial eller høynivå-trekk.

En kritisk overvegelse er rekkefølgen som kunnskap og eksempler genereres. Forfatterne fant at generering av kunnskap før eksempler fører til bedre resultater, da det hjelper LLM-en til å fokusere på grunnleggende problem-løsnings-tilnærmingene fremfor bare overfladiske likheter.

Fordeler og anvendelser

Analogisk prompting-tilnærmingen tilbyr flere fordeler. Den gir detaljerte eksempler av resonning uten behov for manuell merking, og løser utfordringer forbundet med 0-shot og few-shot chain-of-thought (CoT)-metoder. I tillegg er de genererte eksemplene tilpasset til individuelle problemer, og tilbyr mer relevant veiledning enn tradisjonell few-shot CoT, som bruker faste eksempler.

Artikkelen demonstrerer effektiviteten av denne tilnærmingen over flere resonansoppgaver, inkludert matematisk problemløsning, kodegenerering og andre resonansoppgaver i BIG-Bench.

Ytelse på matematisk oppgaver, GSM8K og MATH

I den andre tabellen, for modellene GPT3.5-turbo-16k og GPT4, viser “Selv-generert kunnskap + eksempler” best ytelse.

Ytelse på Codeforces kodegenereringsoppgave

Artikkel 2: Ta et steg tilbake: Fremkalle resonning via abstraksjon i store språkmodeller

Overblikk

Den andre artikkelen, “Ta et steg tilbake: Fremkalle resonning via abstraksjon i store språkmodeller“, presenterer Step-Back Prompting, en teknikk som oppmuntrer LLM-er til å abstrahere høynivå-konsepter og førstegrad-prinsipper fra detaljerte eksempler. Forfatterne, Huaixiu Steven Zheng, Swaroop Mishra og andre, har som mål å forbedre resonans-evnene til LLM-er ved å guide dem til å følge en korrekt resonans-vei mot løsningen.

Avbildning av STEP-BACK PROMPTING gjennom to faser av abstraksjon og resonning, styrt av nøkkelkonsepter og prinsipper.

La oss lage et enklere eksempel ved hjelp av en grunnleggende matematisk oppgave for å demonstrere “Stepback Question”-teknikken:

Opprinnelig spørsmål: Hvis et tog reiser med en hastighet på 60 km/t og dekker en avstand på 120 km, hvor lenge vil det ta?

Alternativer:

3 timer
2 timer
1 time
4 timer
Opprinnelig svar [Feil]: Det riktige svaret er 1).

Stepback-spørsmål: Hva er den grunnleggende formelen for å beregne tid gitt hastighet og avstand?

Prinsipper:
For å beregne tid, bruker vi formelen:
Tid = Avstand / Hastighet

Endelig svar:
Med formelen, Tid = 120 km / 60 km/t = 2 timer.
Det riktige svaret er 2) 2 timer.

Selv om LLM-er i dag kan enkelt svare på ovennevnte spørsmål, er dette eksempelet bare for å demonstrere hvordan stepback-teknikken ville fungere. For mer utfordrende scenarioer kan samme teknikk bli brukt til å dissekere og håndtere problemet systematisk. Under følger et mer komplekst eksempel som er demonstrert i artikkelen:

STEP-BACK PROMPTING på MMLU-Kjemi-datasettet

Nøkkelkonsepter og metode

Essensen av Step-Back Prompting ligger i dens evne til å få LLM-er til å ta et metaforisk steg tilbake, og oppmuntrer dem til å se på det større bildet fremfor å bli fanget i detaljene. Dette oppnås gjennom en serie nøye utformede promter som guider LLM-ene til å abstrahere informasjon, avlede høynivå-konsepter og anvende disse konseptene til å løse det gitte problemet.

Prosessen begynner med at LLM-en blir promptet til å abstrahere detaljer fra de gitte eksemplene, og oppmuntrer den til å fokusere på de underliggende konseptene og prinsippene. Dette steget er kritisk, da det setter scenen for LLM-en til å nærme seg problemet fra en mer informert og prinsipp-basert perspektiv.

Når høynivå-konseptene er avledet, brukes de til å guide LLM-en gjennom resonans-stegene mot løsningen. Denne guidningen sikrer at LLM-en holder seg på riktig spor, og følger en logisk og koherent vei som er grunnlagt i de abstraherte konseptene og prinsippene.

Forfatterne gjennomfører en rekke eksperimenter for å validere effektiviteten av Step-Back Prompting, ved hjelp av PaLM-2L-modeller over en rekke utfordrende resonans-intensive oppgaver. Disse oppgavene inkluderer STEM-problemer, Kunnskaps-QA og Multi-Hop Resonans, og gir en omfattende testbed for å evaluere teknikken.

Betydelige forbedringer over oppgaver

Resultatene er imponerende, med Step-Back Prompting som fører til betydelige ytelsesforbedringer over alle oppgaver. For eksempel, forbedrer teknikken PaLM-2L-ytelsen på MMLU Fysikk og Kjemi med 7% og 11%, henholdsvis. Tilsvarende, forbedrer den ytelsen på TimeQA med 27% og på MuSiQue med 7%.

Ytelse av STEP-BACK PROMPTING vs CoT

Disse resultater understreker potensialet for Step-Back Prompting til å betydelig forbedre resonans-evnene til LLM-er.

Konklusjon

Begge artiklene fra Google DeepMind presenterer innovative tilnærminger til promptingeniørarbeid, med mål om å forbedre resonans-evnene til store språkmodeller. Analogisk Prompting utnytter konseptet analogisk resonning, og oppmuntrer modellene til å generere sine egne eksempler og kunnskap, og fører til mer tilpasningsdyktig og effektiv problem-løsning. På den andre siden, fokuserer Step-Back Prompting på abstraksjon, og guider modellene til å avlede høynivå-konsepter og prinsipper, som igjen forbedrer deres resonans-evner.

Disse forskningsartiklene gir verdifulle innsikter og metoder som kan bli anvendt over forskjellige domener, og fører til mer avanserte og sofistikerte AI-systemer.