Zephyr-7B: Hugging Faces hyperoptimaliserte LLM bygget på toppen av Mistral 7B

Innledning

Utviklingen av åpne store språkmodeller (LLM) har hatt en betydelig innvirkning på AI-forskningsmiljøet, spesielt i utviklingen av chatbots og lignende applikasjoner. Etter lanseringen av modeller som LLaMA, har det vært en økning i forskning på effektiv finjustering, utvidet promptbehandling, retrieval-augmentert generering (RAG) og kvantisering.

LLaMA-modellen, for eksempel, markerte en ny æra i finjustering og promptkontekstualisering, og banet vei for påfølgende modeller som MosaicMLs MPT, Together AIs RedPajama-INCITE, TII’s Falcon og Metas Llama 2. Hver av disse modellene bidrar med unike egenskaper, og forbedrer den totale funksjonaliteten og omfanget av LLM-er.

Mistral AI, et startup-selskap fra Paris og grunnlagt av tidligere Google DeepMind- og Meta-ansatte, har gjort seg bemerket med sin første tilbud: Mistral 7B.

Mistral 7Bs fordeler ligger i dens effisiens, og leverer lignende eller forbedrede egenskaper sammenlignet med liknende modeller som Llama 2, men med mindre beregningskrav.

Spesifikt tilpasset for instruksjonsoppgaver, skinner Mistral 7B Instruct på plattformer som Hugging Face, hvor den overgår andre modeller av samme størrelse og konkurrerer tett med dem som har nesten dobbelt så mange parametre.

Bygget på dette, lanserte Hugging Face Zephyr 7B Alpha, som viste at en finjustert Mistral 7B kan overgå evnene til betydelig større chatmodeller og, i noen oppgaver, sogar rivalisere GPT-4. “Alpha” var bare begynnelsen, da Zephyr 7B Beta fulgte kort tid etter.

Denne artikkelen vil utforske hvordan Zephyr 7B utnytter kraften fra større modeller for å forbedre sin evne til å svare og harmonere med menneskelig instruksjon, en prosess som muliggjøres gjennom teknikken kunnskapsdestillasjon. Denne metoden innebærer å trene mindre modeller på komplekse mønster lært av større modeller, og reduserer treningkravene uten å ofre språkmodellkapasiteter. Vi skal dykke ned i detaljene i Hugging Faces kunnskapsdestillasjonsmetode.

Kunnskapsdestillasjon

En viktig innovasjon i utviklingen av modeller som Zephyr-7B er destillert overvåket finjustering (dSFT). Denne metoden innebærer å bruke utgangen fra en større, mer kapabel “lærer”-modell til å trene en mindre “elev”-modell, og forbedre dens nøyaktighet. Mens destillasjon forbedrer åpne modeller på ulike oppgaver, finnes det fortsatt en gap i ytelse sammenlignet med lærermodeller.

Kunnskapsdestillasjon er en metode i maskinlæring hvor en kompakt modell, kalt “elev“, lærer å replikere ytelsen til en større, mer kompleks “lærer“-modell. Denne teknikken muliggjør at eleven kan utføre oppgaver som tidligere var utenfor dens kapasitet, ved å overføre de intrikate mønster lært av læreren.

Kunnskapsdestillasjon | Lærer-Elev-Modell

Eleven modell trener på utgangsprobabilitetene eller funksjonene generert av lærermodellen, og fokuserer på å matche disse utgangene, snarere enn bare de endelige prediksjonene. Dette tillater eleven å lære de nyanserte beslutningsprosessene til læreren, og ofte resulterer i forbedret ytelse enn trening med bare grunntruth-data.

Historisk sett har kunnskapsdestillasjon blitt brukt i modeller som Hintons originale destillasjonsnettverk, og mer nylig i NLP med modeller som DistilBERT, som destillerte BERT-modellen til en mindre, raskere versjon som beholdt de fleste av den opprinnelige språkforståelsesegenskapene. Et annet eksempel er TinyBERT, som går videre i å optimalisere størrelsen og hastigheten for mobile eller kantede enheter.

I tilfelle Zephyr-7B, brukes kunnskapsdestillasjon til å innføre en mindre 7B-parametermodell med evnene til dens større motparter. Ved å gjøre dette, oppnår Zephyr-7B en balanse mellom ytelse og effisiens, og gjør den egnet for miljøer hvor beregningsressursene er begrenset, uten å ofre kvaliteten på interaksjon og forståelse.

Ved å utvikle Zephyr-7B, tok forskerne tak i utfordringen med å harmonisere en liten åpen LLM helt gjennom destillasjon. De innførte en metode kalt destillert direkte preferanseoptimalisering (dDPO), som bruker AI-tilbakemelding fra en ensemble av lærermodeller som preferansedata. Denne metoden, som ikke krever noen menneskelig annotasjon, reduserer betydelig tiden og ressursene nødvendige for modelltrening.

Konstruksjon av ZEPHYR-7B

For å validere dDPO, konstruerte forskerne ZEPHYR-7B, en harmonisert versjon av Mistral-7B-modellen. Prosesen involverte tre trinn:

1. dSFT ved hjelp av UltraChat-datasettet: Destillert overvåket finjustering (dSFT) er en avansert metode for å trene store språkmodeller (LLM) ved å utnytte utgangen fra større, mer kapable “lærer”-modeller. Det begynner med en rå LLM som trener for å svare på brukerprompter. I motsetning til tradisjonell overvåket finjustering (SFT) som bruker et fast datasett, bruker dSFT en dynamisk tilnærming hvor modellen selv genererer instruksjoner og svar. Denne metoden, kjent som selv-instruks, involverer å bruke lærermodellen til både å svare og finjustere instruksjoner basert på svar.
2. Inkludering av AI-tilbakemeldingsdata fra UltraFeedback: Disse data var avgjørende for å finjustere modellens svar. I dette trinnet genererer modellen svar på ulike prompter (som å beskrive hvordan man lager sjokoladebrun kaker) som deretter rangeres av en mer avansert modell som GPT-4. Det høyest rangerte svaret (yw) og et tilfeldig valgt lavere rangert svar (yl) danner en tilbakemeldingsdataset D.
3. Applikasjon av dDPO: Den siste fasen, destillert direkte preferanseoptimalisering (dDPO), involverer å finjustere dSFT-modellen ved å maksimere sannsynligheten for å rangere de foretrukne svarene høyere. Dette oppnås ved å bruke en belønningfunksjon rθ(x, y) i preferansmodellen, som er basert på den optimale LLM-policyn π* og den opprinnelige politiken πdSFT. Optimaliseringsmålet formuleres som πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)), som forenkler treningsprosessen ved å starte med dSFT-versjonen av modellen og iterere gjennom hver AIF-trippel.

Metoden brukt i Zephyr-7B speiler prosessene brukt i InstructGPT.

Merkelig nok oppnår Zephyr-7B en ytelse som er sammenlignbar med mye større 70B-parametermodeller som er harmonisert med menneskelig tilbakemelding. Den utmerker seg både i akademiske benchmark og konversasjonelle evner, og understreker effektiviteten av preferanselearning i modellutvikling. For videre utforskning er modeller, kode og instruksjoner tilgjengelige på Hugging Faces GitHub-Repository.

Å håndtere utfordringen med intensjons-harmonisering

En merkelig bekymring med LLM-er har vært deres harmonisering med menneskelig intensjon. Tidligere modeller sviktet ofte i å produsere svar som matchet brukerpreferanser, og ledet til uaktuelle eller irrelevante svar. Imidlertid har nylige benchmark som MT-Bench og AlpacaEval gitt verktøy for å kvantifisere og forbedre denne aspekten, og understreker den overlegne ytelsen av proprietære modeller trent med menneskelig tilbakemelding over de som er trent kun via destillasjon.

Evalueringmetoder

Evalueringen av Zephyr 7B involverte rigorøs testing over benchmark som vurderer en modells konversasjonelle evner i både enkelt- og flerturnkontekster:

• MT-Bench: Denne flerturn-benchmark krever at en modell skal håndtere 160 spørsmål som spenner over åtte domener. Hvert svar rangeres av GPT-4, og modellens sluttpoeng reflekterer gjennomsnittet over to runder av spørsmål.
• AlpacaEval: I denne enkeltturn-benchmark presenteres modellen for 805 spørsmål over ulike emner. Fokuset her er på modellens nytte, og GPT-4 scorer svarene for å bestemme en sammenlignbar seiersrate.

I tillegg ble Zephyr 7B testet på Open LLM Leaderboard, som, selv om det ikke er en direkte vurdering av konversasjonelle evner, gir innsikt i modellens resonnement og sannhet etter finjustering.

Zephyr 7B ble sammenlignet med en rekke åpne og proprietære modeller, inkludert de med ulike størrelser og harmoniseringsmetoder. Den etablerte nye benchmark for 7B-modeller på MT-Bench og AlpacaEval, og viste konkurrerende ytelse mot større modeller, og validerer effektiviteten av direkte preferanseoptimalisering (dDPO) i trening.

SFT- og DPO-treningfasene ble nøye konfigurert, og omfattet flere epoker og finjustering av læringsrater og batch-størrelser for optimal ytelse. Den endelige Zephyr-modellen oppstod ikke bare motstandsdyktig mot overfitting, men også forbedret i å håndtere praktiske oppgaver og akademiske benchmark.

Datasett og resultater

Datasett brukt

I utviklingen av Zephyr-7B, ble to nøkkel-datasett brukt til å trene og finjustere modellen, hver med fokus på ulike aspekter av dialoggenerering:

UltraChat Dataset

• Kilde: Utviklet fra dialoger generert av GPT-3.5-TURBO.
• Innhold: Inneholder 1,47 millioner flerturns-dialoger over 30 emner og 20 typer tekstmaterialer.
• Finjustering: Datasettet gjennomgikk en truecasing-heuristikk for å korrigere grammatikale feil, og filtre ble brukt for å øke nyttighet av svarene og eliminere unyttige prefiks-fraser.

UltraFeedback Dataset

• Kilde: Består av prompter evaluert av GPT-4, som rangerte svarene basert på instruksjonsfølging, ærlighet og nyttighet.
• Innhold: Inneholder 64 000 prompter med fire svar hver, rangert av GPT-4.
• Binære preferanser: Generert ved å velge svaret med høyest gjennomsnittlig score som “valgt” og et tilfeldig svar fra de resterende som “avvist” for å øke mangfold og utfordre Direct Preference Optimization (DPO)-prosessen.

Begge datasett er avgjørende for å trene Zephyr-7B til å forstå og generere menneskelignende dialog som er instruksjonsfølging, ærlig og nyttig. Disse datasettene er gjort tilgjengelige på Hugging Face Hub, som du kan aksessere her.

Ytelse og resultater

Den nedenfor grafen illustrerer ytelsen til Zephyr 7B over ulike oppgavekategorier mot andre modeller som GPT-3.5-turbo, Claude 1, GPT-4 og Llama-2-70b-chat. Kategorier kan inkludere Skriving, Humaniora, Rollespill, Resonnement, STEM, Ekstraksjon, Koding og Matematikk.

Fra grafen kan vi slutte at Zephyr 7B utmerker seg i visse domener og hvilke domener som kan kreve videre forbedring. For eksempel, hvis Zephyrs linje strekker seg lengre ut på Skriving-aksen sammenlignet med andre, antyder det at Zephyr er spesielt sterk i å generere skriftlig innhold. Omvendt, hvis linjen er nærmere sentrum på Matematikk-aksen, kan det indikere en relativ svakhet i å løse matematikkproblemer.

Radar-grafen hjelper med å identifisere styrkene og svakhetene til Zephyr 7B, og gir en visuell representasjon av hvor den står i forhold til større modeller som GPT-4 og spesialiserte modeller som Llama-2-70b-chat.

 

Modell-ytelse Radar Graf

Sammenligner ulike språkmodeller på to benchmark: MT-Bench og AlpacaEval. Modellene vurderes basert på størrelse, harmoniseringsmetode (som dSFT for destillert overvåket finjustering eller dDPO for destillert direkte preferanseoptimalisering) og ytelsespoeng. Zephyr utmerker seg med høye poeng i begge benchmark, og indikerer dens effektivitet i å generere harmoniserte svar.

MT-Bench og AlpacaEval

Konklusjon

I konklusjon, utviklingen av Zephyr-7B demonstrerer at harmonisering og destillasjon av konversasjonelle evner fra en stor språkmodell (LLM) til en mindre modell kan oppnås uten avhengighet av sampling-baserte metoder. Ved å bruke direkte preferanseoptimalisering (DPO) med AI-tilbakemelding, utnytter Zephyr-7B den sterke grunnlaget av Mistral-7B for å sette en ny standard for 7B-parameter chat-modeller, og viser evnen til å forstå og svare på brukerintensjoner effektivt.

Imidlertid er denne studien ikke uten begrensninger. Avhengigheten av GPT-4 som en evaluator for benchmark introducerer en bias mot modeller som er destillert fra det, og kan favorisere over nøyaktige svar. I tillegg forblir skalerbarheten av denne metoden til større modeller, som LLAMA2-70B, og dens innvirkning på ytelsesgevinst, områder for videre forskning. Disse begrensningene understreker behovet for kontinuerlig innovasjon og utvikling av ubøyelige evalueringmetoder i AI-samfunnet.

Ser vi beyond studien, er det tydelig at potensialet for mindre modeller til å yte på samme nivå som større motparter kan demokratisere AI, og gjøre det mer tilgjengelig og effektivt i ulike applikasjoner. Suksessen til Zephyr-7B oppmuntrer til videre utforskning av åpne modeller, som kan akselerere fremgang i AI ved å fremme samarbeidende forskning og utvikling.