Alt du trenger å vite om Llama 3 | Den kraftigste åpne kilde-modellen hittil | Konsepter til bruk

Meta har nylig lansert Llama 3, den neste generasjonen av sin state-of-the-art åpne kilde store språkmodell (LLM). Bygget på grunnlag av det som ble etablert av sin forgjenger, har Llama 3 som mål å forbedre kapasitetene som posisjonerte Llama 2 som en betydelig åpen kilde-konkurrent til ChatGPT, som er omtalt i den omfattende anmeldelsen i artikkelen Llama 2: En dyptgående analyse av den åpne kilde-utfordreren til ChatGPT.

I denne artikkelen vil vi diskutere de grunnleggende konseptene bak Llama 3, utforske dens innovative arkitektur og treningsprosess, og gi praktisk veiledning på hvordan du kan få tilgang til, bruke og distribuere denne banebrytende modellen på en ansvarlig måte. Uansett om du er en forsker, utvikler eller AI-entusiast, vil denne artikkelen utstyre deg med kunnskapen og ressursene som trengs for å utnytte kraften til Llama 3 for dine prosjekter og applikasjoner.

Utviklingen av Llama: Fra Llama 2 til Llama 3

Meta’s CEO, Mark Zuckerberg, annonserte debutten av Llama 3, den siste AI-modellen utviklet av Meta AI. Denne state-of-the-art-modellen, nå åpen kilde, er satt til å forbedre Metas ulike produkter, inkludert Messenger og Instagram. Zuckerberg fremhevet at Llama 3 posisjonerer Meta AI som den mest avanserte fritt tilgjengelige AI-assistent.

Før vi snakker om spesifikke detaljer om Llama 3, la oss kort gjennomgå dens forgjenger, Llama 2. Innført i 2022, var Llama 2 en betydelig milepæl i landskapet av åpne kilde-LLM, og tilbød en kraftig og effektiv modell som kunne kjøres på forbrukerhardware.

Men mens Llama 2 var en merkeverdig prestasjon, hadde den sine begrensninger. Brukere rapporterte problemer med feilaktige avvisninger (modellen avviste å svare på harmløse forespørsler), begrensede nyttige funksjoner og rom for forbedring i områder som resonnering og kodegenerering.

Enter Llama 3: Meta’s respons på disse utfordringene og tilbakemeldingene fra samfunnet. Med Llama 3, har Meta satt som mål å bygge de beste åpne kilde-modellene på linje med de beste proprietære modellene som er tilgjengelige i dag, samtidig som de prioriterer ansvarlig utvikling og distribusjon.

Llama 3: Arkitektur og treningsprosess

En av de viktigste innovasjonene i Llama 3 er dens tokenizer, som har en betydelig utvidet ordforråd på 128,256 tokens (opp fra 32,000 i Llama 2). Dette større ordforrådet tillater mer effektiv encoding av tekst, både for inndata og utdata, potensielt ledende til sterkere multilingualisme og generelle ytelsesforbedringer.

Llama 3 inkorporerer også Gruppe-forespørsels-oppmerksomhet (GQA), en effektiv representasjonsteknikk som forbedrer skalerbarheten og hjelper modellen å håndtere lengre kontekster mer effektivt. 8B-versjonen av Llama 3 bruker GQA, mens både 8B– og 70B-modellene kan prosessere sekvenser opp til 8,192 tokens.

Treningsdata og skalerbarhet

Treningsdataene som brukes for Llama 3 er en avgjørende faktor i dens forbedrede ytelse. Meta kuraterte en massiv datasett på over 15 billioner tokens fra offentlig tilgjengelige nettbaserte kilder, syv ganger større enn datasettene som ble brukt for Llama 2. Denne datasettene inkluderer også en betydelig andel (over 5%) av høykvalitets ikke-engelske data, dekkende over 30 språk, i forberedelse til fremtidige flerspråklige applikasjoner.

For å sikre datakvalitet, brukte Meta avanserte filtrerings-teknikker, inkludert heuristiske filtre, NSFW-filtre, semantisk deduplisering og tekst-klassifisatorer trent på Llama 2 for å forutsi datakvalitet. Teamet utførte også omfattende eksperimenter for å bestemme den optimale blandingen av datakilder for pre-trening, sikrer at Llama 3 utfører godt over en rekke bruksscenarier, inkludert trivia, STEM, kode og historisk kunnskap.

Skalerbarhet av pre-trening var en annen kritisk aspekt av Llama 3-utviklingen. Meta utviklet skaleringslover som enablet dem å forutsi ytelsen til deres største modeller på nøkkeloppgaver, som kodegenerering, før de faktisk ble trent. Dette informerte avgjørelsene om data-blanding og beregningstilordning, og ledet til mer effektiv og effektive treningsprosesser.

Llama 3s største modeller ble trent på to tilpassede 24,000 GPU-kluster, som utnyttet en kombinasjon av data-parallellisering, modell-parallellisering og pipeline-parallelliseringsteknikker. Metas avanserte treningsstakk automatiserte feil-deteksjon, håndtering og vedlikehold, maksimerte GPU-opptid og økte trenings-effektiviteten med omtrent tre ganger sammenlignet med Llama 2.

Instruksjons-finetuning og ytelse

For å låse opp Llama 3s fulle potensiale for chat- og dialog-applikasjoner, innoverte Meta sin tilnærming til instruksjons-finetuning. Metoden kombinerer overvåket finetuning (SFT), avvisnings-prøving, proximal policy-optimisering (PPO) og direkte preferanse-optimisering (DPO).

Kvaliteten på forespørslene som brukes i SFT og preferanse-rangeringene som brukes i PPO og DPO, spilte en avgjørende rolle i ytelsen til de justerte modellene. Metas team kuraterte denne dataen og utførte flere runder av kvalitetssikring på annotasjoner fra menneskelige annotatorer.

Trenings på preferanse-rangeringer via PPO og DPO forbedret også Llama 3s ytelse på resonnering og kode-oppgaver. Meta fant at selv når en modell har vanskeligheter med å svare på en resonnerings-spørsmål direkte, kan den likevel produsere den riktige resonnerings-sporet. Trenings på preferanse-rangeringer enablet modellen å lære hvordan å velge det riktige svaret fra disse spor.

Resultatene taler for seg selv: Llama 3 overgår mange tilgjengelige åpne kilde-chat-modeller på vanlige bransje-benchmark, etablerer nye state-of-the-art-ytelse for LLM på 8B og 70B parameter-skalaer.

Ansvarlig utvikling og sikkerhets-hensyn

Mens de forfølger banebrytende ytelse, prioriterer Meta også ansvarlig utvikling og distribusjons-praksiser for Llama 3. Selskapet tok en system-nivå-tilnærming, og forestiller seg Llama 3-modellene som en del av et større økosystem som setter utviklere i sjåførens sete, og lar dem designe og tilpasse modellene for sine spesifikke bruksscenarier og sikkerhets-krav.

Meta utførte omfattende red team-øvelser, utførte motstandsevalueringer og implementerte sikkerhets-mitigeringsteknikker for å redusere rest-risiko i deres instruksjons-justerte modeller. Likevel anerkjenner selskapet at rest-risiko sannsynligvis vil forbli, og anbefaler at utviklere vurderer disse risikoene i sammenheng med sine spesifikke bruksscenarier.

For å støtte ansvarlig distribusjon, har Meta oppdatert sin Ansvarlig Bruk-veileder, som gir en omfattende ressurs for utviklere for å implementere modell- og system-nivå-sikkerhets beste praksis for sine applikasjoner. Veilederen dekker temaer som innhold-moderasjon, risiko-vurdering og bruk av sikkerhets-verktøy som Llama Guard 2 og Code Shield.

Llama Guard 2, bygget på MLCommons-taksonomi, er designet for å klassifisere LLM-inndata (forespørsler) og svar, og å detektere innhold som kan anses som usikkert eller skadelig. CyberSecEval 2 utvider på sin forgjenger ved å legge til måter å forhindre misbruk av modellens kode-tolk, offensivt cyber-sikkerhets-kapasitet og følsomhet for forespørsels-injeksjons-angrep.

Code Shield, en ny introduksjon med Llama 3, legger til inferens-tid-filtrering av usikker kode produsert av LLM, og mitigere risikoene forbundet med usikker kode-forslag, kode-tolk-misbruk og sikker kommandø-utførelse.

Tilgang og bruk av Llama 3

Etter lanseringen av Meta AI’s Llama 3, har flere åpne kilde-verktøy blitt gjort tilgjengelige for lokal distribusjon på ulike operativsystemer, inkludert Mac, Windows og Linux. Denne seksjonen detaljerer tre bemerkelsesverdige verktøy: Ollama, Open WebUI og LM Studio, hver med unike funksjoner for å utnytte Llama 3s kapasiteter på personlige enheter.

Ollama: Tilgjengelig for Mac, Linux og Windows, Ollama forenkler driften av Llama 3 og andre store språkmodeller på personlige datamaskiner, selv på de med mindre robuste maskinvare. Den inkluderer en pakke-manager for enkel modell-håndtering og støtter kommandoer over plattformer for å laste ned og kjøre modeller.

Open WebUI med Docker: Dette verktøyet tilbyr en brukervennlig, Docker-basert grensesnitt kompatibelt med Mac, Linux og Windows. Det integrerer sammen med modeller fra Ollama-registret, og lar brukerne distribuere og interagere med modeller som Llama 3 i et lokalt web-grensesnitt.

LM Studio: Retter seg mot brukere på Mac, Linux og Windows, LM Studio støtter en rekke modeller og er bygget på llama.cpp-prosjektet. Det tilbyr et chat-grensesnitt og muliggjør direkte interaksjon med ulike modeller, inkludert Llama 3 8B Instruct-modellen.

Disse verktøyene sikrer at brukerne kan effektivt utnytte Llama 3 på sine personlige enheter, og tilpasse seg en rekke tekniske ferdigheter og krav. Hver plattform tilbyr steg-for-steg-prosesser for oppsett og modell-interaksjon, og gjør avansert AI mer tilgjengelig for utviklere og entusiaster.